Реферат: Теория случайных чисел

Раздел 1. Теория случайных чисел.

Все события делятся на детерминированные, случайные и неопределенные.

Если событие наступает в эксперименте всегда, оно называется достоверным , если никогда – невозможным . Это детерминированные события.

Статистическое определение вероятности: Если в опыте, повторяющемся n раз, событие появляется m_A раз, тогда относительная частота наступления события: . Р(А) – вероятность наступления события А.

Для достоверного события W: Р(W)=1. Для невозможного события Æ: Р(Æ)=0.

0 £ P(A) £ 1, т.к. 0£m_A £n - 0 £ hn(A) £ 1

W m_A =n hn(A)=1

Æ m_A =0 hn(A)=0

Все мыслимые взаимоисключающие исходы опыта называются элементарными событиями . Наряду с ними можно наблюдать более сложные события – комбинации элементарных.

Несколько событий в данном опыте называются равновозможными , если появление одного из них не более возможно, чем другого.

Классическое определение вероятности: Если n-общее число элементарных событий и все они равновозможные, то вероятность события А:

,

где m_A - число исходов, благоприятствующих появлению события А.

Раздел 2. Сложные события.

Теория сложных событий позволяет по вероятностям простых событий определять вероятности сложных. Она базируется на теоремах сложения и умножения вероятностей.

1) Суммой (объединением) двух событий А и В называется новое событие А+В, заключающееся в проявлении хотя бы одного из этих событий.

2) Произведением (пересечением) двух событий А и В называется новое событие АВ, заключающееся в одновременном проявлении обоих событий. А*В=АВ, АА=А, АВА=АВ.

3) Событие А влечет за собой появление события В, если в результате наступления события А всякий раз наступает событие В. АÌВ

А=В: АÌВ, ВÌА

Два события называются несовместными , если появление одного из них исключает возможность появления другого.

Если события несовместны, то АВ=Æ.

События А₁ , А₂ , …А_n образуют полную группу событий в данном опыте, если они являются несовместными и одно из них обязательно происходит:

A_i A_j = Æ (i ¹ j, i,j=1,2…n)

A₁ +A₂ +…+A_n = W

- событие противоположное событию А, если оно состоит в не появлении события А.

А и - полная группа событий, т.к. А+=W, А=Æ.

Теорема сложения вероятностей.

Вероятность суммы несовместных событий равна сумме вероятностей событий:

Р(А+В+С+…) = Р(А) + Р(В) + Р(С) +…

Следствие. Если события A₁ +A₂ +…+A_n - полная группа событий, то сумма их вероятностей равна 1.

P(A+ ) = P(A) + P() = 1

Вероятность наступления двух совместных событий равна:

Р(А+В) = Р(А) + Р(В) - Р(АВ)

Р(А+В+С) = Р(А) + Р(В) + Р(С) – Р(АВ) – Р(АС) – Р(ВС) – Р(АВС)

Теорема. Если АÌВ, то Р(А) £ Р(В).

В=В₁ +В₂ (В₁ =А) Р(В)=Р(В₁ ) + Р(В₂ )= Р(А) + Р(В₂ )

Теорема умножения вероятностей. Условные вероятности.

Опыт повторяется n раз, m_B раз наступает событие В, m_АВ раз наряду с событием В наступает событие А.

hn(B) = hn(AB) =

Рассмотрим относительную частоту наступления события А, когда событие В уже наступило:

- условная вероятность события А по событию В – вероятность события А, когда событие В уже наступило.

Свойства условных вероятностей.

Свойства условных вероятностей аналогичны свойствам безусловных вероятностей.

1. 0 £ Р(А/В) £ 1, т.к. ; АВ Ì В, Р(АВ) £ Р(В)

2. Р(А/А)=1

3. ВÌА, - Р(А/В)=1

4.

5. Р[(A+C)/B] = Р(А/В) + Р(C/В) – Если события А и С несовместны

Р[(A+C)/B] = Р(А/В) + Р(C/В) - Р(АC/В) – Если события А и С совместны

Теорема . Вероятность произведения двух событий равна произведению вероятности одного события на условную вероятность другого.

Свойства независимых событий.

Если события А и В независимы, то независимы и каждая из пар: А и В, А и , и В, .

Если события Н₁ , Н₂ , …Н_n независимы, то заменяя любые из них на противоположные, вновь получаем независимые события.

Формула полной вероятности.

Вероятность события В, которое может произойти совместно только с одним из событий Н₁ , Н₂ , …Н_n , образующих полную группу событий, вычисляется по формуле:

События А₁ , А₂ , …А_n называют гипотезами .

Теорема гипотез (формула Байеса).

Если до опыта вероятности гипотез были Р(Н₁ ), Р(Н₂ )…Р(Н_N ), а в результате опыта произошло событие А, то условные вероятности гипотез находятся по формуле:

Пример. На трех технологических линиях изготавливаются микросхемы. Найти: 1) вероятность того, что случайно выбранное изделие оказывается бракованным; 2) вероятность того, что если изделие дефектно, то оно изготовлено на 1 линии.

Рассмотрим события: Н₁ , Н₂ ,…Н_i ,…,Н_N (полная группа событий)– изделие изготавливается i линией; А{изделие с браком}.

1) Р(А)=0,25*0,05+0,35*0,04+0,4*002=0,0345=3,45%

2)

Схема последовательных испытаний Бернулли.

Проводится серия из n испытаний, в каждом из которых с вероятностью р может произойти событие А, с вероятностью q=1-р событие .

Вероятность наступления события А не зависит от числа испытаний n и результатов других испытаний.

Такая схема испытаний с двумя исходами (событие А наступило либо не наступило) называется схемой последовательных испытаний Бернулли.

Пусть при n испытаниях событие А наступило k раз, (n-k) раз событие .

- число различных комбинаций события А

Вероятность каждой отдельной комбинации:

Вероятность того, что в серии из n испытаний событие А, вероятность которого равна р, появится k раз:

- условие нормировки.

Пример. Вероятность изготовления нестандартной детали равна р=0,25, q=0.75. Построить многоугольник распределения вероятностей числа нестандартных деталей среди 8 изготовленных.

N=8 p=0.25 q=0.75

Если k₀ – наивероятнейшее число, то оно находится в пределах:

np-q £ k₀ £ np+q

Если число (np+q) нецелое, то k₀ – единственное

Если число (np+q) целое, то существует 2 числа k₀ .

Предельные теоремы в схеме Бернулли.

1. Предельная теорема Пуассона . При р»0, n-велико, np= l£ 10.

Формула дает распределение Пуасона, описывает редкие события.

2. Предельная теорема Муавра-Лапласа.

0 £ p £ 1, n –велико, np>10

- стандартное нормальное распределение

3. Предельная интегральная теорема Муавра-Лапласа.

В условиях предыдущей теоремы вероятность того, что событие А в серии из n испытаний наступит не менее k₁ раз и не более k₂ раз:

- функция Лапласа

Следствие:

Пример. ОТК проверяет на стандартность 1000 деталей. Выбранная деталь с вероятностью р=0,975 является стандартной.

1) Найти наивероятнейшее число стандартных деталей:

K₀ =np=975

2) Найти вероятность того, что число стандартных деталей среди проверенных отличается от k₀ не более чем на 10.

3) С вероятностью 0,95 найти максимальное отклонение числа стандартных деталей среди проверенных.

4) Найти число проверяемых деталей n, среди которых с вероятностью 0,9999 стандартные детали составят не менее 95%.

0,95n£k£n

P(0,95n£k£n)=0.9999 = Ф(х₂ )- Ф(х₁ ) =

n=3.9² *39=594

при р=0,9999 n=594

при р=0,999 n=428

при р=0,99 n=260

Раздел 3. Случайные величины и распределение вероятностей.

Случайная – величина, которая в ходе опыта принимает то или иное значение из возможных своих значений, меняющееся от опыта к опыту и зависящее от множества непредсказуемых факторов.

Если случайные события характеризуют процесс качественно, то случайная величина – количественно.

Случайная величина – численная функция, задаваемая на множестве элементарных событий. На одном множестве может быть несколько случайных величин.

Дискретная случайная величина (ДСК) – величина, принимающая счетное (конечное или бесконечное) множество значений.

Непрерывная случайная величина (НСВ) – случайная величина, значения которой образуют несчетные множества. (Например, расход бензина на 100 км у автомобиля Жигули в Нижнем Новгороде).

Задать св – значит указать все множество ее значений и соответствующие этим значениям вероятности. Говорят, что задан закон распределения случайной величины.

Случайная величина может быть задана несколькими способами:

1. Табличный.

Значения случайных величин в таблице ранжируются, т.е. указываются в порядке возрастания.

Недостпаток табличного способа в том, что он пригоден только для случайных величин, принимающих небольшое количество значений.

2. Функция распределения F ( x ) = P ( X < x ) или интегральный закон распределения.

Указывается вероятность того, что случайная величина принимает значение < x.

При увеличении значения случайной величины, количество ступенек функции F(х) возрастает, уменьшается их высота и в пределе при получаем гладкую непрерывную функцию F(х).

Свойства функции F (х).

1. Неотрицательна. 0£ F(х)£1

2. Неубывающая F(х₂ )> F(х₁ ) при х₂ >х₁

3.

4. Р( a < x < b ) = F ( a ) – F ( b ) Вероятность того, что значение х попадет в интервал (а,b) определяется разностью значений функции на концах интервала.

Наряду с F(х) вводится f ( x ) - функция плотности вероятности или дифференциальный закон распределения:

Свойства функции f(x):

1. Неотрицательна. (т.к. F(x) неубывающая, f ( x ) ³ 0 )

2. Площадь фигуры под кривой на интервале (a,b) равна:

- условие нормировки функции f ( x ).

Основные дискретные и непрерывные случайные величины.

Дискретные случайные величины (ДСВ).

1. Биноминальная случайная величина x{0,1,2,3…n}

, p+q=1, 0<p<1

2. Пуассоновская случайная величина x{0,1,2,3…}

3. Бернуллиевая случайная величина

4. Равномерное распределение

Непрерывные случайные величины (НСВ).

1. Равномерное распределение

2. Треугольное распределение Симпсона

3. Экспоненциальное (показательное) распределение. Имеет важное значение в теории массового обслуживания и теории надежности.

l - интенсивность.

3. Нормальный закон распределения.

, s>0

s=1, m=0 – нормальное стандартное распределение (m-мат. ожидание)

- такой подстановкой любое нормальное распределение приводится к стандартному.

При фиксированном s и изменяющемся m, кривая двигается вдоль Ох, не изменяя формы.

При фиксированном m и изменяющемся s (s₁ <s₂ <s₃ ), кривая вытягивается вдоль оси ординат, но площадь фигуры под каждой кривой = 1.

Функция Лапласа:

Операции со случайными величинами

Со случайными величинами, рассмотренными на одном и том же интервале исходов опыта, можно обращаться как с обычными числами и функциями.

X:

Y=j(x)

Нужно найти закон распределения СВ Y. y_k =j(a_k ), где k=1,2,…,n.

P(y=y_k )=P(x=a_k )=P_k

Если все значения СВ Y различны, то их надо проранжировать и указать соответствующие вероятности.

Если СВ Y принимает совпадающие значения, то их надо объединить под общей вероятностью, равной сумме соответствующих вероятностей, а после в ранжированном виде привести в таблице.

X={0,1,2,…,9}, P(x=k)=0.1, k=0,1,…,9, Y=x² , Z=(x-5)² .

Закон распределения СВ Z:

Бинарные операции (с несколькими величинами)

СВ X,Y заданы в 1 опыте.

Сложнее, если СВ задана только своим распределением:

Z=X+Y

СВ Z принимаетзначения a_k +b_s , где a_k =a₁ ,a₂ ,…,a_n ; b_s =b₁ ,b₂ ,…b_m .

Общее количество возможных значений СВ = m×n.

P(Z=a_k +b_s )=P(X=a_k , Y=b_s )

Для нахождения такой вероятности необходимо знать закон совместного распределения СВ X и Y.

Набор точек (a_k ,b_s ) вместе с вероятностями P(X=a_k , Y=b_s ) называется совместным распределением СВ X и Y . Обычно такое распределение задается таблицей.

Определение закона распределения суммы СВ по законам распределения слагаемых называется композицией законов распределения .

Наиболее просто вероятности P_ks находятся в случае независимости СВ X и Y. Две СВ X и Y называются независимыми тогда и только тогда, когда

P(X=a_k , Y=b_s )=P(X=a_k )×P(Y=b_s )

P_ks =P_k ×P_s

По известному закону распределения совместного распределения СВ X и Y могут быть найдены одномерные законы распределения СВ X и Y.

Теорема . Если СВ Х,Y являются независимыми, то любые функции j(Х) и y(У) от этих величин также являются независимыми.

Распределение функции от случайной величины

Х – непрерывная СВ

. По закону распределения СВ Х. Найти закон распределения СВ Y.

Если СВ ХÎ[х₀ ,х₁ ], то Î [y₀ ,y₁ ].

Предполагается, что функция j(х) является однозначной и имеет обратную функцию q(y).

Воспользовавшись элементами вероятности:

получим .

Закон распределения не меняется, если q(y) является линейной.

f_y (y)=f_x (x).

Многомерные законы распределения СВ

Часто при решении практических задач мы имеем дело не с одной, а с совокупностью нескольких случайных величин, которые взаимосвязаны .

nx₁ ,x₂ ,…,x_n n -мерная случайная величина – совокупность n взаимосвязанных случайных величин. Для ее описания используются многомерные законы распределения.

Двумерные функции распределения

X,YF(x,y)=P(X<x,Y<Y)

Функция F ( x , y ) обладает свойствами, аналогичными свойствам одномерной функции:

– не убывающая 1. x₂ ³x₁ ÞF(x₂ ,y)³F(x₁ ,y)

– не отрицательная y₂ ³y₁ ÞF(x,y₂ )³F(x,y₁ )

0£F(x,y)£ 1 2. F(¥,¥)= 1 F(-¥,-¥)=0

3. F_x (x)=P(X<x+=P(X<x,Y<¥)=F(x,¥)

F_y (y)=P(Y<y)=P(X<¥,Y<y)=F(¥,y)

f ( x , y ) – функция плотности вероятности совместного распределения величин x и y .

1. f(x,y)³0

2. – условие нормировки

3. По известным двумерным находятся соответствующие одномерные

В случае статистической независимости СВ Х и У

F(x,y)=F_x (x)×F_y (y)

f(x,y)=f_x (x)×f_y (y)

F(x,y)=F_x (x)×F_y (y/x)=F_x (x/y) – для условных

f(x,y)=f_x (x) ×f(y/x)=f_y (y) ×f(x/y)

Раздел 4. Числовые характеристики СВ

Исчерпывающие представления о СВ дает закон её распределения.

Во многих задачах, особенно на заключительной стадии, возникает необходимость получить о величине некоторое суммарное представление: центры группирования СВ – среднее значение или математическое ожидание, разброс СВ относительно её центра группирования.

Эти числовые характеристики в сжатой форме отражают существенные особенности изучаемого распределения.

Математическое ожидание (МО)

М(х), МО(х), m_x , m

Основные свойства МО:

1. М(х) СВ Х Þ Х_min £М(х)£Х_max

2. М(С)=С МО постоянной величины есть величина постоянная

3. М(Х±У)=М(Х) ±М(У)

4. М(Х×У)=М(х) ×М(у) Þ М(Сх)=СМ(х) – МО произведения двух независимых СВ

5. М(аХ+вУ)=аМ(Х)+вМ(У)

6. М(Х-m)=0 – МО СВ Х от её МО.

МО основных СВ

Дискретные Случайные Величины

1. Биноминальные СВ МО(Х)=np

2. Пуассоновские СВ МО(Х)=l

3. Бернуллиевы СВ МО(Х)=р

4. Равномерно распред. СВ

Непрерывные Случайные Величины

1. Равномерно распределенная СВ

2. Нормально распределенная СВ MO(X)=m

3. Экспоненциально распределенная СВ

Дисперсия СВ

1. R=X_max -X_min – размах СВ

2. M(|X-m|) – среднее абсолютное отклонение СВ от центра группирования

3. M(X-m)² – дисперсия – МО квадрата отклонения СВ от центра группирования

M(X-m)² =D(X)=s² =s_x ² =s² (X)

– среднеквадратическое отклонение (стандартное отклонение).

Основные свойства дисперсии:

1. Для любой СВ Х: D(X)³0. При Х=constD(X)º0.

2. D(X)=M(X² )-M² (X)=M(X² -2mX-m² )

3. D(cX)=c² D(X)

4. D(X+c)=D(X)

5. D(X+Y)=D(X)+D(Y), D(X-Y)=D(X)+D(Y)

В общем случае:

D(X+Y)=M(X+Y-m_{x + y} )² =M((X-m_x )+(Y-m_y ))² =M((X=m_x )² +2(X-m_x )(Y-m_y )+(Y-m_y )² )=

=D(X)+2M((X-m_x )(Y-m_y ))+D(Y). Второй член этого выражения называется корреляционным моментом . m_{x + y} =M(X)+M(Y)=m_x +m_y . D(X)=M(X-m_x )² .

M((X-m_x )(Y-m_y ))=K(X,Y)=K_xy =cov(x,y) – ковариация

K_xy /s_x s_y =r_xy – коэффициент корреляции

6. Независимые СВ: D(XY)=D(X)D(Y)+M² (X)D(Y)+M² (Y)D(X)

Дисперсия основных СВ

ДСВ

1. Биноминальные D(X)=npq

2. Пуассоновские D(X)=l

3. Бернуллиевы D(X)=pq

НСВ

1. Равномерно распределенные D(X)=(b-a)² /12

2. Нормально распределенные D(X)= s²

3. Экспоненциально распределенные D(X)=1/l²

Математическое ожидание и дисперсия суммы случайных величин

X₁ ,X₂ ,…,X_n – независимые СВ с одинаковым законом распределения.

M(Xk)=aD(Xk)=s²

– среднее арифметическое

Другие числовые характеристики СВ

Моменты распределения делятся на начальные моменты, центральные и смешанные.

1. Начальные моменты q^го порядка (q=1,2,…): M(X¹ )=МО

2. Центральные моменты q^го порядка: M((X-m)² )=D

M(x-m)^q =M(x)^q -C_q ¹ mM(x)^{q -1} + C_q ² mM(x)^{q -2} +…+(-1)^q m^q

M(x-m)³ = M(x)³ -3mM(x)² +2m³

M(x-m)² = M(x)² -m² =D(x)

Центральные моменты 3^го и 4^го порядков используются для получения коэффициентов асимметрии и эксцесса (As, Ex), характеризующих особенности конкретного распределения.

Для нормального закона распределения As=0.

Если As>0, то распределение имеет правостороннюю скошенность . При As<0 – левосторонняя скошенность .

Эксцесс характеризует остро- или плосковершинность исследуемого распределения по сравнению с нормальным распределением.

НСВ:

1. Нормальное распределение: Ex=As=0

2. Равномерное распределение: As=0, Ex=-1,2

3. Экспоненциальное распределение: As=2, Ex=9.

Биноминальное:

3. Смешанные моменты:

Начальный смешанный момент порядка (k+s) системы 2^х СВ (X+Y):

Центральный моменты порядка (k+s):

Центральный смешанный момент второго порядка:

K_xy =M((X-m_x )(Y-m_y )) – корреляционный момент

– коэффициент корреляции

Мода ДСВ – значение СВ, имеющее максимальную вероятность.

Мода НСВ – значение СВ, соответствующее максимуму функции плотности вероятности f(x).

Обозначение моды: m₀ , M₀ (x), mod(x).

Медиана СВ Х (m_e , M_e (x), med(x)) – значение СВ, для которого выполняется равенство:

P(X<m_e )=P(X>m_e )

F(m_e )=0,5.

Медиана – это площадь, получаемая делением фигуры пополам.

В симметричном распределении m=m₀ =m_e . В несимметричном они не равны.

Так как мода и медиана зависят от структуры распределения, их называют структурными средними .

Медиана – это значение признака, который делит ранжированный ряд значений СВ на две равных по объему группы. В свою очередь, внутри каждой группы могут быть найдены те значения признака, которые делят группы на 4 равные части – квартиль .

Ранжированный ряд значений СВ может быть поделен на 10 равных частей – децилей, на 100 – центилей.

Такие величины, делящие ранжированный ряд значений СВ на несколько равных частей, называются квантилями .

Под p% квантилями понимаются такие значения признака в ранжированном ряду, которые не больше p% наблюдений.

Предельные теоремы теории вероятностей

Делятся на две группы: Закон Больших Чисел (ЗБЧ) и Центральная Предельная Теорема (ЦПТ).

Закон Больших Чисел устанавливает связь между абстрактными моделями теории вероятностей и основными ее понятиями и средними значениями, полученными при статистической обработке выборки ограниченного объема из генеральной совокупности. P, F(x), M(x), D(x).

ЗБЧ доказывает, что средние выборочные значения при n®¥ стремятся к соответствующим значениям генеральной совокупности: h_n (A)®P, X_ср ®M(X), s_ср ² ®D(X), F^* (X)®F(X).

Лемма Маркова . Если Y – СВ, принимающая не отрицательные значения, то для любого положительного e:

P(Y³e)£M(x)/e, P(Y<e)³1-M(x)/e.

Доказательство . Рассмотрим Y и : Y_e £Y, M(Y_e )£M(Y)

M(Y_e )=0×P(Y<e)+e×P(Y³e)=e×P(Y³e)

M(Y)³M(Y_e )=e×P(Y³e).

Лемма позволяет сделать оценку вероятности наступления события по математическому ожиданию этой СВ.

Неравенство Чебышева . Для любой СВ с ограниченными первыми двумя моментами (есть МО и D) и для любого e>0:

Доказательство . По лемме Маркова: рассмотрим не отрицательную СВ Y

Y=(X-m)² M(Y)=M(X-m)² =D(x)

P(|X-m|³e)=P((X-m)² ³e² )=P(Y³e² )£M(Y)/e² =D(x)/e² .

Требуется только знание дисперсии СВ при любом законе распределения.

ЗБЧ в форме Чебышева . X₁ , X₂ , …, X_n – последовательность независимых СВ. Для любого e>0 и n®¥:

ЗБЧ в форме Бернулли . m – число успехов в серии из n последовательных испытаний Бернулли. P – вероятность успеха в каждом отдельном испытании. e>0:

ЗБЧ носит чисто качественный характер. В тех же условиях неравенство Чебышева позволяет получить количественную характеристику оценки вероятности.

Пример . Для определения вероятности события проведено 40000 опытов. События наблюдалось в m=16042 случаях. За вероятность события принимается относительная частота наступления события: m/n»0,4. Применяя неравенство Чебышева, оценить, с какой вероятностью можно гарантировать, что число 0,4, принятое за вероятность, отличается от истинной вероятности не больше, чем на 0,05.

Неизвестные p и q находим из системы уравнений:

=>

Центральная предельная теорема Ляпунова .

Предмет внимания этой теоремы – распределение суммы большого числа СВ.

X=(x₁ +x₂ +…+x_n )/n

Распределение суммы n независимых СВ в независимости от их законов распределения асимптотически сходятся к нормальному закону при неограниченном числе слагаемых и ограниченных двух первых моментах (МО и D).

Если s_i ² =s² , то s_х ² =s² /n, .

D(x)=s_х ² =(s₁ ² +s₂ ² +…s_n ² )/n²

ЦПТ универсальны и справедливы как для НСВ, так и для ДСВ.

P(a<X<b)=Ф(t₂ )-Ф(t₁ ).

t₂ =(b-m_x )/s_x t₂ =(a-m_x )/s_x

S_n =(X₁ +X₂ +…+X_n )/n

P(|S_n -m|<zs)=2Ф(z)

M(xk)=m D(xk)=s²

ЦПТ в интегральной форме Муавра-Лапласа .

Статистическое оценивание параметров распределения

Мы анализируем только выборки из генеральной совокупности. По средне выборочным параметрам находим параметры самой генеральной совокупности.

Задачи такого рода решаются методами проверки статистических гипотез и статистической оценки параметров распределения.

Прежде нужно получить и провести первичную обработку исходных экспериментальных данных.

Статистические ряды часто изображают графически в виде полигона, гистограммы, кумулятивной кривой F^* (x).

Полигон – ломаная линия, соединяющая в декартовой системе координат точки (x_i ,n_i ), (x_i ,m_xi ).

Кумулятивная кривая строится по точкам (x_i ,F^* (x_i )).

Гистограмма – на оси абсцисс – отрезки интервалов t, на этих интервалах строятся прямоугольники с высотой, равной относительной частоте признака. По гистограмме легко строится полигон.

И полигон, и гистограмма характеризуют функцию f^* (x) – плотность вероятности.

НСВ – проблема выбора интервала варьирования h.

h выбирается, исходя из необходимости выявления характерных черт рассматриваемого распределения.

Правило Старджесса :

Как только характерные особенности распределения проявились, ставится вопрос об условиях, при которых сформировалось данное распределение – вопрос об однородности статистических данных.

Если функция f^* (x) – бимодальная (имеет два максимума), то статистическое данные неоднородные.

Методы математической статистики должны позволить сделать обоснованные выводы о числовых параметрах и законе распределения генеральной совокупности по ограниченному числу выборок из этой совокупности.

Состав выборок случаен и выводы могут быть ложными. С увеличением объема выборки вероятность правильных выводов растет. Всякому решению, принимаемому при статистической оценке параметров, ставится в соответствие некоторая вероятность, характеризующая степень достоверности принимаемого решения.

Задачи оценки параметров распределения ставятся следующим образом:

Есть СВ Х, характеризуемая функцией F(X, q).

q – параметр, подлежащий оценке.

Делаем m независимых выборок объемом n элементов x_ij (i – номер выборки, j – номер элемента в выборке).

1 x₁₁ , x₁₂ , …, x_1n X₁

2 x₂₁ , x₂₂ , …, x_2n X₂

…

mx_{m 1} , x_{m 2} , …, x_mn X_m

Случайные величины X₁ , X₂ ,…X_m мы рассматриваем как m независимых СВ, каждая из которых распределена по закону F(X, q).

Всякую однозначную функцию наблюдений над СВ х, с помощью которой судят о значении параметра q, называют – оценкой параметра q .

Выбор оценки, позволяющей получить хорошее приближение к оцениваемому параметру – задача исследования.

Основные свойства оценок

Несмещенность, эффективность и состоятельность.

Оценка параметра q называется несмещенной , если M()=q.

Если – в оценке параметра q имеется систематическая ошибка.

Несмещенность оценки гарантирует отсутствие систематической ошибки в оценке параметра.

Несмещенных оценок может быть несколько.

– несмещенная оценка q.

Разброс параметров или рассеяние величины относительно математического ожидания q характеризует дисперсия D(), D().

Из двух или более несмещенных оценок предпочтение отдается оценке, обладающей меньшим рассеянием относительно оцениваемого параметра.

Оценка называется состоятельной , если она подчиняется закону больших чисел:

На практике не всегда удается удовлетворить одновременно всем трем требованиям.

Оценка математического ожидания по выборке

Теорема 1 . Среднее арифметическое по n независимым наблюдениям над СВ x с МО m является несмещенной оценкой этого параметра.

Доказательство: x₁ ,x₂ ,…,x_n M(x)=mM(x₁ )=M(x₂ )=…=M(x_n )=m

Теорема 2 . Среднее арифметическое по n независимым наблюдениям над СВ x с МО m и дисперсией D(x)=s² является состоятельной оценкой МО.

Доказательство: D(x)=s² D(x₁ )=D(x₂ )=…=D(x_n )=s²

Теорема 3 . Если СВ Х распределена по нормальному закону с параметрами (m,s² ), то несмещенная и состоятельная оценка МО m имеет минимальную дисперсию s² /n => является и эффективной.

Оценки дисперсии по выборке

Если случайная выборка состоит из n независимых наблюдений над СВ Х с M(X)=m и D(X)=s² , то выборочная дисперсия не является несмещенной оценкой дисперсии генеральной совокупности.

Несмещенной оценкой D(x) является , .

Легко доказать по формуле Чебышева, что оценки S2 и являются состоятельными оценками дисперсии.

Несмещенная, состоятельная и эффективная оценка дисперсии:

Если МО генеральной совокупности неизвестно, то используют .

Существуют регулярные методы получения оценок параметров генеральной совокупности по данным выборок.

Методы оценки параметров генеральной совокупности

Метод наибольшего (максимального) правдоподобия (МНП)(ММП) обладает следующими достоинствами:

1. Всегда приводит к состоятельным оценкам (иногда смещенным)

2. Получаемые оценки распределены асимптотически нормально и имеют минимально возможную дисперсию по сравнению с другими асимптотически нормальными оценками.

Недостаток: требуется решать громоздкие системы уравнений.

Имеется СВ Х, f(x,q) – функция ее плотности вероятности, выражение которой известно.

q – неизвестный параметр, подлежащий оценке.

x₁ , x₂ ,…,x_n – n независимых наблюдений над СВ x.

В основе МНП лежит функция L(q) – функция правдоподобия, формирующаяся с учетом свойств многомерной функции распределения наблюдений над СВ х.

f(x₁ , x₂ ,…,x_n ,q)=f(x₁ , q)×f(x₂ ,q)×…×f(x_n ,q)

В указанное равенство подставляются данные и получаем функцию L(q):

L(q)=f(x₁ , q)×f(x₂ ,q)×…×f(x_n ,q)

За максимальное правдоподобное значение параметра q принимаем , при которой L(q) максимально.

L'(q)=0 => q_max =

Метод моментов(Метод Пирсона).

Метод обладает следующими достоинствами:

1. Оценки получаемые этим методом всегда являются состоятельными.

2. Метод моментов мало зависит от закона распределения случайной величины.

3. Сложность вычисления незначительна.

Известна случайная величина Х, которая характеризуется f(x, θ₁ , θ₂ …θ_q ), аналитический вид этой функции известен.

По выборке объёмом n х₁ ,х₂ ,х₃ ,…х_n – значения случайной величины в выборке вычисляем эмпирические начальные моменты случайной величины:

Находим теоретические моменты:

Основная идея метода моментов заключается в приравнивании значения эмпирических значений моментов теоретическим.

Решим систему q-уравнений с q-неизвестными:

состоятельные оценки.

Состоятельность этих оценок основана на том, что эмпирические моменты при достаточно большом n (n→∞) стремится к теоретическим. Выполняется закон больших чисел.

Распределение средней арифметической для выборки

из нормальной совокупности. Распределение Стьюдента.

Выборочное среднее рассчитанное по конкретной выборке, есть конкретное число. Состав выборки случаен и среднее арифметическое вычисленное по элементам другой выборки того же объёма, будет число отличное от первого.

- средняя арифметическая величина меняющаяся от выборки к выборке.

Теорема: Если случайная величина Х подчиняется нормальному закону с параметрами m и σ² Х(m, σ² ), а х₁ ,х₂ ,х₃ ,…,х_n – это выборка из генеральной совокупности, то средняя арифметическая:

так же является случайной величиной подчиняющаяся нормальному закону с параметрами m и σ² /n, а нормированная случайная величина:

так же подчиняется нормальному закону с параметрами (0;1).

Предполагается при использовании таблиц интеграла вероятности, что объём выборки n достаточно велик(n ≥ 30).

Существует достаточно большое количество технических задач в которых не удаётся собрать выборку такого объёма. Тем не менее анализу такой выборки необходимо дать вероятностную оценку.

В 1908 году английский математик Вильям Госсет дал решение задачи малых выборок (псевдоним Стьюдент). Стьюдент показал, что в условиях малых выборок надо рассматривать не распределение самих средних, а их нормированных отклонений от средних генеральных.

Надо рассматривать:

- это чётное распределение.

Оно зависит только от объёма выборки n и не зависит ни от математического ожидания, ни от дисперсии случайной величины Х. При n→∞ t – распределение Стьюдента переходит в нормальное распределение.

Поскольку в большинстве случаев σ генеральной совокупности неизвестно, то работает с такой величиной:

- состоятельная и несмещённая оценка.

Существуют t таблицы распределения Стьюдента.

Величина доверительной вероятности, её выбор находятся за пределами прикладной статистики. Они задаются самим исследователем. Величина доверительной вероятности определяется тяжестью тех последствий, которые могут произойти в случае, если произойдёт нежелательное событие.

Величина t_{n , p} показывает предельную случайную ошибку расхождения средневыборочного и математического ожидания.

Распределение дисперсии в выборках нормальной совокупности.

Распределение χ² Пирсона.

Выборочная дисперсия так же является случайной величиной меняющейся от выборки к выборки.

1) М(Х) – известно;

2) М(Х) – не известно.

1) Имеется случайная величина Х, которая подчиняется нормальному закону с параметрами (m, σ² ),

где: х_i (i = 1, 2, …, n) – независимые наблюдения над случайной величиной.

Для дисперсии мы выбираем вот такую оценку:

- несмещённая, состоятельная и эффективная оценка дисперсию генеральной совокупности.

Величина U_i является случайной величиной с параметрами (0;1).

Случайная величина представляющая собой сумму квадратов n независимых случайных величин, каждая из которых подчиняется нормальному закону распределения с параметрами (0;1) и независимых случайных величин с распределением χ² с к = n – степенями свободы.

Сама функция плотности вероятности f(χ² ) имеет вид:

Эта функция зависит только от объёма выборки и не зависит ни от математического ожидания, ни от дисперсии, ни от х.

Имеются таблицы распределения χ² позволяющие вычислить вероятность события

,

где: к – число степеней свободы;

α – доверительная вероятность, которая задаётся самим исследователем.

2) Математическое ожидание неизвестно .

Когда случайная величина Х с параметрами ( m , σ ² ) – неизвестны.

Для оценки дисперсии генеральной совокупности используется величина:

Случайная величина имеет распределение χ² с к = n – 1 степенями свободы.

Уменьшение степени свободы использована для получения среднего выборочного.

Доверительный интервал.

Рассмотренные ранее оценки получили название точечных оценок. На практике широко используются интервальные оценки, для получения которых используется метод доверительных интервалов.

В методе доверительных интервалов указывает не одно(точечное) значение интересующего нас параметра, а целый интервал. Он строится на основе неравенства Чебышева:

Задаётся некоторое число 0 < α < 1 близкое к нулю, которое называется уровень значимости .

Параметр ε находится из неравенства:

, тогда:

Интервал называется доверительным интервалом с уровнем значимости α .

Доверяясь расчёту мы утверждаем, что неизвестная вероятность принадлежит указанному интервалу, а вероятность возможной ошибки имеющей место тогда, когда этот интервал не накрывает истинное значение α не превосходит уровня значимости α.

n = 1000, m/n = 0,6

При α = 0,1 (0,550; 0,650)

При α = 0,01 (0,442; 0,758)

Истинное значение вероятности Р мы незнаем, но можем утверждать, что первый интервал накрывает это значение с вероятностью не менее чем 0,9 , а второй – 0,99.

Пример . Имеется некоторое предположение, гипотеза, о том, что неизвестная вероятность Р равна заданному число Р₀ :

Н₀ : р = р₀ ; (Р₀ = 0,5).

Эту гипотезу можно принять, а можно и отклонить посчитав её противоречащей известным статистическим данным.

Для принятия решения(проверки гипотезы) мы проделаем следующую процедуру:

Если Р₀ Î(Р_* , Р^* ) с α, то гипотезу принимаем(возможно здесь и ошибка, мы можем принять ложную гипотезу – такая ошибка первого рода).

Если Р₀ Ï (Р_* , Р^* ) с α, то гипотеза отвергается(здесь тоже можем совершить ошибку отклонить верную гипотезу – такая ошибка второго рода, вероятность такой ошибки заранее задаётся нами при построении доверительного интервала).

При наших предположениях, когда уровень значимости равен 0,1 в общем мы имеем Р₀ Ï (0,550; 0,650). Эта гипотеза отвергается, при этом мы ошибаемся не более чем в 1 случае из 10.

Построение доверительного интервала для математического ожидания.

Случайная величина Х распределённая с параметрами (m, σ² ).

Математическое ожидание неизвестно и требуется построить для него доверительный интервал.

1. Известно σ² .

2. Неизвестно σ² .

1. σ² известно.

Проводится выборка из генеральной совокупности и в качестве несмещённой, состоятельной и эффективной оценки математического ожидания выбирается . Оно тоже подчиняется нормальному закону с параметрами:

, где: n – объём выборки.

Нормированная величина:

подчиняется нормальному закону распределения с параметрами (0; 1), тогда вероятность:

Вероятность задаётся уровнем α, величина Р – доверительная вероятность. По таблице находим величину Z_p .

При известном Z_p получим:

Интервал для математического ожидания (m_* ; m^* ) получим:

– доверительный интервал для математического ожидания с уровнем значимости α .

2. σ² неизвестно.

Точно так же проводится выборка объёмом n, формируется случайная величина t

Случайная величина t имеет распределение Стьюдента.

Зная объём выборки n, задаваясь уровнем значимости α или задаваясь доверительной вероятностью р=1-α.

По распределению Стьюдента находим t_{n , p} – максимальное отклонение m и .

где: Р – доверительная вероятность.

Отсюда легко строится доверительный интервал.

Несмотря на кажущиеся совпадения двух формул они существенно отличаются друг от друга.

Во втором случае величина доверительного интервала зависит не только от доверительной вероятности, но и от объёма выборки.

Это различие наиболее существенно проявляется при малых выборках.

Построение доверительного интервала для дисперсии.

Случайная величина Х распределена по нормальному закону с параметрами (m, σ² ).

Требуется построить доверительный интервал для дисперсии по выборочным дисперсия.

или

Построение доверительного интервала для дисперсии основывается на том, что случайные величины:

– имеют распределение χ² с

к = n, к = n – 1 – степенями свободы.

При заданной доверительной вероятности 1 – α мы записываем:

По таблице распределения χ² мы должны выбрать такие два числа , чтобы площадь заштрихованная была равна 1-α.

Обычно величины выбирают таким образом, чтобы выполнялось неравенство:

В таблице распределения χ² имеется только вероятность вида:

Тогда:

Преобразуя это неравенство получим:

- доверительный интервал с уровнем значимости α.

Проверка статистических гипотез.

Наряду с оценкой параметров распределения по выборочным данным большой интерес представляет вид (закон) распределения неизвестный на практике. Такие задачи решаются методами статических гипотез.

Относительно неизвестного теоретического распределения формируется некоторое предположение, которое формируется в виде гипотез.

Например, теоретическое распределение подчиняется нормальному, экспоненциальному закону.

При проверки гипотез используется принцип значимости основывающийся на принципе практической невозможности.

Согласно принципу практической невозможности события с очень малыми вероятностями в практических приложениях считаются невозможными.

Максимум таких вероятностей определяет уровень значимости α, который задаётся.

В свою очередь согласно принципу значимости отвергается случайность появления практически невозможного события.

Поскольку теоретическое распределение задано гипотезой, то легко рассчитать вероятность появления некоторого события при проведении испытаний или взятии выборки и пусть такая расчётная вероятность не превышает ε, т.е. событие является практически невозможным.

Если же такое событие происходит, то возникает противоречие между выдвинутой гипотезой и выборкой. Гипотезу следует отвергнуть в этом и заключается содержание принципа значимости.

Проверяемая гипотеза называется нулевой или основной Н₀ .

Если гипотеза отвергается, то принимается противопоставляемая ей гипотеза Н₁ , которая называется конкурирующей ил альтернативной.

Про проверки гипотезы Н₀ возможны ошибки.

Можно отвергнуть гипотезу Н₀ в условиях когда она верна и совершить ошибку I-го рода и можно принять гипотезу, когда она не верна и совершить ошибку II-го рода.

Решение поставленной задачи по сути дела состоит в разделении всего множества выборочных данных на 2-а не пересекающихся подмножества О и W. Таких, что решение принимается в пользу гипотезы Н₀ , если выборка принадлежит области О и в пользу гипотезы Н₁ , если выборка принадлежит подмножеству W. Область W называется критической областью выборочного пространства. Здесь гипотеза Н₀ отвергается, а область О является областью допустимых значений. Здесь гипотеза Н₀ принимается.

Проверка гипотезы о равенстве центров распределения математического ожидания 2-х нормальных генеральных совокупностей.

Задача имеет большой практический интерес. Достаточно часто наблюдается такая ситуация, что средний результат в одной серии эксперимента отличается от среднего результата в другой серии эксперимента.

Возникает вопрос: можно ли объяснить отличительное расхождение случайными ошибками эксперимента и относительно малыми объёмами выборки или это отклонение вызвано какими-либо неизвестными, незамеченными закономерностями.

Имеется две случайных величин Х и Y с нормальным законом распределения.

Получим 2-е независимых выборки объёмом n₁ и n₂ из указанных генеральных совокупностей.

Необходимо проверить: Н₀ : М(X) = М(Y)

H₁ : |M(X) – M(Y)| > 0

Рассмотрим два случая:

1. – известны дисперсия генеральной совокупности ;

2. – дисперсия неизвестна .

1 - ,M(X) и M(Y) - неизвестны, для их оценки мы используем средние выборочные

Относительно известно, что они подчиняются нормальному закону распределения с параметрами:

Рассмотрим случайную величину . В силунезависимости выборок эта случайная величина подчиняется нормальному закону распределения.

Её дисперсия:

Если гипотез Н₀ верна(справедлива), то тогда: .

Величина:

с параметрами (0, 1)

Выбирая уровень значимости α или доверительную вероятность Р = 1- α можем записать:

; ;

Выбирая по величине интеграла вероятности значения Z_P мы тем самым делим выборочных данных на область допустимых значений и критическую область.

Для области, где выполняется неравенство |Z| ≤ Z_P – область допустимых значений(ОДЗ) Н₀ – принимается.

А, если |Z| > Z_P – критическая область(КО) Н₀ – отвергается, Н₁ – принимается.

Чем меньше α, тем меньше вероятность отклонить проверяемую гипотезе, если она верна. Но в этом случае увеличивается вероятность совершения ошибки II-го рода.

Чем меньше α, тем больше ОДЗ и тем больше вероятность принять проверяемую гипотезу, если она не верна, т.е. совершить ошибку II-го рода.

Методы проверки гипотез позволяют только отвергнуть проверяемую гипотезу, но они не могут доказать её справедливость.

2 -Дисперсия неизвестна.

Есть 2-е случайных величины X и Y, .

m_x и m_y неизвестны берутся независимые выборки (n₁ ;n₂ ) и рассматривается гипотеза: Н₀ : M(X) = M(Y)

H₁ : |M(X) – M(Y)| > 0.

Для оценки математического ожидания M(X) и M(Y) используем среднее выборочное . Для оценки дисперсий используем:

- несмещённые, состоятельные оценки дисперсии.

Поскольку генеральные совокупности X и Y имеют одинаковые дисперсии, то для оценки дисперсии целесообразно использовать результаты обеих выборок.

Наиболее целесообразной оценкой дисперсии является средняя взвешенная этих двух оценок.

Если гипотеза Н₀ справедлива, то тогда случайная величина подчиняется нормальному закону распределения с и с дисперсией

Если построить случайную величину:

, то она будет подчиняться нормальному закону с параметрами (0; 1).

Т.к. неизвестна, то такая величина подчиняется t-распределению Стьюдента(со степенями свободы n₁ + n₂ – 2).

Для α(Р = 1– α) подсчитывается критическое значение

Если вычисленные значения , то гипотеза Н₀ отвергается и наоборот:

Н₀ принимается.

Проверка гипотезы о совпадении 2-х дисперсий.

Задача имеет важное практическое значение. Возникает при наладке какого-либо оборудования при сравнении точности приборов, инструментов, методов измерений.

По 2-м независимым выборкам вычислены оценки дисперсий:

Для проверки гипотезы Н₀ используется критерий Фишера(F–критерий, F–распределение).

Вычисляется коэффициент:

Вычисляется критическое значение F_кр (α (или Р = 1 - α))

,где: ν – число степеней свободы числителя и знаменателя.

Если F_н > F_кр , то Н₀ отвергается,

F_н < F_кр , то Н₀ принимается.

Анализ однородности дисперсий.

Понятие однородности является обобщением понятия равенства дисперсий в случае, если число выборок превосходит 2(N > 2).

Для проверки гипотезы H₀ :

Н₀ :

Н₁ : дисперсия неоднородна.

Объёмы выборок n₁ ,n₂ , … ,n_N различны.

Когда объёмы выборок различны для решения задачи является χ² с (N-1) степенями свободы.

На практике наиболее частым является когда объёмы выборок одинаковы.

При равных объёмах выборок используется критерий Кохрана для проверки Н₀ .

Есть соответствующее распределение, но оно громоздко.

В начале вычисляется фактическое значение критерия:

Отношение максимальной оценки дисперсии к сумме всех оценок дисперсий вычисленных по табличным данным.

Для Р = 1 – α вычисляется критическое значение критерия Кохрана G_кр .

При G_н ≤ G_кр - H₀ принимается;

G_н > G_кр - H₀ отвергается.

Проверка гипотез о законе распределения.

Имеется случайная величина Х, требуется проверить гипотезу Н₀ :

Н₀ : эта случайная величина подчиняется некоторому закону распределения F(x).

Для проверки гипотезы делается выборка состоящая из n независимых наблюдений над случайной величиной Х. По выборке строится эмпирическая функция распределения F*(x). Сравнивая эти распределения с помощью некоторого критерия(критерий согласия) делается вывод о том, что эти два распределения согласуются, т.е. Н₀ – принимается.

Существует несколько критериев согласия: χ² Пирсона, критерий Колмогорова и т.д.

Критерий согласия χ² Пирсона.

Имеется случайная величина Х, выдвигается гипотеза Н₀ : F(x), делается выборка.

Диапазон Х_min – Х_max разбивается на ℓ интервалов. Размер интервала определяется по правилу Старджесса. D₁ ;D₂ ;D₃ ;…;D_ℓ .

m_i > 3(в среднем 5 - 7).

При m_i < 3 укрупнить интервал.

Находим частоту попадания случайной величины внутрь каждого интер­ва­ла.

Поскольку теоретическое распределение задано в гипотезе Н₀ всегда можно найти вероятность p_i попадания случайной величины внутрь каждого интервала.

χ² Пирсона предполагает, что надо построить:

(имеет распределение χ² только при относительно больших n (n > 50)).

Порядок применения χ² Пирсона:

1. Рассчитывается эмпирическое значение критерия χ² ;

2. Выбирается уровень значимости α (при Р = 1 - α);

3. По таблице подсчитывается ,

где: α – уровень значимости;

к – число степеней свободы.

В общем случае к = ℓ - r – 1,

где: ℓ - количество интервалов разбиения;

r – количество параметров распределения подсчитанных по выборке;

Здесь к = r – 1.

Если

Критерий Колмогорова.

По результатам выборки объёмом n строится эмпирическая функция распределения F(х). Принимается гипотеза Н₀ : случайная величина Х подчиняется распределению описанному функцией F(x).

За меру расхождения функций принимается величина:

Существуют таблицы распределения Колмогорова в которых можно найти:

- критическое значение. Оно зависит от уровня значимости α(Р = 1 - α), величины D и величины выборки n.

Если полученные из опыта значения коэффициента D оказывается больше критического , то Н₀ отвергается.

Если

С помощью величины можно построить доверительные границы для неизвестной функции F(x):

Колмогоров показал, что при n → ∞ величина:

подчиняется распределению Колмогорова.

Критерий Колмогорова так же может быть использован для статистической проверки принадлежности двух выборок объёмом n₁ и n₂ к одной и той же генеральной совокупности. Вычисляется параметр λ:

где: - эмпирические функции распределения соответственно первой и второй выборки.

По величине λ судят о согласии.

Раздел 6. Основы дисперсионного анализа.

Дисперсионный анализ – это статистический метод анализа результатов наблюдений зависящий от различных одновременно действующих факторов и позволяющий выбрать из ряда факторов наиболее важные, оценивать их влияние.

Основными предпосылками дисперсионного анализа является как правило нормальное распределение результатов наблюдений и отсутствие влияния исследуемых факторов на дисперсию результатов наблюдения.

Обязательным здесь является возможность управляемого изменения фактора в рамках его разновидностей называется уровнями фактора . Эти эксперименты могут быть пассивными, когда существование уровней и их смена является естественными для исследуемого объекта и активными, когда эти изменения искусственно вносятся экспериментатором по заранее составленному плану.

Идея дисперсионного анализа в разложении общей дисперсии случайной величины на независимые случайные слагаемые, каждый из которых характеризует влияние того или иного фактора, или их взаимодействие. Последующие сравнения этих дисперсий позволяют оценить сущность влияния факторов на исследуемую величину.

Пусть Х – это некоторая случайная величина зависящая от 2^х действующих на неё факторов А и В.

- среднее значение исследуемой величины.

Отклонение:

где: α – отклонение вызванное фактором А;

β – отклонение вызванное фактором В;

γ - отклонение вызванное другими факторами.

α, β, γ – случайные величины независимы.

Дисперсию случайной величины Х, α, β, γ обозначим:

где: величина - остаточная дисперсия учитывающая влияние случайных и прочих неучтённых факторов.

Для независимых и случайных величин имеет место равенство:

Сравнивая или с величиной можно установить степень влияния факторов А и В на величину Х по сравнению с неучтёнными и случайными факторами.

Сравнивая между собой и мы можем оценить сравнительную сте­пень влияния факторов А и В на величину Х.

Дисперсионный анализ позволяет на основании выборочных данных най­ти все значения дисперсии . Далее используя соответствующие критерии можно оценить степень влияния параметров А и В на исследуемую случайную величину.

Если речь идёт о влиянии одного фактора на исследуемую случайную величину, то речь идёт об однофакторном дисперсионном анализе. Если же речь идёт о многих факторах, то говорят о многофакторном дисперсионном анализе.

Однофакторный дисперсионный анализ.

Большое количество практических задач приводится к задачам од­но­фак­торного дисперсионного анализа.

Типичным примером является работа технологической линии в составе ко­торой имеется несколько параллельных рабочих агрегатов.

На выходе имеют место какие-то детали. Эти детали по какому-то параметру можем контролировать.

Ясно, что среднее значения контролируемых параметров после каждого станка будут несколько отличаться.

Вопрос: Обусловлены ли эти отличия действием случайных факторов или имеет место влияние конкретного станка агрегата.

В данном случае фактор только один – станок.

Совокупность размеров деталей подчиняется нормальному закону распределения, и все эти совокупности имеют равные дисперсии.

Имеется m станков, т.о. имеется m совокупностей. Из этих совокупностей мы проводим выборки объёмом n. Так, что значение параметров i-той совокупности i: .

Все выборки можно записать в виде таблицы, которая называется матрицей наблюдения.

i \ j	1	2	.	j	.	n	Ср. выбо­рочное
1	x11	x12	.	x1j	.	x1n
2	x21	x22	.	x2j	.	x2n
.	.	.	.	.	.	.	.
i	xi1	xi2	.	xij	.	xin
.	.	.	.	.	.	.	.
m	xm1	xm2	.	xmj	.	xmn

Выдвигаем гипотезу Н₀ заключающуюся в равенстве средних выборочных.

Гипотеза Н₀ проверяется сравнением внутригрупповых и межгрупповых дисперсий по F критерию Фишера.

Если расхождение незначительно, то принимается гипотеза Н₀ , в противном случае гипотеза Н₀ отвергается.

Далее находят сумму квадратов отклонений от общего среднего:

Ноль потому, что стоит сумма от - сумма отклонений переменных одной совокупности от средней арифметической той же совокуп­ности.

Слагаемое Q₁ является суммой квадратов разностей между средними отдельных совокупностей и общей средней всех совокупностей. Эта сумма называется суммой квадратов отклонений между группами. Она характеризует систематическое отклонение между совокупностями наблюдений.

Величину Q₁ – рассеяние по фактору.

Слагаемое Q₂ – представляет собой сумма квадратов разностей между отдельными и средней соответствующей совокупности. Эта сумма называется суммой квадратов отклонений внутри группы.

Она характеризует остаточное рассеяние случайных погрешностей совокупностей.

Величина Q называется общей или полной суммой квадратов отклонений отдельных отклонений от общей средней.

Получим оценки дисперсий:

- дисперсия обусловленная влиянием фактора;

- остаточная дисперсия – влиянием случайных и других неучтённых факторов.

- полная дисперсия.

Далее формируем оценку различия между оценками

подчиняется распределению f ² Фишера.

Выбираем уровень значимости α, или доверительной вероятности 1– α = Р и по таблице F-распределения с числом степеней свободы: к₁ = m–1; к₂ = m(n–1) находим критическое значение Фишера.

Сравнивая между собой F_н и F_кр,α мы делаем вывод насколько сильно влияние интересующего нас фактора на исследуемую случайную величину.

В этом и состоит идея дисперсионного анализа.

Однофакторный дисперсионный анализ обычно представляют в виде таблицы.

Компоненты дисперсии	Оценки дисперсии	Число степеней свободы
Основной фактор	Межгрупповая дисперсия		m - 1
Случайные, неучтенные факторы	Внутригрупповая дисперсия		m(n - 1)
Общая дисперсия		mn - 1

Основы регрессионного и корреляционного анализа.

Связи между различными явлениями в природе сложны и многообразны. В технике чаще всего речь идет о функциональной зависимости. В большинстве случаев интересующие нас явления протекают в условиях воздействия на них множества неконтролируемых факторов. Воздействие каждого из этих факторов в целом невелико, при этом связь теряет строгую функциональность и система переходит не в строго определенное состояние, а в одно из множества возможных. Речь идет о стохастической связи.

Под стохастической мы понимаем такую связь, когда одна случайная переменная реагирует на изменения другой случайной переменной изменением своего закона распределения.

Наиболее широко в технике используется частный случай стохастической связи, называемый статистической связью , при которой условное МО некоторой случайной величины Y является функцией от значения, которое принимает другая случайная величина X:

Как правило исследуются такие виды статистической связи, при которых значение некоторой случайной переменной зависит в среднем от значений, принимаемых другой случайной переменной:

Такое представление зависимости между переменными X и Y называется полем корреляции. Можно также построить таблицу корреляции.

Проделывая операцию усреднения для всех тех значений Х, по которым есть экспериментальный материал, приходим к тому, что облако исчезает и получается набор точек, представляющих средние значения. Соединяя эти точки, получаем ломанную, называемую эмпирической линией регрессии .

Связь между СВ характеризуется формой и теснотой связи.

Определение фориы связи и понятие регрессии.

Определить форму связи между СВ – значит выявить механизм получения зависимой случайной величины. При изучении статистических связей, форму связей характеризует функция регрессии:

- зависимость условного МО

Если св Х и Y зависимы, то МО их произведения:

Регрессия св Y относительно Х определяется как:

,

где - условная плотность вероятности по формуле Байеса:

- регрессия Х по Y.

Функция регрессии имеет важное практическое значение. Она может быть использована для прогноза значений, которые может принимать известная случайная величина при ставших известными значениях другой случайной величины.

Точность прогноза определяется дисперсией условного распределения:

учитывая:

Несмотря на важность функции регрессии, возможности ее практического использования ограничены, т.к. для ее вычисления необходимо знать аналитический вид двумерной функции {x,y}. Мы же, как правило, имеем выборку ограниченного объема.

Традиционный путь приводи к большим ошибкам, т.к. одну и ту же совокупность точек на плоскости можно описать с помощью различных функций.

Другой характеристикой формы связи, используемой на практике, стала кривая регрессии – зависимость условного среднего случайной величины от значения, которое принимает случайная величина Х: .

Определение кривой регрессии инвариантно закона совместного распределения св Х и Y. Важное значение в практике имеет двумерный нормальный закон распределения . Особенностью этого распределения является то, что условные МО совпадают с условными средними. При этом функция регрессии совпадает с кривой регрессии.

Линейная регрессия (ЛР). Метод наименьших квадратов.

Линейная регрессия занимает в технике и теории корреляции особое место. Она обусловлена двумерным нормальным законом распределения СВ Х и Y:

, где

а₀ и а₁ – коэффициенты регрессии,

х – независимая случайная величина

Параметры уравнения регрессии определяются методом наименьших квадратов, предложенным Лагранжем и Гауссом, который сводится к следующему.

Строятся квадратичные формы:

x_i – измеренное значение переменной,

e - истинное или теоретическое значение этой величины.

Требуется, чтобы сумма квадратов отклонений измеренных значений относительно истинных была минимальна.

В случае линейной регрессии за теоретическое значение принимается значение , т.е. ищется такая прямая линия с коэффициентами а₀ и а₁ , чтобы сумма квадратов отклонений от этой линии была минимальна.

,

у_i – измеренное значение переменной Y.

Минимальные квадратичные формы получают, приравнивая к нулю ее производные по а₀ и а₁ :

Нелинейная регрессия (НР).

Форма связи между условными средними определяется уравнениями регрессии. В зависимости от вида уравнений можно говорить о ЛР или НР.

В общем случае эта зависимость может быть представлена в виде полинома степени k:

Определение коэффициентов регресии производится по методу наименьших квадратов:

В результате получаем систему нормированных уравнений:

Решая полученную систему известным способом, находим коэффициенты регрессии.

Измерение тесноты связи.

Если бы величина Y полностью определялась аргументом Х, все точки лежали бы на линии регрессии. Чем сильнее влияние прочих факторов, тем дальше отстоят точки от линии регрессии. В случае в) связь между Х и Y является более тесной.

За основу показателя, характеризующего тесноту связи, берется общий показатель изменчивости дисперсии:

(*)

- дисперсия переменной Y относительно теоретической линии дисперсии, определяющей влияние прочих факторов на величину Y.

- условная дисперсия, характеризует дисперсию теоретической линии регрессии относительно условной генеральной средней m_y . Именно она определяет влияние данного фактора (Х) на величину Y и может быть использована для оценки тесноты связи между величинами Х и Y.

- теоретическое корреляционное отношение.

Изменяется от 0 до 1, что легко доказать, поделив (*) на s_у ² :

1) Если =1, то

Влияние прочих факторов отсутствует. Все распределение будет сконцентрировано на линии регрессии. В этом случае между Х и Y существует простая функциональная зависимость.

2) Если =0, когда .

В этом случае линия регрессии Y по Х будет горизонтальной прямой, проходящей через центр распределения.

В случае, когда вид зависимости (форма связи) случайных величин Х и Y не установлен, часто бывает необходимо убедиться в наличии какой-либо связи вообще. Может оказаться, что связь несущественна и вычисление коэффициентов регрессии неоправданно.

Для объяснения такого вопроса вычисляется эмпирическое корреляционное отношение, определяемое на основе выборочных данных. При выводе формул для ЭКО пользуются эмпирической линией регрессии и оценкой дисперсии по выборке.

Определение эмпирического корреляционного соотношения.

y – измеряемое значение зависимой переменной

n – общее количество измерений

- условное среднее (среднее значение зависимой переменной у в i-ом интервале св Х)

k – общее количество интервалов

- среднее всей совокупности измерений

В пределах каждого интервала, для всех тех значений Х, для которых есть экспериментальные результаты (значения Y), находим средние значения.

S_y(x) ² – составляющая полной дисперсии, характеризует дисперсию результатов измерений относительно эмпирической линии регрессии, т.е. влияние прочих факторов на зависимую переменную Y.

d_{y ( x ­)} ² – характеризует дисперсию эмпирической линии регрессии относительно среднего всей совокупности, т.е. влияние исследуемого фактора на зависимую переменную Y.

- Эмпирическое корреляционное соотношение

Из сравнения с формулой для теоретического корреляционного соотношения видно: при расчете теоретического корреляционного соотношения необходимо знать форму связи между переменными.

При вычислении эмпирического корреляционного соотношения никакие предположения о форме связи не используются, нужна только эмпирическая линия регрессии.

Свойства:

1. 0 ££ 1

2. если =1, все точки корреляционного поля лежат на линии регрессии – функциональная связь между Х и Y.

3. Если =0 (когда ), отсутствует изменчивость условных средних , эмпирическая линия регрессии проходит параллельно оси абсцисс – свзи между Х и Y нет.

Эмпирическое корреляционное соотношение завышает тесноту связи между переменными и случайными величинами, причем тем сильнее, чем меньше число измерений, поэтому рекомендуется использовать для предварительной оценки тесноты связи, а для окончательной оценки – теоретическое корреляционное соотношение.

Коэфициент корреляции.

Рассмотрим случай вычисления теоретического корреляционного соотношения , когда связь между случайными величинами Х и Y является линейной.

Такая форма связи между Х и Y имеет место в случае, когда случайные величины подчиняются двуменому нормальному закону распределения.

Подставив вместо Y и их значения для случая линейной зависимости:

=

(х)=а₀ + а₁ х

=

Заменим а₁ ее значением, полученным из решения нормальных уравнений:

Коэфициент корреляции является частным случаем теоретического корреляционного соотношения , когда связь между СВ является линейной. В этом случае r является показателем тесноты связи.

- выборочный корреляционный момент

Выборочный коэфициент корреляции обладает свойствами:

1. r=0, если св Х и Y независимы

2. - Для любых св Х и Y

3. - Для случая линейной зависимости св Х и Y.

Коэфициент корреляции используется для оценки тесноты связи и в случае нелинейной зависимости между случайными величинами.

Если предварительный графический анализ поля корреляции указывает на какую либо тесноту связи, полезно вычислить коэфициент корреляции.

Если модуль коэфициента корреляции , то независимо от вида связи можно считать, что она достаточно тесна, чтобы исследоват ее форму.

Двумерное нормальное распределение.

Его возникновение объясняется центральной предельной теоремой Ляпунова:

r – коэффициент корреляции. Х и У по отдельности распределены нормально (m_x ,s_x ) и (m_y ,s_y ).

В частном случае независимых СВ Х и У r=0:

Исходные плотности одномерных нормальных распределений Х и У:

Условное распределение – нормальное с условиями:

и .

Первое условие является уравнением функции регрессии.

и .

Нормальная регрессия прямолинейна. Точность оценки у/х одинакова для всех х. В качестве меры тесноты связи используется коэффициент корреляции, а форму связи при этом характеризует коэффициент регрессии.

Z=f_xy (x,y) – трехмерная поверхность, сечения которой плоскостями XZ и YZпредставляют собой графики плотности одномерных распределений.

Коэффициент множественной корреляции

D* – это D с добавочными верхней строкой и правым столбцом, состоящих из свободных членов уравнений.

Пример : Вычислить КМК:

Коэффициент корреляции рангов (объединенные ранги)

Анализ информации неподдающейся количественной оценке.

На экзаменах разные экзаменаторы ставят одним и тем же студентам разные оценки. Чтобы исключить элемент субъективизма, всех учащихся располагают в соответствии со степенью их способностей и ранжируют. Корреляция между рангами значительно точнее отражает взаимосвязь.

Есть n учащихся и ранги по некоторому фактору А: X₁ …X_n и по фактору B: Y₁ …Y_n .

X_i , Y_i – перестановки n первых натуральных чисел.

X_k -Y_k =d_k – мера тесноты связи A и B. Если все d_k =0, то A и B полностью соответствуют.

Последнее выражение – коэффициент корреляции рангов Спирмена .

Существуют и другие показатели тесноты связи:

ККР Кендела : удобен для углубленных исследований, когда невозможно установит ранговые различия. Строятся объединенные усредненные ранги и

t_i – число объединенных рангов.

Метод ранговой корреляции

Позволяет анализировать множество факторов и выделять доминирующие.

Для построения математической модели процесса необходимо выделить из множества факторов доминирующие. На первом этапе это делается с помощью экспертных оценок: максимальному кругу специалистов предлагается расположить факторы в порядке убывания степени влияния. При этом предлагается максимально полный список факторов, хотя каждый может включать в этот список дополнительные факторы.

Результат – матрица рангов, которая строится с учетом квалификации опрашиваемого: показания специалистов умножаются на коэффициент квалификации. Чем меньше сумма рангов фактора, тем более важное место он занимает, тем большее влияние он оказывает на выходной параметр.

Если распределение на диаграмме близко к равномерному, то все факторы должны учитываться. Обычно отмечается, что опрос не дал желаемого результата.

Если не равномерно, но изменение рангов не велико, значит специалисты делают различия между факторами, но неуверенно. Таким образом, надо учитывать все факторы.

Наиболее благоприятен случай быстрого экспоненциального спада суммы рангов. Малозначащие факторы отсеиваются. Для оценки степени согласованности мнений специалистов вычисляется коэффициент конкордации :

m – число специалистов

n – число факторов.

Чем больше W, тем больше степень согласованности. Если W=0, то согласованность отсутствует. При W=1 – полная согласованность.

Планирование эксперимента

Классический регрессионный и корреляционный анализ базируются на пассивном эксперименте, который сводится к сбору и обработке данных, полученных в результате наблюдения за процессом или явлением.

Привлекательность пассивного эксперимента в том, что он избавляет от необходимости тратить время и средства на постановку опытов. Полученные результаты в виде уравнения регрессии можно затем использовать для управления процессом. Однако пассивный эксперимент имеет ряд недостатков:

1. При сборе экспериментальных данных на реальном действующем промышленном объекте во избежание появления брака возможны лишь незначительные изменения параметров процесса. При этом интервалы варьирования параметров оказываются столь малыми, что изменение выходной величины будет в значительной степени обусловлено воздействием случайных факторов.

2. Часто упускают из вида важные факторы из-за невозможности их измерения или регистрации.

3. При пассивном эксперименте нельзя произвольно варьировать параметры. В результате этого экспериментальные точки часто располагаются неудачно и при большом количестве опытов затрудняют точное описание процесса.

Активный эксперимент

Ставится по плану. Достоинства:

1. Появляется четкая логическая схема всего исследования.

2. Повышается эффективность исследования. Оказывается возможным извлечь максимальное количество информации.

3. Обработка результатов эксперимента осуществляется стандартными приемами.

4. Планирование эксперимента позволяет обеспечить случайный порядок проведения опытов (рандомизация).

Отпадает необходимость в жесткой стабилизации мешающих факторов.

Активный эксперимент эффективен в лабораторной практике, а пассивный – в производстве.

С помощью методов планирования эксперимента можно получить математическую модель изучаемого процесса в аналитическом виде при отсутствии сведений о механизме процесса.

Математическая модель процесса задается полиномом:

Чаще всего используется линейная модель:

План эксперимента определяет расположение точек в к-мерном факторном пространстве.

Матрица планирования : каждая строчка – условие проведения опыта, а столбец – значения переменной в различных опытах.

При выборе линейной модели достаточно варьировать каждый фактор на двух уровнях. Если при этом осуществляются все возможные комбинации из k факторов, то реализация эксперимента по такому плану называется полным факторным экспериментом типа 2^k (ПФЭ 2^k ).

Построение математической модели методом ПФЭ проводится в следующем порядке:

1. Планирование эксперимента

2. Проведение эксперимента

3. Проверка воспроизводимости

4. Построение математической модели с проверкой статистической значимости всех коэффициентов

5. Проверка адекватности математической модели.

Центр плана (точка, вокруг которой ставится серия опытов) выбирается на основании априорных сведений о процессе.

Если эти сведения отсутствуют, то в качестве центра плана выбирается центр исследуемой области.