Дипломна робота
"Дослідження розвитку теорії ймовірності"
Реферат
Перелік ключових слів: імовірність, класичне визначення, математичне очікування, закон більших чисел, подія, теорія ймовірностей.
Об'єктом дослідження в даній роботі є: поняття ймовірності, математичного очікування, закон більших чисел, а точніше динаміка їхнього розвитку.
Ціль роботи: простежити динаміку розвитку зазначених понять і теореми від найпростіших форм, до завершених, сучасних. Це дозволить зрозуміти й осмислити сутність закону більших чисел (статистичної закономірності), що відіграє важливу роль із методичної точки зору.
Основними методами дослідження в цій області є: вивчення історично-математичної літератури, аналітичний метод дослідження.
У результаті проведеного дослідження можна зробити такі висновки: розвиток понять імовірності й математичного очікування відбувалося стрибкоподібно. Це зв'язано з багатьма факторами. Як приклад можна привести такий фактор: з постановкою нових задач у теорії ймовірностей були потрібні й нові підходи до їхнього рішення, а це означало іноді перегляд визначень основних понять, критична їхня переоцінка. Із законом більших чисел таких змін не відбувалося. Він плавно розвивався від найпростіших форм до завершених, сучасних. Це пов'язане з тим, що споконвічно він був повністю осмислений, сформульований вірно, тому його важко було витлумачити якось інакше, або невірне. У зв'язку із цим його значеннєве значення не мінялося із часом.
Отримані результати можуть бути використані як наочне приладдя, насамперед з метою осмислення зазначених понять і теореми, для ілюстрації їхнього історичного розвитку, як методична допомога.
Зміст
Реферат
Вступ
1. Динаміка розвитку поняття ймовірності
1.1 Перші спроби введення поняття ймовірності
1.2 Поява класичного визначення поняття ймовірності
1.3 Перші спроби введення аксіоматичного визначення поняття ймовірності
1.4 Поява аксіоматичного визначення поняття ймовірності
2. Динаміка розвитку поняття математичного очікування
2.1 Передумови введення поняття математичного очікування
2.2 Введення поняття математичного очікування і його подальший розвиток
3. Закон більших чисел
3.1 Первісне осмислення статистичної закономірності
3.2 Поява теорем Бернуллі й Пуассона - найпростіших форм закону більших чисел
3.3 Нерівність Чебишева. Закон більших чисел у формі Чебишева
3.4 Закон більших чисел для залежних випадкових величин
3.5 Посилення закону більших чисел. Поява необхідної й достатньої умов застосовності закону більших чисел
Висновок
Список джерел
В історії теорії ймовірностей можна виділити наступні етапи.
1. Передісторія теорії ймовірностей. У цей період, початок якого губиться в далечіні століть, ставилися й примітивно вирішувалися елементарні задачі, які пізніше будуть віднесені до теорії ймовірностей. Ніяких спеціальних методів у цей період не виникає. Іде нагромадження матеріалу. Цей період кінчається в XVI в. роботами Кардано, Пачолі, Тарталья й ін.
2. Виникнення теорії ймовірностей як науки. У цей період виробляються перші специфічні поняття, такі, як математичне очікування. Установлюються перші теореми-теореми додавання й множення ймовірностей. Початок цього періоду пов'язане з іменами Паскаля, Ферма, Гюйгенса. Цей період триває від середини XVII в. до початку XVIII в. У цей час теорія ймовірностей знаходить свої перші застосування в демографії, страховій справі, в оцінці помилок спостереження.
3. Наступний період починається з появи роботи Я. Бернуллі «Мистецтво припущення» (1713 р.). Це перша робота, у якій була строго доведена гранична теорема - найпростіший випадок закону більших чисел. Теорема Бернуллі дала можливість широко застосовувати теорію ймовірностей до статистики. До цього періоду ставляться роботи Муавра, Лапласа, Гаусса, Пуассона й ін.; теорія ймовірностей починає застосовуватися в різних областях природознавства. Центральне місце в цьому періоді займають граничні теореми.
4. Наступний період розвитку теорії ймовірностей зв'язаний, насамперед, з росіянці (Петербурзької) школою. Тут можна назвати такі імена, як Чебишев П.Л., Марков А.А., Ляпунов А.М. У цей період поширення закону більших чисел і центральної граничної теореми на різні класи випадкових величин досягає своїх природних границь. Закони теорії ймовірностей стали застосовуватися до залежних випадкових величин. Все це дало можливість прикласти теорію ймовірностей до багатьом розділам природознавства, у першу чергу - до фізики. Виникає статистична фізика, що розвивається у взаємозв'язку з теорією ймовірностей.
5. Сучасний період розвитку теорії ймовірностей почався із установлення аксіоматики. Цього в першу чергу вимагала практика, тому що для успішного застосування теорії ймовірностей до фізики, біології й іншим галузям науки, а також до техніки й військової справи необхідно було уточнити й привести в струнку систему її основні поняття. Завдяки аксіоматиці теорія ймовірностей стала абстрактно-дедуктивною математичною дисципліною, тісно пов'язаної з теорією множин, а через неї-з іншими математичними дисциплінами. Це обумовило небувалу широту досліджень по теорії ймовірностей, починаючи від хазяйновито – прикладних питань і закінчуючи самими тонкими питаннями кібернетики. Перші роботи цього періоду пов'язані з іменами Бернштейна, Мизеса, Бореля. Остаточне встановлення аксіоматики відбулося в 30-е роки XX в., коли була опублікована, і одержала загальне визнання аксіоматика А.Н. Колмогорова.
В останні час намітилися нові підходи до основних понять теорії ймовірностей. Про це свідчить появу теорії надійності, теорії інформації, теорії масового обслуговування й т.п.
Ми ж розглянемо динаміку розвитку визначення поняття ймовірності; такого поняття в теорії ймовірностей, як математичне очікування, а також відомого закону більших чисел.
Простеживши розвиток цих понять від найпростіших уявлень до закінчених і обміркованих їхніх форм, ми зможемо глибше зрозуміти їхній зміст, що, безсумнівно, важливо з методичної точки зору.
Розглянемо, як розвивалося поняття ймовірності.
Д. Кардано (1501–1576 р.) у своїй роботі «Книги про гру в кості» впритул підійшов до визначення поняття ймовірності через відношення рівно можливих подій [1].
«Отже, є одне загальне правило для розрахунку: необхідно врахувати загальне число можливих випадань і число способів, якими можуть з'явитися дані випадання, а потім знайти відношення останнього числа до числа можливостей, що залишилися, випадань; приблизно в такій же пропорції визначаються відносні розміри ставок для того, щоб гра йшла на рівних умовах».
Кардано в цьому уривку говорить, що якщо можливе число випробувань дорівнює n
, а число сприятливих випробувань – m
, те ставки повинні бути у відношенні  (мова йде про поділ ставки, тому що вчених того часу дуже хвилював це питання, багато хто з них намагалися вирішувати цю задачу).
У роботах Л. Пачоли, Н. Тарталья робиться спроба виділити нове поняття ймовірності – відношення шансів – при рішенні ряду специфічних задач, насамперед комбінаторних.
Треба відзначити, що поняттям імовірності активно користувалися вчені того часу, не визначаючи його а розуміючи його інтуїтивно. Паскаль і Ферма в листах один одному використовували поняття ймовірності в схованій формі, не визначає його в конкретне визначення.
Гюйгенс (1629–1695 р.) у своїй книзі «Про розрахунки в азартних іграх» виділив поняття «шанс», що по суті, є ще не дуже усвідомлене поняття ймовірності [2]. У введенні Гюйгенс пише: «Хоча в іграх, заснованих на чистому випадку, результати є невідомими, однак шанс гравця на виграш, або на програш має певну вартість. Наприклад, якщо хто-небудь тримає парі, що він викине при першому киданні однієї кістки шість очка, те невідомо, чи виграє він або програє, але що є певним вирахуванням це те, наскільки його шанси програти парі перевершують його шанси на виграш парі».
Т. Байес (1702–1761 р.) у своїй роботі, опублікованої в «Філософських працях» за 1763 р. Р. Прайсом за назвою «Досвід рішення задачі по теорії ймовірностей покійного високоповажного містера Байеса, члена Королівського суспільства, повідомлено містером Прайсом у листах Джонові Кентону, магістрові мистецтв, члену Королівського суспільства» увів поряд з іншими визначеннями й визначення поняття ймовірності. Байес формулює наступні визначення.
1. Кілька подій є несумісними, якщо настання одного з них виключає настання інших.
2. Події, що виключають друг друга, якщо одне з них повинне наступити, але обоє одночасно наступити не можуть.
3. Говорять, що подія не відбулася, якщо воно не наступає або, якщо наступає подія, що виключає.
4. Говорять, що подія визначена, якщо воно наступило або не наступило.
5. Імовірність якої-небудь події є відношення значення, що дається очікуванню, пов'язаному з настанням події, і значення очікуваної в цьому випадку прибутку.
6. Під шансом я розумію те ж саме, що й під імовірністю.
7. Події є незалежними, якщо настання одного не зменшує й не збільшує ймовірності інших [1,2].
Деякі із цих визначень, наприклад 1 і 7, майже повністю збігаються із сучасними. Визначення ж імовірності не відрізняється ясністю, можливо тому, що у формулюванні використовується невизначене поняття: «значення очікування, пов'язаного з настанням події».
У другому розділі своєї роботи Байес користується геометричним визначенням імовірності в його сучасному змісті (не визначаючи його), вирішуючи задачу про кидання кулі W
на квадратну дошку ABCD
На AB
беруться дві будь-які крапки f
і b
і через них C F s L D
проводяться лінії, паралельні AD
до перетинання з CD
у крапках F
і L.
Після цього Байес формулює наступну лему.
Лема.
Імовірність того, що крапка O
(крапка зупинки OO кулі) буде перебувати між двома якими-небудь крапками лінії AB
, є відношення відстані між двома крапками до всієї лінії AB
.
Інакше кажучи, імовірність того, що куля, кинута випадковим образом на ABCD
, зупиниться в прямокутнику bfFL
, дорівнює  . Аналогічно ми обчислюємо геометричним способом імовірність і зараз, як відношення мер.
P(A)= , ( ) – імовірнісний простір,
- клас або сімейство підмножин в  ,
- область в ,
P-Імовірність.
Але в Байеса не було визначення геометричної ймовірності.
Кондорсе (1743–1794 р.), відомий політичний і суспільний діяч буржуазної французької революції, займався питаннями теорії ймовірностей. У своїй роботі «Suite du Memoire sur le calcul des Probabilites» Кондорсе намагався поряд з імовірністю ввести поняття «властиво ймовірність» [1,2].
«Не слід розуміти під властиво ймовірністю події відношення числа сполучень, що мають місце, до загального числа сполучень. Наприклад, якщо з 10 карт витягає одна карта й свідок говорить, що це була саме така-те карта, те властиво ймовірність цієї події, яку потрібно зіставити з імовірністю що народжується зі свідчення, що буде  , а є ймовірність достати цю карту переважно, чим іншу яку-небудь певну карту, і тому що всі ці ймовірності однакові, те властиво ймовірність буде в цьому випадку  …
У випадку, коли витягає одна з десяти карт, число сполучень, при яких витягає яка-небудь певна карта, є одиниця й число сполучень, при яких буде витягнута яка-небудь інша певна карта, теж є одиниця, виходить, властиво ймовірність виразиться – .»
Поняття властиво ймовірності необґрунтовано. Його протиставлення поняттю ймовірності чисто суб'єктивне й математично нічим не підтверджено. Можливо саме тому в науці воно не збереглося.
До XVIII в. поняття ймовірності вже дуже активно використовувалося при рішенні різних задач.
Л. Ейлер (1707–1783 р.), досліджуючи різні лотереї, які пропонували Прусському королю Фрідріху II для поповнення скарбниці держави, користувався саме класичним визначенням імовірності.
П. Лаплас (1749–1827 р.) у своїх лекціях за назвою «Досвід філософії теорії ймовірностей» уводив наступне класичне визначення ймовірності: імовірність P(A) події A рівняється відношенню числа можливих результатів випробування, які сприяють події A, до числа всіх можливих результатів випробування. У цьому визначенні передбачається, що окремі можливі результати випробування рівно можливі
[1,2].
Цьому визначенню ймовірності Лаплас додав суб'єктивний зміст, увівши принцип недостатності або відсутності підстав. Цей принцип полягає в тому, що якщо ймовірність події невідома, то ми для її значення призначаємо деяке число, що нам представляється розумним. У випадку, якщо ми маємо кілька подій, які становлять повну систему, але не знаємо ймовірності кожної події окремо, то ми вважаємо, що всі ці події рівно можливі.
Магістр філософії Сигізмунд (Зигизмунт) Ревковський (1807–1893 р.) в 1829/30 р. уперше в Росії став читати курс теорії ймовірностей. Імовірність він називав мірою надії, величиною надії й давав їй класичне визначення.
Н.И. Лобачевский серйозно займався теорією ймовірностей. У своїй роботі «Нові початки геометрії з повною теорією паралельних» він визначає ймовірність, випливаючи Лапласові: «під словами ймовірність розуміють зміст числа добрих нагод до числа всіх випадків разом».
Рівно можливість випадків, мабуть, малася на увазі Лобачевским.
Професор математики Московського університету Зернов Н.Е. (1804–1862)
у своїй мові «Теорія ймовірностей, з додатком переважно до смертності й страхування», що була видана в 1843 р., увів визначення ймовірності ( ) і цікаве визначення поняття відносної ймовірності.
«Імовірність подій, розглянутих у такому виді, начебто інші події зовсім не мали місця, називається ймовірністю відносного. Відносна ймовірність якої-небудь події дорівнює частці, що пішла від ділення самостійної ймовірності тієї ж події на суму цієї останньої ймовірності й протилежної їй, також самостійної».
Це визначення супроводжується прикладом. У посудині є 3 червоних, 1 чорний, 2 білих кулі. Імовірність витягтися червона куля  ;  ;  – це всі ймовірності самостійні. Тримають парі щодо появи білої або чорної кулі, не обертаючи уваги на червоні. Імовірність виграти парі на білій кулі –  , на чорному – .
теорія ймовірність математичне очікування
Це, по Зернову, відносні ймовірності. Для них справедливі співвідношення:
 ;  .
Навіть на цьому прикладі видно, що поняття відносної ймовірності зайво (можна розглядати, що в урні тільки 2 білих і 1 чорна куля).
Великим представником російської теорії ймовірностей був М.В. Остроградський. У своїй статті «Про страхування», опублікованої в журналі «Фінський вісник» в 1847 р., Остроградьский трактує поняття ймовірності із суб'єктивних позицій, як міру впевненості суб'єкта, що пізнає, [1].
Він докладно говорить про те, що ймовірність є міра нашого незнання, що це суб'єктивне поняття, що в імовірності в суб'єктивному світі немає ніякої відповідності, що увесь світ детерминистичен і випадкового в ньому ні, є тільки те, що ми не знаємо або не пізнали, що ми й називаємо випадковим.
«Якщо явище зовсім залежить від декількох інших явищ або випадків, з яких одні можуть його зробити, інші йому противні, і якщо притім всі ці випадки такі, що для нас, ми повторюємо, для нас, немає причини одні з них воліти іншим, то ймовірність очікуваного явища виміряється дробом, який чисельник дорівнює числу випадків, що доставляють явище, – а знаменник числу всіх випадків».
Це твердження збігається з так званим класичним визначенням Лапласа із тлумаченням рівної можливості, як недостатності підстав давати перевага одним подіям перед іншими. Розглядається приклад. В урні перебуває 5 куль (3 білих і 2 чорних), з її витягає одну кулю. Яка ймовірність, що ця куля буде білим? Щодо цього приклада Остроградський пише: «П'ять куль перебувають у вазі; немає ніякої причини думати, що один з них потрапить у руку скоріше, ніж іншої. Говорячи, немає ніякої причини, розуміємо, що її немає для нас, – вона є, але зовсім нам невідома.… І як ми не можемо дати одній кулі перевага перед іншим, те всі кулі представляють для нас випадки рівно можливі. Той, хто знав би розташування куль в урні й міг би обчислити рух руки, що виймає, той сказав би наперед, який саме вийде куля, - для нього не було б імовірності.
Якби для нас, справді, не було причин вийняти такий-то куля, а не інший, тоді поява кулі бути б дійсно неможливо, як неможлива дія без причини.
Ми повторюємо, що ймовірність і однакова можливість випадків, і міра ймовірності існують тільки для нас. Для істот же всевідаючих, тобто відомості, що має всі, про всі явища, імовірність не може мати не тільки міри, але й ніякого значення.
Це висловлення є типовим висловленням у дусі механічного детермінізму, що був у той час широко розповсюджений у теорії ймовірностей.
П.Л. Чебишев (1821–1894 р.) був творцем і ідейним керівником петербурзької математичної школи. Чебишев зіграв велику роль у розвитку багатьох розділів математики, у тому числі теорії ймовірностей. У своїй магістерській дисертації в першому розділі він уводить поняття ймовірності. Для цього він, насамперед, визначає рівно можливі події: «Якщо з певного числа різних подій при відомих обставинах один необхідно повинне трапитися, і немає особливої причини очікувати якого-небудь із цих подій переважно перед іншими, те такі події відрізняємо назвою випадків рівно можливих». Не можна сказати, щоб це визначення було досить чітке.
Якщо з n випадків m мають як наслідок деяка подія, то мірою ймовірності цієї події, що називають імовірним, приймають  , тобто «відношення числа рівно можливих випадків, сприятливих для події, до числа всіх рівно можливих випадків».
А.А. Марков (1856–1922 р.) був найближчим учнем і кращим виразником ідей Чебишева. У своїй роботі «Вирахування ймовірностей» Марков давав класичне визначення ймовірності, але до визначення рівної можливості («Дві події ми називаємо рівно можливими, якщо немає ніяких підстав очікувати одного з них переважно перед іншим. Кілька подій ми називаємо рівно можливими, якщо кожні два з них рівно можливі») він робив наступну примітку: «На мою думку, різні поняття визначаються не стільки словами, кожне з яких може, у свою чергу, зажадати визначення, як нашим відношенням до них, що з'ясовується поступово». Визначення поняття ймовірності виглядає так:
«Імовірністю події називається дріб, чисельник якої представляє число рівно можливих випадків, сприятливих цій події, а знаменник-число всіх рівно можливих випадків, що відповідають питанню».[1,2]
У своїй книзі «Теорія ймовірностей» С.Н. Бернштейн спробував увести визначення поняття ймовірності аксіоматичним способом.
З аксіоми порівняння ймовірностей і аксіоми про несумісні події Бернштейн робить наступний висновок: «Якщо події X сприяють m випадків із загального числа всіх n єдино можливих, несумісних і рівно можливих випадків, то ймовірність події X залежить тільки від чисел m і n (а не від природи розглянутого досвіду), тобто ймовірність X=F (m, n), де F (m, n) є деяка певна функція».
Але, цим аксіомам задовольняє тільки функція виду F(
), причому-це зростаюча функція дробу . Будь-яку таку функцію F(
) можна прийняти за ймовірність X. Загальноприйняте вважати F(
)= . Це і є ймовірність події X у висловлених умовах, а точніше класичне визначення ймовірності.
Із упевненістю можна сказати, що визначення поняття ймовірності лежить в основі будь-якої аксіоматичної системи теорії ймовірностей. На недоліки класичного визначення ймовірності вказували давно. Були видні й недоліки суб'єктивного трактування ймовірності, що йде від Лапласа. Критикові цих недоліків зустрічали доброзичливо. Найбільш широке поширення одержали роботи в цьому напрямку німецького вченого Р. Мизеса (1883–1953 р.), що з гітлерівської Німеччини емігрував у США, де він очолив Інститут прикладної математики. Мизес є засновником так званої частотної концепції в теорії ймовірностей.
Основним поняттям у частотній теорії Мизеса є поняття колективу. Під колективом розуміється нескінченна послідовність k-однакових
спостережень, кожне з яких визначає деяку крапку, що належить заданому простору  кінцевого числа вимірів. Говорити про ймовірність, по Мизесу, можна тільки тоді, коли існує ця певна сукупність подій. Колектив, по Мизесу, "...повинен задовольняти наступним двом вимогам:
відносні частоти появи певної події в послідовності незалежних випробувань мають певні граничні значення;
граничні значення, про які говориться в першій вимозі, залишаються незмінними, якщо із всієї послідовності вибрати будь-яку підпослідовність.
Взявши за основу той факт, що ймовірність і частота - зв'язані між собою величини, Мизес визначає ймовірність як граничне значення частоти: «Обґрунтоване припущення, що відносна частота появи кожного одиничного спостережуваної ознаки прагне до певного граничного значення. Це граничне значення ми називаємо ймовірністю».
Але насправді ніякого обґрунтованого припущення в нас немає. Ми ніколи не можемо знати, чи має дана частота чи межа ні, хоча б уже тому, що для цього довелося б зробити нескінченне число досвідів. Це визначення неспроможне математично, тому що ми не можемо вказати функціональної залежності між кількістю випробувань n
і частотою появи подій  , де m-кількість
появ події, а, не вказавши такої залежності, ми не можемо обчислити межу,  , що прийнята за ймовірність.
Найбільші представники теорії ймовірностей ніколи не були прихильниками частотної школи, а прихильники цієї школи не одержали істотних результатів у теорії ймовірностей.
Спроб обґрунтувати теорію ймовірностей було досить багато. Наприклад, італійський математик Б. Финетті висунув суб'єктивне тлумачення ймовірності. Таким підходом до ймовірності він намагався перебороти протиріччя, які виникли й у класичній теорії ймовірностей і в частотній школі Мизеса. По Финетті ймовірність є чисто суб'єктивною величиною. Кожна людина по-своєму оцінює ймовірність тієї або іншої події.
Трохи пізніше Джеффрис розробляв поняття ймовірності як ступеня правдоподібності. Уперше ця концепція була висунута Кейнесом в 1921 р. По цій теорії кожна пропозиція має певну ймовірність. Ймовірностям такого роду не можна дати частотної інтерпретації. Розробка теорії ступенів правдоподібності триває деякими математиками й у наші дні.
На сьогоднішній день закріпилося визначення поняття ймовірності дане А.Н. Колмогоровим у книзі «Основні поняття теорії ймовірностей» (1933 р.) аксіоматично.
Уже були розкриті глибокі аналогії між поняттями теорії ймовірностей і поняттями метричної теорії функцій. Були встановлені аналогії між множиною й подією, мірою множини й імовірністю події, інтегралом і математичним очікуванням і ін.
Виникла потреба в теорії ймовірностей виходячи з уявлень, що й було виконано в книзі Колмогорова. Після цієї аксиоматизації теорія ймовірностей зайняла рівноправне місце серед інших математичних дисциплін.
Розглянемо аксіоматику Колмогорова.
Нехай є спостереження або випробування, які хоча б теоретично допускають можливість необмеженого повторення. Кожне окреме випробування може мати той або інший результат залежно від випадку. Сукупність всіх цих можливих рішень утворить множина E
, що є першим основним поняттям аксіоматики. Це множина E
називається множиною елементарних подій. Що із себе представляють події, що є елементами цієї множини, для подальшої логічної побудови зовсім байдуже, як байдуже для аксіоматичної побудови геометрії, що ми будемо розуміти під словами «крапка», «пряма» і т.п. Тільки після такої аксіоматичної побудови теорія ймовірностей допускає різні інтерпретації, у тому числі й не зв'язані з випадковими подіями. Будь-яка підмножина множини E
, тобто будь-яку сукупність можливих рішень, називають подією. Або іншими словами: випадковими подіями називаються елементи множини F
підмножин з E
. Далі розглядаються не всі події, а тільки деяке тіло подій. Теорія ймовірностей займається тільки тими подіями, частота яких стійка. Це положення в аксіоматичній теорії Колмогорова формалізується таким чином, що кожній події, що ми розглядаємо, ставиться у відповідність деяке позитивне число, що називається ймовірністю даної події. При цьому абстрагуються від усього того, що допомагало сформулювати це поняття, наприклад, від частоти. Це дає можливість інтерпретувати ймовірність не тільки імовірнісним способом. Тим самим значно розширюються можливості ймовірностей.
Сформулюємо аксіоми Колмогорова [1,5]. Якщо випадкові події A
і B
входять до складу F
, то події A
або B
, A
і B
, не A
і не B
також утримуються в F
. F
містить як елементи множина E
і всі окремі його елементи.
Кожному елементу A
з F
поставлено у відповідність ненегативне речовинне число P(A
), називане ймовірністю події A
.
P(E
)=1.
Якщо A
і B
не перетинаються й належать F
, то P (A
+B
)=P(A
)+P(B
). Для нескінченних множин F
є ще одна аксіома, що для кінцевих множин є наслідком п'яти наведених аксіом.
Якщо перетинання послідовності подій  порожньо, то  .
Аксіоматика Колмогорова сприяла тому, що теорія ймовірностей остаточно зміцнилася як повноправна математична дисципліна.
Простеживши динаміку розвитку й формування поняття ймовірності можна зробити висновок, що воно вироблялося складними шляхами. Математики й філософи, політики й просто захоплені теорією ймовірностей учені намагалися наділити поняття ймовірності в конкретну форму. Даючи правильні й помилкові визначення поняттю ймовірності, вони маленькими кроками просувалися до вірного рішення цього питання. Але навіть у добре й правильно сформульованих варіантах класичного визначення ймовірності можна виявити пробіли й недогляди. Наприклад, майже у всіх даних варіантах класичного визначення відсутнє умова кінцівки числа рівно можливих подій, тобто умова, що  . Можливо ця умова не обмовлялася, але малося на увазі. З побудовою системи аксіом для визначення поняття ймовірності задача деякої неспроможності класичного визначення ймовірності була вирішена. Однак спостерігаються спроби дати трактування ймовірності з більше широких позицій, у тому числі й з позицій теорії інформації.
Одним з перших наблизився до визначення поняття математичного очікування Д. Кардано у своїй роботі «Книга про гру в кості». Він визначив умови необразливої гри, які можна побачити на наступному прикладі Кардано: кидаються дві гральні кістки. «Якщо, стало бути, хто-небудь заявить, що він бажав би одержати 1, 2 або 3, то ти знаєш, що для цього є 27 шансів, а тому що вся серія складається з 36, то залишається 9 кидань, у яких ці числа окулярів не випадуть; таким чином, ці числа будуть перебувати в потрійному відношенні. Отже, при чотирьох киданнях три випадання будуть сприятливі 1, 2 або 3, і тільки один раз не вийде жодного із трьох зазначених чисел окулярів. Якщо той, хто чекає випадання одного із трьох зазначених чисел окулярів, поставить три асів (давньоримські мідні монети), а другий один, то спочатку перший виграє тричі й одержить три асів, а потім другий виграє один раз і одержить три асів; таким чином, у загальному підсумку чотирьох кидань шанси їх завжди зрівняються. Стало бути, такі умови розрахунку в грі - правильні; якщо ж другий з них поставить більше, те йому доведеться боротися в грі на нерівних умовах і зі збитком для себе; а якщо він поставить менше, те з баришем.» Однак Кардано розуміє, що ці твердження справедливі тільки тоді, коли гра буде тривати досить довго [1].
Звернемося до роботи Х. Гюйгенса «Про розрахунок в азартних іграх». Книга складається із введення й 14 пропозицій. Розглянемо перші три пропозиції [1].
Пропозиція 1: «Якщо я маю рівні шанси одержання a
або b
, те це мені коштує  «.
Пропозиція 2: «Якщо я маю рівні шанси на одержання a
, b
або c
, те це мені коштує стільки ж, як якби я мав  .
Пропозиція 3: «Якщо число випадків, у яких виходить сума a
, дорівнює p
і число випадків, у яких виходить сума b
, дорівнює q
, і всі випадки однаково легко можуть відбутися, то вартість мого очікування дорівнює  .
По суті Гюйгенс тут так визначає математичне очікування. Він фактично вперше вводить поняття математичного очікування й використовує його. Математичне очікування є узагальненням поняття середньої арифметичної. Середня арифметична широко застосовувалася в торгівлі й промисловості для визначення середніх цін, середнього прибутку й т.п.
Термінологія Гюйгенса в теорії ймовірностей несе на собі відбиток комерційної термінології. Він уважає, що математичне очікування - це ціна шансу на виграш у необразливій грі й доходить висновку, що справедлива ціна - є середня ціна. Він обчислює «за яку справедливу ціну я міг би поступитися своє місце в грі іншому». Сам Гюйгенс не називає математичне очікування очікуванням, воно в нього фігурує як вартість шансу. Уперше термін «очікування» з'являється в перекладі роботи Гюйгенса Францем ван Схоутеном.
Робота Х. Гюйгенса дуже вплинула на Я. Бернуллі. До пропозицій 1, 2 і 3 Гюйгенса Бернуллі робить велика примітка.
«Автор цього трактату викладає ...у цьому й двох наступних пропозиціях основний принцип мистецтва припущень. Тому що дуже важливо, щоб цей принцип був добре зрозумілий, то я спробую довести його за допомогою вирахувань більше звичайних і більше доступних всім, виходячи винятково з тієї аксіоми, або визначення, що кожний повинен очікувати або припускає очікувати стільки скільки він неминуче одержить.
Слово «очікування» тут не повинне розумітися в його звичайному змісті, відповідно до якого «очікувати» або «сподіватися» ставиться до події найбільш сприятливому, хоча може відбутися найгірше для нас; потрібно розуміти під цим словом надію, що ми маємо на одержання кращого, зменшеним страхом гіршого. Так що вартість нашого очікування завжди означає щось середнє між кращим, на що ми сподіваємося, і гіршим, чого ми боїмося...»
Після розгляду пропозиції 3 Бернуллі відзначає наступне: «З розгляду ...очевидно, що є велика подібність із правилом, називаним в арифметиці правилом товариства, що складається в знаходженні ціни суміші, складеної з певних кількостей різних речей з різною ціною. Або, скоріше, що обчислення є абсолютно однаковими. Так, подібно тому, як сума добутків кількостей речовин, що змішуються, на їхні відповідні ціни, розділена на суму речовин, дає шукану ціну, що завжди перебуває між крайніми цінами, також сума добутків випадків на відповідно принесені ними вигоди, розділена на число всіх випадків, указує вартість очікування, що внаслідок цього завжди є «середньою між найбільшою й найменшою із цих вигід».
Це досить гарне пояснення математичного очікування і його зв'язку зі зваженої середньої арифметичної [1].
У середині й у другій половині XVIII в. багато вчених займалися питаннями пов'язаними з теорією ймовірностей. Насамперед, це ставиться до математиків, з яких можна виділити Д. Бернуллі (1700–1778 р.). Найбільш відомою роботою Д. Бернуллі по теорії ймовірностей є «Досвід нової теорії міри випадку» (1738 р.), у якій він уводить поняття морального очікування [2]. Однак, незважаючи на те, що надалі багато вчених розробляли це поняття воно не прижилося в теорії ймовірностей. Д. Бернуллі вводить правило підрахунку математичного очікування, що він називає основним правилом: «Значення очікуваної величини виходить шляхом множення значень окремих очікуваних величин на число випадків, у яких вони можуть з'явитися, і наступного ділення суми добутків на суму всіх випадків, при цьому потрібно, щоб розглядалися ті випадки, які є рівно можливими між собою» [1, 2]. Це правило повністю відповідає визначенню математичного очікування дискретної випадкової величини.
 .
Тут  - значення окремої i-ой очікуваної величини,
 - число випадків у які може з'явитися i-а очікувана величина,
n-число
всіх випадків.
Ми бачимо, що визначення математичного очікування дискретної випадкової величини остаточно сформувалося до середини XVIII в. і активно використовувалося при рішенні різних задач. Однак поняття математичного очікування іноді вважали недостатнім. Тому були спроби ввести поняття морального очікування (моральне очікування), що пов'язане з «вигодою, що залежить від особистих умов». Незважаючи на те, що розробкою поняття морального очікування займалися багато вчених (Д. Бернуллі, Ж.Л. Бюффон, В.Я. Буняковський, Н.Е. Зернов, Лаплас, Пуассон, Лакруа), це поняття не закріпилося в науці.
Можна зробити висновок, що поняття математичного очікування перебороло складний шлях щоб стати одним з головних і основних понять у теорії ймовірностей.
Закон більших чисел займає одне із центральних місць у теорії ймовірностей. Донедавна проблема закону більших чисел не була остаточно вирішена. Розглянемо динаміку розвитку цього закону.
Одним з перших до розуміння статистичної закономірності й закону більших чисел підійшов Кардано. Щодо свого висновку про 6 можливості одержати однакові числа окулярів на двох костях і 30 можливостях - різні, він пише: «Ціла серія ігор (36 кидків) не дає відхилення, хоча в одній грі це може трапитися..., при великій кількості ігор виявляється, що дійсність досить наближається до цього припущення» [1].
Тут Кардано затверджує, що при малій кількості спостережень частота може відхилятися досить сильно від частки, або, інакше кажучи, – від імовірності; при великій кількості випробувань це відхилення буде незначно.
Я. Бернуллі писав: «…І що не дано вивести a priori те, принаймні, можна одержати a posteriori, тобто з багаторазового спостереження результатів...».
Бернуллі затверджує, що якщо в азартних іграх завжди можна порахувати число випадків, а самі випадки зустрічаються однаково легко, те в інших явищах у природі й суспільстві ні те ні інше не має.
«Все йдеться до того, щоб для правильного складання пропозицій про яку-небудь річ були точно обчислені як числа випадків, так і було б визначене наскільки одні випадки можуть легше зустрітися, чим інші...». Але це зовсім неможливо зробити для більшості явищ. Однак Бернуллі знайшов вихід зі сформованої ситуації. Він затверджує, що при збільшенні числа випробувань, частота появи якої-небудь події буде мало відрізнятися від імовірності появи цієї події. І чим більше число випробувань, тим менше ця відмінність. «Варто помітити, що відношення між числами випадків, які ми бажаємо визначити досвідом, розуміється не в змісті точного відношення..., але до відомого ступеня наближеного, тобто ув'язненого у двох границях, які можна взяти як завгодно тісними».
У допомогу доказу своєї теореми Бернуллі доводить ряд лем [1].
Лема 1.
Розглядаються два ряди
0, 1, 2, ..., r - 1, r, r + 1, ..., r + s;
0, 1, 2, …, nr – n, …, nr, …, nr + n, …, nr + ns
і затверджується, що зі збільшенням n росте кількість членів між nr
і nr + n
; nr
і nr – n
; nr + n
і nr + ns
; nr
і 0
. Крім того, як би велико не було n
, число членів після nr + n
не буде перевищувати більш ніж в s – 1
раз число членів, укладених між nr
і nr + n
або між nr
і nr – n
, а також число членів до nr – n
не буде перевищувати більш ніж в r – 1
раз число членів між тими ж числами.
Доказ.
Знайдемо кількість членів між зазначеними в лемі членами розглянутих рядів. Для цього введемо позначення:
 -число членів між nr
і nr
+n
;
 -число членів між nr
і nr
-n
;
 -число членів між nr
+n
і nr
+ns
;
 -число членів між nr
і 0
;
 -число членів після nr
+n
;
 -число членів до nr
-n
.
 ;
 ;
 ;
 .
Очевидно, що зі збільшенням n
(тобто при  ) , , , будуть необмежено зростати.
Знайдемо число членів після nr
+n
( ),
мабуть, що = = .
Очевидно, що = = , тобто число членів після nr
+n
не перевищує більш ніж в s
-1 раз число членів ув'язнених між nr
і nr
+n
або між nr
і nr-n
, для будь-якого n
.
Знайдемо число членів до nr
-n
( ), мабуть, що  , а значить = = , тобто число членів до nr-n
не перевищує більш ніж в r
-1 раз число членів ув'язнених між nr
і nr
+n
або між nr
і nr-n
, для будь-якого n
.
Що й було потрібно довести.
Лема 2.
Усякий цілий ступінь якого-небудь двочлена r + s
виражається числом членів, на одиницю більшим числа одиниць у показникуступеня.
Доказ.
Розглянемо  , де x (x – ціле число)
=  .
Складемо ряд зі ступенів одночлена s
(або r
)
0,1,2,..., x-2, x-1, x. Число членів у цьому ряді дорівнює x+1.
Т. о. усякий цілий ступінь двочлена r + s
виражається числом членів, на одиницю більшим числа одиниць у показникуступеня. Що й було потрібно довести.
Лема 3.
У будь-якому ступені двочлена r + s
, принаймні в t=r+s
або nt=nr+ns
, деякий член M
буде найбільшим, якщо числа попередніх йому й наступних за ним членів перебувають у відношенні s
до r
або, що те ж, якщо в цьому члені показники букв r
і s
перебувають відносно самих кількостей r
і s
; більше близький до нього член з тієї й іншої сторони більше вилученого з тієї ж сторони; але той же член M
має до більше близького менше відношення, чим більше близький до більше вилученого при рівному числі проміжних членів.
Доказ.
Відзначається, що коефіцієнти членів рівно віддалених від кінців рівні. Число всіх членів nt+1=nr+ns+1
. Найбільший член буде:
M
=  = .
M
можна записати в іншому виді, скориставшись наступною формулою  .
M
= = .
Найближчий до нього ліворуч член дорівнює
   ;
праворуч –    .
Наступний ліворуч –    ;
праворуч –    і т.д.
 ;  ;
 ;  , і т.д.
Очевидно, що: 
 , M-Найбільший
член.
Що й було потрібно довести.
Лема 4.
У ступені двочлена з показником nt
число n
може бути взяте настільки більшим, щоб відношення найбільшого члена M
до двох іншим L
і  , що відстоїть від нього ліворуч і праворуч на n
членів, перевершило всяке дане відношення.
Доказ.
M
= = ;
L
=  ;
=  .
Для доказу леми необхідно встановити, що
 и.
 = = =
= .
 = = = = .
Але ці відносини будуть нескінченно більшими, коли n
покладається нескінченним, тому що тоді зникають числа 1, 2, 3 та ін. у порівнянні з n
, і самі числа  ,  ,  та ін.  ,  ,  та ін. будуть мати ті ж значення, як  і  . Після цього відкинувши ці числа й провівши відповідні скорочення на n
, одержимо, що
= ; = .
Кількість співмножників у чисельнику й знаменнику дорівнює n
. Внаслідок чого ці відносини будуть нескінченними ступенями виражень:  і  й тому нескінченно більшими.
Таким чином, ми з'ясували, що в нескінченно високому ступені двочлена відношення найбільшого члена до іншим L
і перевершує всяке задане відношення.
 и.
Що й було потрібно довести.
Лема 5.
Відношення суми всіх членів від L
до  до всім іншим зі збільшенням n
може бути зроблене більше всякого заданого числа.
Доказ.
M
– найбільший член розкладання.
Нехай сусідні з ним ліворуч будуть F
, G
, H
,…;
нехай сусідні з L
ліворуч будуть P
, Q
, R
,…...
На підставі леми 3 маємо:
< ; < ; < , …або  < < < <…...
Тому що по лемі 4, при n
нескінченно великому, відношення нескінченно, те тим більше будуть нескінченними відносини , , ,…,і тому відношення  також нескінченно, тобто сума членів між найбільшим M
і межею L
нескінченно більше суми такого ж числа членів за межею L
і найбільше до нього близьких. І тому що число всіх членів за межею L
перевищує, по лемі 1, не більш ніж в s-1
раз (тобто кінцеве число раз) число членів між цією межею й найбільшим членом M
, а самі члени робляться тим менше, ніж далі вони відстоять від межі, по першій частині леми 3, то сума всіх членів між M
і L
(навіть не вважаючи M
) буде нескінченно більше сум всіх членів за межею L
. Аналогічне твердження можна довести щодо членів між M
і . Обоє ці твердження й доводять лему.
Що й було потрібно довести.
Головна пропозиція
.
Нехай число добрих нагод ставиться до числа несприятливих точно або приблизно, як r
до s
, або до числа всіх випадків, як r
до r+s
або r
до t
, це відношення полягає в межах  і  . Потрібно довести, що можна взяти стільки досвідів, щоб у яке завгодно дане число раз (c
раз) було ймовірніше, що число сприятливих спостережень потрапить у ці межі, а не поза ними, тобто відношення числа сприятливих спостережень до числа всіх буде не більш ніж і не менш .
Доказ.
Нехай число необхідних спостережень буде nt.
Імовірність того що всі спостереження будуть сприятливі, дорівнює
 ,
що все крім одного
 ,
крім двох
 і т.д.
А це є члени розкладання (r
+s
) у ступені nt
(ділені на  ), які досліджувалися в минулих лемах. Всі подальші висновки ґрунтуються на доведених лемах. Число випадків з ns
несприятливими спостереженнями й nr
сприятливими дає член M
. Число випадків, при яких буде nr+n
або nr-n
сприятливих спостережень, виражається членами L
і , що відстоять на n
членів від M
. Отже, число випадків, для яких сприятливих спостережень виявиться не більше nr+n
і не менш nr-n
, буде виражатися сумою членів, укладених між L
і . Загальне ж число випадків, для яких сприятливих спостережень буде або більше nr+n
або менше nr-n
, виражається сумою членів, що стоять лівіше L
і правіше .
Тому що ступінь двочлена може бути взята настільки більша, щоб сума членів, укладених між обома межами L
і перевершувала більш ніж в c
раз суму всіх інших із цих меж вихідних, по лемах 4-й і 5-й, те, отже, можна взяти настільки велика кількість спостережень, щоб число випадків, при яких відношення числа сприятливих спостережень до числа всіх виявляється ув'язненим у межі  й  або  й  , перевищувало більш ніж в c
раз число інших випадків, тобто зробилося більш ніж в c
раз імовірніше, що відношення числа сприятливих спостережень до числа всіх полягає в межах і , а не поза цими межами.
Що й було потрібно довести.
Для порівняння дамо сучасне формулювання теореми Бернуллі.
Теорема Бернуллі.
Якщо ймовірність настання події A у послідовності незалежних випробувань постійна й дорівнює p
, те, яке б не було позитивне число  , з імовірністю як завгодно близької до одиниці, можна затверджувати, що при досить великій кількості випробувань n
різниця  по абсолютній величині виявиться меншої, чим :
 ,
де - будь-яке мале число.
Ця теорема буде доведена нами пізніше (після введення нерівності Чебишева).
Завжди може трапитися, що, яким би більшим не було n
, у даній серії з n
випробувань  виявиться більше . Але, відповідно до теореми Бернуллі ми можемо затверджувати, що якщо n
досить велике і якщо зроблено досить багато серій випробувань по n
випробувань у кожній серії, то в гнітючому числі серій нерівність  буде виконано.
Бернуллі вважає, що з доведеної теореми «випливає те дивне, очевидно, наслідок, що якби спостереження над всіма подіями продовжувати всю вічність (причому ймовірність, нарешті, перейшла б у повну вірогідність), те було б замічене, що все у світі управляється точними відносинами й постійним законом зміни, так, що навіть у речах, найвищою мірою випадкових, ми примушені були б визнати як би деяку необхідність і, скажу я, доля».
А.А. Марков писав, що в цій роботі Бернуллі «уперше була опублікована й доведена знаменита …теорема, що поклала початок закону більших чисел…»... Пуассон (1781–1840 р.) у своїй роботі «Дослідження про ймовірність судових вироків по карних і цивільних справах» займався граничними пропозиціями. У результаті він довів свою знамениту теорему, який дали назву «закон більших чисел» [1]. Теорема Пуассона формулювалася в такий спосіб.
Теорема.
Якщо виробляється n
незалежних випробувань, результатами яких є настання або не настання події A, причому ймовірність настання події в окремих випробуваннях неоднакова, то з імовірністю, як завгодно близької до одиниці (або, інакше кажучи, – до вірогідності), можна затверджувати, що частота  настання події A буде як завгодно мало відрізнятися від середньої арифметичної  ймовірностей настання події в окремих випробуваннях.
Тепер цю теорему записують так:
Якщо ж імовірність настання події не буде змінюватися від випробування до випробування, то =p, і теорема Пуассона в цьому випадку переходить у теорему Я. Бернуллі, що, таким чином, є часткою случаємо теореми Пуассона.
17.12.1866 р. Чебишев доповів Академії наук свою роботу «Про середні величини», що була опублікована в 1867 р. В «Математичному збірнику». У цій роботі Чебишев довів одну важливу нерівність, що тепер називається нерівністю Чебишева. За допомогою цієї нерівності Чебишев одержав теорему, з якої як наслідки виходять теореми Бернуллі й Пуассона. На початку роботи «Про середні величини» Чебишев доводить теорему [1,6].
Теорема.
Якщо математичне очікування величин x, y, z,... суть a, b, c,...,
а математичне очікування квадратів  ,  ,  ,…суть  ,  ,  ,…,те ймовірність, що сума x+y+z+... полягає в межах
 ,
 ,
при всякому значенні  залишається більше  .
Далі Чебишев переходить до наступної теореми.
Якщо ми зобразимо через N
число величин x, y, z,…,u,думаючи в доведеній зараз теоремі  , розділимо на N
як суму x+y+z+…,так і межі її
,
,
те із цієї теореми одержимо наступну щодо середніх величин.
Теорема.
Якщо математичне очікування величин
x, y, z,…,,,,…суть a, b, c,…,,,,…,те ймовірність, що середнє арифметичне N
величин x, y, z,…,від середнього арифметичного математичних очікувань цих величин відрізняється не більше як на  при всякому значенні, буде перевершувати  .
Це і є знаменита нерівність Чебишева, що у сучасній формі записується в такий спосіб:
 ,
де випадкова величина x має кінцеву дисперсію  , а - будь-яка відмінна від нуля позитивна величина.
Дійсно, першу теорему Чебишева можна записати так:
Застосуємо цю теорему до випадкової величини x:
 .
Але  ,
 ,
 ,  .
Нехай  , тоді  й одержуємо звичну формулу для нерівності Чебишева
.
Сформулюємо відповідну теорему й доведемо в ній ця нерівність.
Теорема
.
Нехай є випадкова величина  з математичним очікуванням  і дисперсією  .
Нерівність Чебишева затверджує, що, яке б не було позитивне число  , імовірність того, що величина відхилиться від свого математичного очікування не менше ніж на , обмежена зверху величиною  :
 .
Доказ.
1. Нехай величина дискретна, з поруч розподілу
Зобразимо можливі значення величини і її математичне очікування у вигляді крапок на числовій осі Ox.
Задамося деяким значенням  і обчислимо ймовірність того, що величина відхилиться від свого математичного очікування не менше ніж на :  .
Для цього відкладемо від крапки  вправо й уліво по відрізку довжиною ; одержимо відрізок  . Імовірність є не що інше, як імовірність того, що випадкова крапка потрапить не усередину відрізка , а зовні його (кінці відрізка ми в нього не включаємо):  .
Для того щоб знайти цю ймовірність, потрібно підсумувати імовірності всіх тих значень , які лежать поза відрізком . Це ми запишемо в такий спосіб:
 , де запис  під знаком суми означає, що підсумовування поширюється на всі ті значення  , для яких крапки лежать поза відрізком .
З іншого боку, напишемо вираження дисперсії величини по визначенню:
 .
Тому що всі члени суми  ненегативні, вона може тільки зменшитися, якщо ми поширимо її не на всі значення , а тільки на деякі, зокрема на ті, які лежать поза відрізком :
 .
Замінимо під знаком суми вираження  через . Тому що для всіх членів суми , то від такої заміни сума теж може тільки зменшитися, значить:
 .
Але відповідно до формули сума, що коштує в правій частині цієї нерівності є не що інше, як імовірність влучення випадкової крапки зовні відрізка , отже  , звідки безпосередньо випливає доказувана нерівність.
2. У випадку коли величина безперервна, доказ проводиться аналогічним образом із заміною ймовірностей  елементом імовірності, а кінцевих сум – інтегралами. Дійсно,
 ,
де  – щільність розподілу величини . Далі, маємо:
 ,
звідки й випливає нерівність Чебишева для безперервних величин.
Що й було потрібно довести.
Як наслідок зі своєї нерівності Чебишев одержує наступну теорему.
Теорема.
Якщо математичні очікування величин  не перевершують якої-небудь кінцевої межі, то ймовірність, що середнє арифметичне N
таких величин від середніх арифметичних їхніх математичних очікувань відрізняється менш чим на яку-небудь дану величину, зі зростанням числа N
до , приводиться до одиниці.
Доказ.
Дійсно, розглянемо випадкову величину  , що представляє собою середню арифметичну з даних випадкових величин.
 ;  ;
 .
Якщо обмежені математичні очікування випадкових величин і їхніх квадратів, то обмежені також і дисперсії, тобто Всі  , де c-деяке число. Тоді
 .
Застосуємо тепер нерівність Чебишева до :
 , або
 .
Переходячи до межі, одержуємо:
 .
Що й було потрібно довести.
Це і є теорема Чебишева – закон більших чисел Чебишева. Ця теорема встановлює, що при досить більших n
з імовірністю, близької до одиниці, можна думати, що середнє арифметичне випадкових величин як завгодно мало коливається біля деякого постійного числа-середніх їхніх математичних очікувань.
Теореми Пуассона й Бернуллі є окремими випадками закону більших чисел Чебишева.
Дійсно, нехай в n
випробуваннях, подія A наступає з ймовірностями  й не наступає з ймовірностями  . Розглянемо випадкову величину  – число настань події A в i-ом
випробуванні. Тоді
 ;  ;  ,
задовольняє умовам теореми Чебишева, тобто
 , або
 ,
де -середнє арифметичне з ймовірностей настань подій в окремих випробуваннях. А це і є теорема Пуассона.
Якщо всі  , те й  , і ми одержимо теорему Бернуллі:
 .
Цікаво, що Чебишев не називав доведену теорему «законом більших чисел», хоча теорема Пуассона виходить із її як окремий випадок.
Знаючи, що теорема Бернуллі є часткою случаємо теореми Чебишева спробуємо довести її як прямий наслідок закону більших чисел Чебишева (тобто приведемо сучасний доказ теореми Бернуллі [3]). Повторимо сучасне формулювання теореми Бернуллі.
Теорема.
Нехай виробляється n незалежних досвідів. Якщо ймовірність настання події A у послідовності незалежних випробувань постійна й дорівнює p
, те, яке б не було позитивне число  , з імовірністю як завгодно близької до одиниці, можна затверджувати, що при досить великій кількості випробувань n
різниця  по абсолютній величині виявиться меншої, чим :
 ,
де - будь-яке мале число.
Доказ.
Розглянемо незалежні випадкові величини:
- число появ події A у першому досвіді;
- число появ події A у другому досвіді, і т.д.
Всі ці величини переривані й мають той самий закон розподілу, що виражається поруч виду:
так як подія A наступає з імовірністю p
і не наступає з імовірністю q
 . Обчислимо математичне очікування кожної з величин  :
 ,
дисперсію:
 .
задовольняють умовам теореми Чебишева, тобто можемо застосувати нерівність Чебишева:
 .
Так як  ,  , а  ,
то одержуємо вираження:
 .
Звідси й треба справедливість доказуваної нерівності:
,
де - мале число при  .
Чте й було потрібно довести.
А.А. Марков під цим законом розумів закон, «у силу якого з імовірністю, як завгодно близької до вірогідності, можна затверджувати, що середнє арифметичне з декількох величин, при досить великій кількості цих величин, буде довільно мало відрізнятися від середніх арифметичних їхніх математичних очікувань». При такому розумінні закону більших чисел і теорема Бернуллі й теорема Пуассона й теорема Чебишева будуть його різними формами. Таке розуміння тепер загальноприйняте.
Чебишев поширив закон більших чисел на незалежні випадкові величини з рівномірно обмеженими дисперсіями: .
Марков розширив умови застосовності цього закону. У роботі «Поширення закону більших чисел на величини, що залежать друг від друга» Марков привів наступну теорему [1,6].
Теорема.
Якщо послідовність взаємно незалежних випадкових величин  така, що
 , те
 .
Доказ.
Розглянемо величину
 ,  .
Очевидно, що  й величина  обмежена <c, c-деяке число. Застосуємо тепер нерівність Чебишева до  :
, або
 .
Переходячи до межі одержуємо:
 .
Що й було потрібно довести.
У цій роботі Марков доводить, що закон більших чисел застосуємо до  , якщо  й зв'язок величин така, що збільшення кожної з них спричиняє зменшення математичних очікувань інших.
Марков зауважує: «до того ж висновку про застосовність закону більших чисел не важко прийти й у випадку, коли математичне очікування  при всякому  зменшується зі збільшенням суми  «.
Марков розглядає послідовність випадкових величин, зв'язаних у ланцюг. Такі ланцюги залежних величин одержали назву марковських ланцюгів. У цій роботі Марков розглядає простий ланцюг (простий ланцюг маркова – послідовність випадкових величин, кожна з яких може приймати будь-яке число рішень, причому ймовірності рішень при  -м випробуванні одержують певні значення, якщо відомо тільки результат  -го випробування), причому всі  приймають значення тільки 0 або 1. Він установлює, що ці випадкові величини також підлеглі закону більших чисел. Потрібно відзначити, що в роботі Марков вимагав, щоб для всіх ймовірностей переходу виконувалася умова  . Але висновки Маркова залишаються справедливими, якщо замість такого сильного обмеження вимагати тільки, щоб ця умова виконувалася хоча б для однієї ймовірності при кожному  .
Наприкінці своєї роботи Марков робить висновок, що незалежність величин не становить необхідної умови для існування закону більших чисел.
У цей час використовується умову, аналогічна умові Маркова, але вже не тільки достатнє, але й необхідне для застосовності закону більших чисел до послідовності довільних випадкових величин [4].
Теорема
.
Для того щоб для послідовності  (як завгодно залежних) випадкових величин при будь-якому позитивному  виконувалося співвідношення
 , (3.4.1)
Необхідно й досить, щоб при
  .(3.4.2)
Доказ.
Припустимо спочатку, що (2) виконано, і покажемо, що в цьому випадку виконано також (1). Позначимо через  функцію розподілу величини
 .
Легко перевірити наступний ланцюжок співвідношень:
Ця нерівність доводить достатність умови теореми.
Покажемо тепер, що умова (2) необхідно. Легко бачити, що
Таким чином,
 .
Вибираючи спочатку як завгодно малим, а потім  досить більшим, ми можемо зробити праву частину останньої нерівності як завгодно малої.
Що й було потрібно довести.
В 1923 р. А.Я. Хинчин установив закон повторного логарифма, що є своєрідним узагальненням і посиленням закону більших чисел[1]. Розглянемо отримані їм результати.
Відповідно до теореми Бернуллі, при  для будь-якого 
В 1909 р. Борель для  довів, що  , тобто що  для більших із гнітючою ймовірністю повинна бути мала в порівнянні з ,  .
В 1917 р. Кантеллі поширив результат Бореля на кожне  .
В 1913 р. Хаусдорф для випадку Бернуллі знайшов наступну оцінку: з імовірністю одиниця  , де довільно.
В 1914 р. Харди й Литтльвуд показали, що з імовірністю одиниця  .
А в 1923 р. Хинчин довів наступну теорему.
Теорема.
Якщо ймовірність появи події A у кожному з незалежних випробувань дорівнює , то число  появ події A у випробуваннях при задовольняє співвідношенню:
 .
Функція  в цьому змісті є точною верхньою границею випадкової величини  .
Представимо цей результат геометрично. Будемо по осі абсцис відкладати , а по осі ординат –  . Проведемо в цій системі прямі:  і  . Теорема Бореля-Кантеллі затверджує, що при досить більших майже вірогідно, що буде полягати між прямими й . Але ці границі виявилися дуже широкі й Хинчин указав більше строгі границі зміни . Якщо ми проведемо криві
 і (3.5.1)
 , (3.5.1')
те по теоремі Хинчина, яке б не було , для досить більших різниця майже вірогідно укладена між цими кривими. Якщо ж взяти криві
 і (3.5.2)  , (3.5.2')
те майже вірогідно нескінченно багато разів вийде за межі цих кривих. Зобразимо схематично цю ситуацію.
Хоча Марков і розширив границі застосовності закону більших чисел, однак, остаточно це питання ще не було вирішено. Установити необхідні й достатні умови застосовності закону більших чисел удалося тільки завдяки застосуванню методів і понять теорії функцій.
В 1926 р. А.Н. Колмогоров установив ці умови у своїй роботі [5].
Визначення
.
Випадкові величини  послідовності  називаються стійкими, якщо існує така числова послідовність  , що для будь-якого позитивного  ,  .
Якщо існують всі  і якщо можна покласти , то говорять, що стійкість нормальна.
Якщо все рівно мірно обмежені, то з , , треба співвідношення  , , і, отже,  , .
Таким чином, стійкість обмеженої послідовності необхідно нормальна. Нехай  .
По нерівності Чебишева  .
Отже, умова Маркова:  , , досить для нормальної стійкості.
Якщо  рівномірно обмежені,  , то по нерівності  , 
 .
Отже, у цьому випадку умова Маркова є також і необхідним для нормальної стійкості .
Якщо  й величини  попарно не корельоване, то  .
Отже, у цьому випадку для нормальної стійкості середніх арифметичних , тобто для того, щоб для всякого 
 ,
Досить виконання наступної умови:  (теорема Чебишева). Зокрема, ця умова виконана, якщо всі величини рівномірно обмежені.
1. Можна узагальнити цю теорему на випадок слабко корельованих величин .
Якщо припустити, що коефіцієнт кореляції  (ясно, що завжди  ) між  і задовольняє нерівності  й що  , то для нормальної стійкості середніх арифметичних, тобто для того, щоб для всякого
 ,
досить виконання умови  , де  .
2. У випадку незалежних доданків  можна дати також необхідна й достатня умова для стійкості середніх арифметичних .
Для кожного існує константа  (медіана ), що задовольняє наступним умовам:  ,  .
Покладемо
Теорема.
Нехай  – послідовність взаємно незалежних випадкових величин. Тоді умови
 = ,  ,
 ,
необхідні й достатні для стійкості величин  ,  При цьому постійні  ,  , можна прийняти рівними  , так що у випадку  (і тільки в цьому випадку) стійкість нормальна.
Доказ
.
Достатність умов теореми встановлюється просто. Справді оскільки  а відповідно до нерівності Чебишева
 те
Для доказу необхідності нам знадобиться ряд допоміжних пропозицій.
Лема 1
.
Нехай  – незалежні події,  ,  і для якогось  . Якщо, крім того, подія  таке, що для кожного  , то тоді  .
Доказ.
Якщо існує такий номер  , що  , то  .
Нехай тепер для всіх  .
Тоді найдеться таке  , що  , і, виходить, для всіх 
 ,
 ,
 .
Звідси
 .
Що й було потрібно довести.
Лема 2
.
Нехай  – незалежні, обмежені,  ,  , випадкові величини з нульовими середніми. Тоді для всякого  й цілого
  , де  .
Доказ.
Нехай  ,  ,  , ,
 . Зауважуючи, що на множині   , одержуємо
З нерівності  треба, що
 .
Тому  при кожному  . Значить  і  .
Що й було потрібно довести.
Лема 3
.
Нехай – незалежні, обмежені випадкові величини, причому  ,  . Тоді
 .
Доказ.
Позначимо  , . Якщо  або  , то права частина в доказуваній нерівності негативна й нерівність очевидно.
Нехай тепер одночасно  ,  . Тоді досить показати, що  , оскільки, мабуть,
 .
Позначимо  . Якщо  , то
 і, виходить, 
Припустимо, тепер, що  .
Позначаючи  й застосовуючи лему 2, знаходимо
Звідси
На множині   .
Тому  .
Ясно також, що  .
Отже,
і, виходить,  .
Що й було потрібно довести.
Доказ теореми. Необхідність.
Нехай послідовність  ,  така, що для будь-якого  ,  . Покажемо, що тоді
 , .
Позначимо для даного
 ,  ,
 .
Оскільки  – медіана  , те  .
Для досить більших  , тому
 , тобто  .
Далі, якщо подія  виконується, а  ні, те виконується подія й, виходить,  .
Але  .
Отже,  .
Застосуємо лему 1, взявши
 . Тоді  .
Події  незалежні, тому  .
Оскільки за умовою  , , те з і одержуємо шукане співвідношення .
Покладемо тепер
Із треба, що якщо  , , те й
 ,  .
Позначимо  . Тоді  й по лемі 3
звідки  .
Для   .
Тоді з , і
треба, що
 ,
а значить у силу довільності 
 .
Що й було потрібно довести.
3. Подальше узагальнення теореми Чебишева виходить, якщо припустити, що  яким-небудь образом залежать від рішень яких-небудь випробувань  , так що після кожного певного результату всіх цих випробувань приймає певне значення. Загальна ідея віх теорем, відомих за назвою закону більших чисел, полягає в тому, що якщо залежність величини від кожного окремого випробування  ,  , дуже мала при більших , то величини стійкі. Якщо розглядати  як розумну міру залежності величини від випробування  , то вищезгадана загальна ідея закону більших чисел може бути конкретизована наступними міркуваннями.
Нехай  .
Тоді  ,
 ,
 .
Легко, далі, підрахувати, що випадкові величини  ,  , не корильоване. Справді, нехай  , тоді, знаючи, що  , можна записати наступне:
і, отже,  ,  .
Отже,  .
Таким чином, умова  , досить для нормальної стійкості величин .
Таким чином, була завершена одна із центральних проблем теорії ймовірностей - проблема закону більших чисел.
Ми простежили динаміку розвитку поняття ймовірності; такого поняття в теорії ймовірностей, як математичне очікування, а також розвиток однієї із центральних теорем-закону більших чисел. Можемо зробити наступні висновки.
Простеживши динаміку розвитку й формування поняття ймовірності можна відзначити, що воно вироблялося складними шляхами. Поняття ймовірності наділялося у визначення різних форм і змістів.
Спочатку це поняття розуміли на чисто інтуїтивному рівні. Пізніше з'явилися різні визначення поняття ймовірності. Спостерігалися спроби вводити нові поняття, наприклад «властиво ймовірність», але ці спроби не увінчалися успіхом – це поняття не збереглося в науці. Надалі виникає необхідність у більше чіткому й строгому відношенні до основних понять теорії ймовірностей, тобто й до визначення поняття ймовірності. Цього вимагало розвиток статистичної фізики; цього вимагало розвиток самої теорії ймовірностей, у якій гостро стала відчуватися незадоволеність класичного обґрунтування лапласовського типу; цього вимагало й розвиток інших наук, у яких широко застосовувалися імовірнісні поняття. Ставало всі видно, що теорія ймовірностей має потребу в новому логічному обґрунтуванні – в обґрунтуванні за допомогою аксіоматичного методу. Багато вчених уживають спроби аксіоматичного визначення поняття ймовірності. Однак успішно ця задача була вирішена на початку XX в. Колмогоровим. Аксіоматика Колмогорова сприяла тому, що теорія ймовірностей остаточно зміцнилася як повноправна математична дисципліна.
Розвиток поняття математичного очікування також зустрічало ряд труднощів. Спроби ввести поняття морального очікування, яке б усувало недоліки математичного очікування - провалилися. Це відбулося через те, що поняття морального очікування не було пов'язане з поняттям імовірності на відміну від математичного очікування. У результаті поняття «математичне очікування» зайняло міцне місце, по праву йому приналежне, у теорії ймовірностей.
Динаміку розвитку закону більших чисел можна зрівняти з ієрархічною градацією. У основі її найпростіші теореми Бернуллі й Пуассона, а на вершині - критерій застосовності закону більших чисел (необхідна й достатня умови). На відміну від понять імовірності й математичного очікування, закон більших чисел не зіштовхувався з подібними протиріччями, у своєму трактуванні. Удосконалення закону більших чисел відбувалося плавно, без різких стрибків.
1. Майстров Л.Е. Теорія ймовірностей. Історичний нарис. – К., 2004
2. Майстров Л.Е. Розвиток поняття ймовірності. – К., 2003
3. Вентцель Е.С. Теорія ймовірностей. – К., 2005
4. Гнеденко Б.В. Курс теорії ймовірностей. – К., 1999
5. Колмогоров А.Н. Основні поняття теорії ймовірностей. – К., 2005
6. Історія вітчизняної математики. – К., 2005
7. Гливенко В.И. Курс теорії ймовірностей. – К., 1997.
8. Чебишев П.Л. Повне зібрання творів – Львів, 2000
9. Гнеденко Б.В., Колмогоров А.Н. Теорія ймовірностей. – К., 1999
|
