Ето кога започва да работи законът за големите числа

Големите числа != големи числа

Числото 100 голямо ли е? Това зависи от ситуацията. Дали го сравняваме с 0,001, или със 100 000? Подобно на много други неща в живота, понятието „голямо“ е относително.

В тази статия ще обясним колко голямо трябва да бъде „голямото“ и ще докажем, че вероятно грешите относно закона за големите числа.

Законът за големите числа (ЗГЧ)

Нека направим експеримент: ще хвърляме зарче, както правехме в часовете по запознаване с вероятността. Ще продължим да правим хиляди хвърляния, като всеки път ще изчисляваме средната стойност.

(Не забравяйте, че средната очаквана стойност на хвърлянето на зар е (1+2+3+4+5+6)/6 = 3,5).

Ето графиката на първите десет хвърляния.

Първо хвърлихме 5, след това 1 и така нататък.

Сега нека да проверим какво ще се случи, ако увеличим броя на експериментите до 100 и до 1000:

Колкото „по-голямо“ става числото, толкова повече средните стойности на извадката се доближават до истинската очаквана стойност. Законът за големите числа казва точно това: средното значение на извадката се доближава до очакваното средно значение.

По-конкретно, съществуват две версии на закона за големите числа: слаба и силна.

Слабият закон постулира следното.

С други думи, вероятността средната стойност на извадката X̅ₙ да се намира („да излиза“) на каквото и да е разстояние от очакваната стойност μ клони към нула с увеличаването на броя на размерите на извадките (n). („Каквото и да е разстояние“ означава отклонение, по-голямо от която и да е предварително фиксирана стойност). По-долу ще обсъдим това по-подробно.

Изглежда, че n = 1000 е достатъчно „голямо“ за експеримента със зарчето. Но какво да кажем за другите ситуации?

Нека разгледаме друг пример! Ето този лотариен билет от Тексас с полета за изтриване.

В официалната уеб страница се казва следното:

• Печалбите възлизат на 829 милиона долара!
• Печалбите започват от 150 долара!
• Шанс да спечелите $20 000 000
• Билетът струва само $100!

Звучи страхотно, но ние познаваме математиката достатъчно добре, за да не се заблуждаваме от тези числа. Ако се разровим, можем да намерим вероятността за печалба. Ето една таблица на печалбите от официалния уеб сайт:

Знаейки това, можем лесно да изчислим шансовете и очакваните стойности:

• шансът да спечелим нещо е 26,34%,
• а очакваната печалба е $75,28958 на билет. (Без да включваме таксата за участие от $100.)

Изглежда, че не си струва да се купува билет за $100, защото очакваната стойност е само около $75,3. Дали?

Сега нека направим експеримент, подобен на експеримента със зарчето. (Хипотетично) купуваме все повече и повече билети, като същевременно изчисляваме средната печалба. Колкото повече билети купуваме, толкова повече ще се доближаваме до очакваната стойност (около 75 долара).

С първите десет билета нямахме голям късмет.

Но нека купим още деветдесет! Със стоте билета сме по-близо до очакваното, но в дългосрочен план се нуждаем от гладка графика, близка до червената линия.

Нека направим по-голяма стъпка: да увеличим n до 10000.

Сега имаме плавна линия, но тя съвсем не е това, което очаквахме! Тя е около $67, а не очакваната стойност.

Да продължим. При един милион билета отново се случва нещо странно: започваме да имаме късмет и печалбите са над средните. Само че сега сме още по-далеч!

Изглежда, че 1000000 все още не е „голямо“ число!

Да продължим напред! При десет милиона билета получаваме много големи печалби, които повишават средната стойност, но ефектът става все по-малък и по-малък. Бавно, но сигурно се приближаваме до очакваната стойност.

Сега най-накрая имаме очакваната плавна линия в близост до истинската средна стойност.

В първия експеримент успяхме да демонстрираме закона за големите числа с хиляда хвърляния, но във втория експеримент дори един милион опита са недостатъчни.

Големите числа != големи числа.

И така, как можем да обясним странностите, които се появиха във втория експеримент?

Дисперсия и скорост на сходимост

Нека разгледаме по-отблизо слабия закон за големите числа!

По същество вероятността P(|X̅ₙ – μ| > ε) е мярка за разстоянието между средната стойност на извадката и истинската средна стойност (т.е. очакваната стойност), но във вероятностен смисъл.

Колкото по-малко е ε, толкова по-голямо е вероятностното разстояние. В математически вид е вярно следното:

Слабият закон за големите числа гласи:

Това означава, че вероятностното разстояние става малко, точно както искахме да бъде.

Грубо казано, това означава, че средната стойност на извадката е равна на истинската средна стойност плюс разпределение, което става все по-концентрирано в областта на нулата. С други думи, имаме:

асимптотично разширение в смисъл на разпределение. Терминът o(1) означава разпределение, което с нарастването на n става все по-концентрирано в областта на нулата. Може би сте запознати с означението на голямо и малко „О“; това е същото, но при вероятностните разпределения.

Слабият закон за големите числа и асимптотичното разширение обясняват ли това, което се случва с нашите лотарийни билети; т.е. защо се нуждаем от десет милиона извадки, за да се доближим достатъчно до истинската средна стойност?

Краткият и труден отговор е: не.

Нуждаем се от по-голямо асимптотично разширение. Нашият инструмент за това ще бъде централната гранична теорема – един от най-известните резултати в теорията на вероятностите, който формализира разбирането за това защо средните стойности на извадките приличат на Гаусови разпределения.

Централната гранична теорема

Нека да се потопим в темата и да преминем директно към централната гранична теорема (Central Limit Theorem – CLT). Тя гласи, че от гледна точка на разпределението, мащабирано с √n, центрираните средни стойности на извадките се доближават до стандартното нормално разпределение. (Терминът „центрирани“ означава, че изваждаме очакваната стойност).

Трябва да се подчертае, че тази конвергенция е вярна в случая на разпределенията. Това е просто друг начин да се каже, че кумулативните функции на разпределение са точково сходящи. (Да, знам, сходимостта в теорията на вероятностите е доста объркваща тема).

Нека да обърнем това: за асимптотичното разширение законът за големите числа и централната гранична теорема предполагат, че

т.е. средната стойност на извадката е равна на сумата от: 1) очакваната стойност на μ, 2) мащабираното нормално разпределение и 3) разпределението, което клони към нулата по-бързо от 1/√n.

Това означава, че за нашето асимптотично разширение имаме

Това вече може да бъде записано в опростена форма чрез комбиниране на константите в нормалното разпределение. По-конкретно получаваме

и това означава, че нашето асимптотично разширение има вида

С други думи, когато n е голямо, средната стойност на извадката се доближава до нормалното разпределение с дисперсия σ²/n. Колкото по-голямо е n, толкова по-малка е дисперсията; колкото по-малка е дисперсията, толкова повече нормалното разпределение е концентрирано близо до очакваната стойност на μ.

И това дава отговор на въпроса ни: кое трябва да е зловещото число в закона за големите числа? То зависи от дисперсията на нашето разпределение!

От нашето асимптотично разширение можем да разберем, че ако дисперсията е 10 пъти по-голяма, ни трябват около десет пъти повече извадки, за да бъде средната стойност толкова близка до първоначалната средна стойност. Това се дължи на члена σ²/n, където σ² означава дисперсията на нашата извадка X₁, X₂, …, Xₙ, а n означава броя на извадките.

Нека се върнем към хвърлянето на зарове и лотарията. Дисперсията на хвърлянето на зарове е 35/12 ≈ 2,916, а дисперсията на тексаската лотария е приблизително 157 000 000. Това е с петдесет милиона повече. Това означава, че средно се нуждаете от петдесет милиона пъти по-голяма извадка, за да може средната стойност на извадката да е толкова близка до истинската средна стойност, колкото е тази на заровете.

Важно е също така да се отбележи, че тъй като законът за големите числа е вероятностна формулировка, твърдения като „трябват ни петдесет милиона пъти повече извадки“ трябва да се разбират вероятностно. Ако имаме късмет, средната стойност на извадката може да бъде много близка до истинската средна стойност след няколко хиляди извадки.

Заключение

Законът за големите числа често се разбира погрешно.

Ние го използваме често, но той има важна тънкост. Въпреки че средната стойност на извадката се приближава (почти гарантирано) към очакваната стойност, скоростта на сходимост зависи от дисперсията на извадката. Колкото по-голяма е дисперсията, толкова по-бавна е сходимостта.

А за множество практически приложения това се оказва лоша новина. Ето защо например сходимостта на метода Монте Карло е бавна. В реална ситуация като хазарта може дори да ви свършат парите, преди да започнете да печелите. (Повечето казино игри обаче имат отрицателна очаквана стойност, така че в дългосрочен план винаги ще губите.)

И така, какъв извод може да се направи от това? Когато прилагате закона за големите числа, винаги вземайте предвид скоростта на сходимост.