Хулиномика. Элитно, подробно, подарочно!: читать начало книги онлайн

Он ещё наловчился вырезывать из стекла линзы и их тряпочкой шлифовать, после чего собрал окуляр для телескопа и обнаружил кольца Сатурна[31], изобрёл маятниковые часы и – внимание – диапроектор, чтобы дичайше смотреть «Ну, погоди!» на слайдах. Часы его конструкции были точны, недороги и быстро распространились по всему миру. Гюйгенс же и написал первую книгу о вероятности. Такой был замечательный голландец, ну вы понимаете, что ему там послужило вдохновением.

А дальше вот что происходит: развивается геодезия, астрономия и стрельба, например. И теория вероятностей начинает применяться в теории ошибок наблюдений, как ложатся пули вокруг мишени. И тут надо сказать про Лапласа, Пьера-Симона. Он опубликовал два закона распределения частотности ошибок, и второй из них называют «гауссовым распределением». Дело в том, что большинство случайных величин из реальной жизни, таких, например, как ошибки измерений, стрельбы и прочего, могут быть представлены как анализ большого числа сравнительно малых ошибок, каждая из которых вызвана действием отдельной причины, не зависящей от остальных. Например, дрожанием руки – рука же каждый раз по-разному дёргается.

А второй закон Лапласа гласит, что частота ошибок – степенная функция от квадрата ошибки, что сейчас называется нормальным распределением, а кривая – гауссианой. Гаусс (кстати, Карл), конечно, тоже был очень развитым ребёнком, но в то время ему было 2 года от роду, и он пока плоховато ещё законы формулировал. Но он подрос и авторитетом задавил бедного Лапласа.

9.4. Независимость

Сейчас я хочу пробежаться по некоторым терминам – для кого-то это будет повторением, но всё равно не повредит. Вероятность чаще всего обозначается латинской буквой p (от слова probability). Это всегда число, которое лежит между нулём и единицей, ну или от нуля и до 100 %. «Pro centum» – это по-латински «поделить на сто», поэтому 100 % и есть единица. Если вероятность события – 0, это значит, что оно не может произойти. Если вероятность равна 1, то оно обязательно произойдёт. В этом основная идея.

Один из базовых принципов – это идея независимости. Вероятность обозначает шансы наступления какого-либо события. Например, результата какого-либо эксперимента вроде броска монеты. Вероятность того, что если вы подбросите монету и она упадёт орлом, равна 1/2, потому что у неё одинаковые шансы упасть орлом или решкой. Независимые эксперименты – это такие эксперименты, которые происходят – сюрприз! – вне зависимости друг от друга. Если вы бросаете монету два раза, результат первого броска никак не влияет на результат второго, и тогда мы говорим, что это независимые величины. Между ними нет никакой связи.

Один из первых принципов даёт нам правило умножения: если у вас вероятности независимые, то вероятность сразу двух этих событий будет равна произведению их вероятностей. Это не сработает, если события как-то связаны. Страховка построена на том, что в идеале страховая компания продаёт полисы на независимые события (или страхует жизни независимых друг от друга людей). Поэтому лондонский пожар – плохой пример страхового случая. Если кто-то в квартире оступился, у него лампа упала на ковёр и подожгла шторы, а потом загорелась вся квартира, другие дома от этого не сгорят, они от этого неприятного происшествия никак не зависят.

В этом случае вероятность того, что сгорит весь город, страшно мала. Ведь вероятность того, что сгорят дом А, дом B и дом С, равна произведению вероятностей пожара в них. Если она равна 1/1000, а в городе 1000 домов, то вероятность того, что все они сгорят, равна 1/1000 в тысячной степени, это хотя и не ноль, но можно считать, что ноль. Поэтому, если выписать очень-очень много независимых полисов, то риска разориться у страховой компании практически нет. Это фундаментальная идея, которая кажется простой и очевидной, но она совершенно точно не была такой, когда появилась.

9.5. Ожидание мата

Ещё одна важная концепция, которую мы будем использовать, – это матожидание. Кто-то может называть его средним или наиболее ожидаемым результатом – это примерно взаимозаменяемые термины. Можно их немного по-разному объяснять в зависимости от того, говорим ли мы о среднем из известной нам выборки или из всей совокупности событий.

Но сначала надо таки понять, что такое случайная величина. Если мы проводим эксперимент и результат эксперимента – какое-то непредсказуемое число, то наш эксперимент выдаёт случайную величину. Ну, к примеру, если мы бросаем монету и присвоим решке 0, а орлу – 1, тогда вот мы и определили случайную величину, она принимает значение 0 или 1 совершенно случайно.

Существуют дискретные (то есть прерывистые) случайные переменные, типа той, что я только что привёл в пример, – у неё могут быть только конкретные значения. Когда мы имеем дело со случайными, но вполне определёнными событиями в идеальных условиях (как, например, подбрасывание абсолютно честной монеты), вероятность происшествия – это число нужных нам исходов, делённое на число всех возможных исходов. Так, два раза бросив монету, мы получим вероятность выпадения нужных нам двух решек в виде 1/4, потому что исхода у нас четыре (решка-решка, решка-орёл, орёл-решка и два орла) – и все они имеют одинаковые шансы.

Есть ещё непрерывные случайные величины, которые на некотором отрезке могут принимать любое значение. Ну вот возьмём мы, смешаем зачем-то горячий чай и холодную водку и опустим туда термометр. Кстати, его тоже изобрели в XVII веке, и тогда концепцию температуры – для нас привычную и понятную – только-только начали применять. Вы уже догадались, что в нашем стакане с волшебным чаем температура – величина непрерывная, у неё неограниченное количество возможных значений, хотя минимальное и максимальное мы представляем неплохо.

Для дискретных случайных переменных матожидание можно обозначить греческой буквой μ (мю), и оно будет суммой всех результатов, помноженных на вероятность каждого из них. В случае броска нашей условной монеты матожидание будет равно 1/2, и результата только два. А вообще, конечно, их может быть любое число, в том числе и бесконечное. Но их можно сосчитать и узнать средневзвешенную оценку, а она и называется матожиданием. Также его называют средним арифметическим. Но чтобы его посчитать, мы должны знать точные вероятности событий.

Для пущей ясности возьмём обычный (честно и точно сделанный) шестигранный кубик. Очевидно, что вероятность выпадения каждой цифры – одна шестая, граней ведь шесть. Сумма всех выпадений равна 1+2+3+4+5+6 = 21. Берём от каждой 1/6 (надеюсь, сможете сами?), складываем вместе (или просто 21 делим на 6), получаем 3,5. Значит матожидание броска кубика – 3.5. Если мы много-много раз бросим кубик и посчитаем среднее, то получится число, близкое к 3.5. Понятно, что в случае броска одного кубика ожидать 3.5 бессмысленно, а вот в случае двух ждать семёрки – хорошая идея. И чем больше раз мы бросим кубик, тем ближе среднее будет к 3.5. Его и следует ждать математически, поэтому оно и называется матожидание.

Кроме среднего ещё есть медиана – это когда половина результатов эксперимента больше, а половина меньше этой цифры. Она часто используется в демографии. Например, зарплату по регионам корректнее сравнивать не среднюю, а медианную, потому что очень маленькие или (чаще) очень большие зарплаты, даже если таких всего несколько, заметно искажают реальную картину. А на медиану они не влияют.

Если нам потребуется матожидание непрерывных функций, то идея там точно такая же, но складывать надо интегралы. Слово страшное (сам его боюсь), но вообще это просто сумма площадей под графиком функции. Например, взять температуру – вероятность того, что термометр покажет у кипятка ровно 100 градусов, равна нулю, потому что он всегда может показать 100.001 или 99.999. Таких цифр бесконечное количество, и у каждой конкретной из них вероятность равна нулю. Но можно посмотреть, например, плотность вероятности у какого-либо отрезка.

9.6. Генеральная совокупность против выборки

Теперь пару слов о совокупности. Мы измеряли признаки всех возможных вариантов выпадения кубика, хорошо и годно всё посчитали. Но в реальности результаты экспериментов сосчитать трудно, потому что мы гораздо чаще имеем дело с выборками, а не со всей совокупностью результатов. Возьмём, например, дерево. Хотим мы оценить количество его листьев, берём 5 веток и считаем на них среднее количество листьев. Потом умножаем их на количество веток, и у нас получится примерная (но неплохая) оценка количества листьев на дереве.

Так вот, реальное среднее количество листьев на ветке мы не знаем, а лишь приблизительно определили из 5 наших веток. Его принято обозначать не иксом, а иксом с чертой, и оно тем ближе к иксу, чем ближе количество отобранных нами веток к количеству веток на всём дереве. Если мы возьмём несколько отличающихся веток (а не только самые длинные, например), то наша выборка будет лучше отражать свойства всего дерева. Так и с людьми – если в исследуемой группе есть представители разных городов, профессий, возрастов, то выводы будут точнее и вернее, чем если опросить только вечно пьяных студентов МИРЭА.

В Америке был интересный казус с репрезентативностью выборки, когда журнал «Литерари Дайджест» опросил аж 10 млн человек насчёт выборов президента. Это огромное количество респондентов: для достоверной статистики хватило бы 2–3 тыс. правильно собранных ответов. Журнал предсказал победу республиканцу Альфу Лэндону со значительным перевесом (60 на 40), а выборы выиграл демократ Франклин Рузвельт – как раз с таким же перевесом, но в обратную сторону. Дело в том, что большинство подписчиков журнала были республиканцами, а в попытке сгладить это несоответствие журнал рассылал бюллетени по телефонным книгам. Но не учёл забавного факта: телефоны тогда были доступны только среднему и высшему классу общества, а это были в основном республиканцы.

9.7. Дисперсия

Пока мы говорили лишь о средствах измерения основной тенденции, но ещё нам потребуется средство измерения её вариативности, иными словами, разброс её значений. Дисперсия случайной величины – это как она меняется от одного измерения до другого. Обозначается она как σ2, греческая сигма в квадрате. А просто сигма – это так называемое стандартное отклонение. Это корень из дисперсии.

Дисперсия – это сумма квадратов расстояний от каждого результата до среднего результата, делённая на их количество. Квадратов – потому что какие-то результаты отличаются от среднего в меньшую сторону, и, чтобы при складывании отрицательных отклонений сумма не уменьшалась, придумали возводить разницу в квадрат и складывать уже квадраты отклонений (которые всегда положительны).

Тут плохо то, что дисперсия размерностью не совпадает с изучаемым явлением. Если мы измеряем сантиметры, то дисперсия окажется в квадратных сантиметрах. Поэтому из неё берут корень. Чтобы не лопнул мозг, вспомним про кубик. Так вот для шестигранника дисперсия получается 2.92 (сами посчитаете? Я вам помогу[32]), ну а корень из этого – 1.71. То есть в среднем у нас выпадает 3.5, но разброс результатов от среднего равен 1.71. Чем больше этот разброс, тем больше квадраты расстояний до среднего, тем больше дисперсия. Чем дисперсия больше, тем сильнее наша случайная величина варьируется.

Оценивать дисперсию всей совокупности по выборке не совсем правильно. Возвращаясь к нашему примеру с деревом, разброс между количеством листьев у выбранных нами веток будет, естественно, меньше, чем у всех веток дерева. Поэтому, чтобы узнать дисперсию всей совокупности, её делят не на n результатов, а на n-1, это называется коррекция смещения, придумал её в XIX веке Фридрих Бессель, ученик Гаусса.

На этом о дисперсии и оценках выборки всё. Там есть, конечно, ещё куча мелочей, но мы будем говорить о теорвере лишь в контексте инвестиций. Это именно та область, где нам нужен высокий доход, а вот дисперсия совершенно не нужна. Высокое матожидание дохода – добро, а высокая дисперсия – зло, потому что это риск, это неизвестность. Все финансовые теории в конечном счёте стремятся получить высокий доход с минимальным риском.

Жалко, что у них ничего не получается.

9.8. Корреляция, ковариация и регрессия

Ещё одна важная концепция – это ковариация. Это показатель того, насколько две переменные движутся вместе. Насколько похоже их поведение? Если эксперимент выдаёт нам икс и игрек и мы подмечаем, что когда икс высокий, то игрек тоже имеет свойство быть высоким, или наоборот, оба низкие, тогда ковариация будет положительной. Отрицательная ковариация – это когда при высоком икс игрек низкий, и наоборот – то есть они ходят в противоположном направлении.

[31] Галилей их тоже обнаружил, но так и не понял, что это такое, а Гюйгенс – он понял.

[32] (3.5–1)2+(3.5–2)2+(3.5–3)2+(4–3.5)2+(5–3.5)2+(6–3.5)2=17.5, делим на 6 = 2.917.