Идеи книги “Сигнал и Шум”

Оглавление моего разбора

1. Природа реальности
2. Попытки поймать реальность
3. Как это касается людей?

Природа реальности

Обобщенные модели реальности

Первый вопрос книги состоит, в конечном итоге, в той априори, считаем ли мы мир предсказуемым или непредсказуемым. Автор обращает внимание, что в западной культуре мы верим в идею что сами контролируем собственную судьбу, каждый принимает решения от которых исходят последствия. Западный человек использует накопленное знание с целью изменения общества или хотя бы чтобы получать прибыль.

Модель (опр.) — обобщенный, объясняющий явление, набор правил по которым мы получаем одно (желаемое/будущее) из другого (известного/измеренного). Например, простейшая модель предсказания это увеличение в два раза значения через каждый месяц. По модели строят алгоритм обработки данных, который с помощью кодинга становится программой, запускаемой на компьютере.

2000–2010 стали десятилетием компьютерного прогресса и изобилия информации. Это создает ложную уверенность, что мы стали лучше понимать (то есть предсказывать) мир. Позиция Нейта — не стали. Новые модели стали весьма запутаны и, как оказалось, часто они в высшей степени уязвимы к неточностям в исходных данных (например, на шестой знак после запятой). Многие недавние модели предсказаний созданые до 2010 года (выхода книги) в условиях информационного изобилия оказываются не особенно успешными и даже хуже докомпьютерных методов.

Сложные модели ухудшают моменты ложных позитивных выводов. Точность компьютеров не может заменить правильность выводов. Модель строится на ряде базовых закономерностей в которых её создатель может заблуждаться и никакое количество данных не спасет. Компьютеры дали, например, экономистам лишь более быстрые и продвинутые способы ошибочно принимать шум за сигнал.

Фреквентистский метод вероятности/статистики, который предполагает, что чем больше данных мы собираем, тем меньше становится ошибка и со временем она приблизится к нулю, показал на проверках прогнозов себя несостоятельным. Аналитики в этой парадигме переоценивали значимость имевшейся у них информации и так выдавали свое желаемое за общее настоящее .

Вывод: не так важно, какая количественная или качественная информация к вам поступает —

гораздо важнее, каким образом ее используете.

Данные это лишь наблюдение, а вовсе не связи!

Всё равно вывод упирается в человека. Нетренированный мозг упрощает происходящее и вписывает в знакомую картину (это кстати красиво показано в романе “Эхопраксия”). 
Из того что за А следует Б никак не следует что из А следует Б, но мы и создатели моделей часто так думаем. Попадаясь на крючок ничего не значащего шума.

Неспособны создавать точные решения, когда поступает больше информации, чем можем обработать (например, события в миллисекундах). Даже когда мы получаем эти законы: из того факта, что частота землетрясений и их магнитуда подчиняются закону Гутенберга — Рихтера, вовсе не следует, что мы можем узнать, когда именно произойдет землетрясение. Среднее подобно семье, имеющей 1,7 ребенка и “статистик утонул, переходя через реку, средняя глубина которой составляла лишь один метр”.

Степень шума в конкретике

(А) Сравнительно небольшая часть информации полезна и её становится всё сложнее найти так как создаем гигабайты некачественных даных теперь ежесекундно. В противоположность фреквентистскому методу, автор считает что чем больше данных — больше ошибок и помех. Притом важно понимать: шум способен полностью заглушить сигнал даже в случаях, когда у вас, в сущности, нет сомнений в том, что сигнал действительно там существует.

(Б) Как сверхбыстрые так же мы неспособны оценивать и редкие события, такие как рецессии или президентские выборы о которых у нас почти нет данных (события через 5+лет мы еще видим. А если что-то происходит раз в 500 лет, раз в 5000?). Перед пузырем недвижимости люди полагали, что рост цен означает, что стоимость домов будет продолжать увеличиваться, хотя на самом деле это должно было навести их на мысль о снижении цен в дальнейшем.

Любая выявленная закономерность может содержать в себе определенную комбинацию сигнала и шума. Тут можно учится оценивать зашумленность. Но это только пол проблемы. Глубже идет понимание того, что есть настолько изменчивые сложные явления, что и сигнал в них трудно найти. Неопределенность представляет собой риск, который сложно измерить.

Раньше мы старались оценить способности игрока (в бейсбол), думая что они не меняются год от года — и если бы мы только могли отделить сигнал от шума, то узнали бы все, что нам нужно. В реальной жизни навыки изменяются, а игрок стареет. Реальные кривые старения которые мы желаем спрогнозировать наполнены шумом — причем значительным.

Данные участников, играющих на более низких уровнях низшей лиги, становится менее надежной информацией. А цифры, полученные для игроков, учащихся в колледжах или школах, практически не имеют ценности с точки зрения предсказаний.

Многие годы спустя, когда врачи начали заново открывать старые истории болезней, им удалось лучше оценить развитие СПИДа в первые годы. Но в самом начале было абсолютно не понятно что тут происходит и каковы взаимосвязи.

Математика терроризма/землетрясений: 11 сентября 2001 не было обособленным событием, оно было в череде роста размеров терактов, но предсказать когда, где и каким способом это нападение произойдет невозможно. Сейсмологи и специалисты по экстремальным ситуациям больше беспокоятся о крупнейших событиях, их волнуют предсказание событий с высокой разрушительной мощью, даже если они и случаются очень очень очень редко и значит мы знаем о них очень очень очень мало.

В книге приводиться много примеров попыток американцев понять рынок, придумать методики трейдинга и постоянный крах этой затеи.

В долгосрочной перспективе фондовый рынок, по сути, всегда движется вверх. Однако это знание не скажет абсолютно ничего о его поведении на следующий день, следующую неделю или через год. Если вам даже удастся выявить закономерность, особенно кажущуюся слишком очевидной, то велики шансы, что и другие инвесторы смогут ее обнаружить, и тогда сигнал начнет исчезать или даже изменит направление. Когда дело касается фондового рынка, уверенным нельзя быть почти ни в чем.

Покер — вещь настолько изменчивая, что теоретически опытный игрок, способный на своем уровне часто выигрывать, может сталкиваться с периодом неудач, длящимся по нескольку месяцев или даже целый год. С другой стороны, точно так же может везти любому другому игроку — он может месяцами выигрывать, до конца не понимая, насколько плохо он понимает игру.

Трудно игнорировать реальность

Метапознание — осознание того, как прогнозисты строят модели прогнозов, — и способность откорректировать этот процесс, когда им кажется, что в их мышлении нарушен баланс в сторону подгонки модели к данным.

Если человек склонен ориентироваться на самую новую или самую доступную информацию, то общая картина начинает теряться. Он погрузает в шуме.

!!! Получение обратной связи (новое) от того, как проявили себя наши прогнозы (старое) в реальности, — это единственный и, возможно, самый важный способ их (и модель) улучшить.

Вывод: способ проверить правдивость выводов исследования состоит в том, чтобы

понять, насколько точными являются результаты предсказаний в реальном мире.

Вам дают три разноцветных замка и просят систему, по которой для них был придуман код. Вы клацаете каждый замок и делаете вывод: если замок красный, то правильная комбинация — 27–12–31. Если он черный, то нужно использовать цифры 44–14–19, а если синий — 10–3–32. На все это я могу сказать только то, что вы не справились с заданием и ваши прогнозы провалились. Вы вычислили, как открыть эти три конкретных замка, а не создали теорию, позволяющую открывать замки, когда комбинация неизвестна нам заранее. Ваше решение слишком конкретное для общей проблемы.

Это называется ОВЕРФИТТИНГ.

Если на цветных замках это ясно, то на сложных моделях такое происходит сплошь и рядом и мало кто это замечает. Так то.

Люди с телевизора и бестселлеров наперебой кричат нам каждый о своей “комбинации” расшифровки Секрета кода реальности. Выдавая её за окончательную истину.

В нелинейных сложных системах, где поддерживаются скорее экспоненциальные, а не аддитивные связи, оценка вероятности для прогноза может отличиться от истинного события в 100 или даже 1000 раз. Значительные периоды кажущегося застоя/постоянства сменяется внезапными и катастрофическими динамичными процессами. Насим Талеб сравнивает это с “Черными лебедями”. Дидье Сорнетте называет такую динамику «борьбой между порядком и беспорядком».

Создать модель только по стабильным и описаным периодам — так упрощать это очевидный оверфиттинг.

Объективность недостижима

Мозгом ошибочно принимаем аппроксимацию (приближение) за реальность. Нужно помнить о том, что существует неопределенность и в отношении того, сколько неопределенности у нас есть. Немногие вещи четко попадают в одну из парных категорий предсказуемого и непредсказуемого.

Модели всегда представляют собой упрощение мира. “Лучшая модель кошки — это кошка”. Все остальное предполагает, что мы исключаем какие-то детали.

Степень уместности _каждой детали будет зависеть от проблемы, которую мы пытаемся решить, и от того, насколько точный ответ нам требуется.

Объективность желательна, но недостижима. Вселенная, в которой мы живем, — непостижимо велика. Существуют чисто физические ограничения на взаимодействия человека и природы. Идеальные предсказания невозможны, если природа сама по себе развивается случайным образом. Объем той информации, которую можно считать объективной истиной, остается практически неизменным, но мы никогда не сможем создавать идеально объективные предсказания.

«Невидимую руку» рынка Адама Смита можно представить себе в виде такого коллективного прогноза, в котором цены постепенно корректируются в ответ на изменения уровня спроса и предложения.

Фондовый рынок фундаментально и масштабно непредсказуем. Завтра так там зависит от сегодня, как мы никогда не сможем полностью понять. А когда что-то по-настоящему непредсказуемо, никто: ни ваш парикмахер, ни инвестиционный банкир, зарабатывающий по 2 млн долл. в год, — неспособен постоянно его переигрывать.

Поиск точности

Неизвестное неизвестное — это ситуация, когда мы даже не задумываемся о том, чтобы задать вопрос. В наших знаниях есть пробелы, но это пробелы, о существовании которых мы даже не подозреваем. Либо наш разум блокирует его, либо у нас недостаточно или вообще пока нет из-за сверхредкости события опыта, чтобы его представить, — будто его и не существует вовсе.

В формулирование прогноза играет роль не только оценка известного неизвестного, а хотя бы какие-то рамки ограничений для неизвестного неизвестного. Самыми объективными из нас будут считаться те, кто выступает с самыми точными прогнозами будущего насколько это можно.

Для точности важна _постоянная адаптации существующих моделей к новым свидетельствам.

(!) И мы признаем, что у нас имеются априорные убеждения, влияющие на то, как мы интерпретируем новые свидетельства. (например, научный метод это набор таких убеждений)

Предсказание важно, поскольку оно позволяет соединить субъективную и объективную реальности. Прогнозирование будущего — это не книга готовых рецептов. В реальности есть что-то, происходящее так редко, что мы про это ничего не знаем, а это произойдет. Учитывайте вероятностность события, взвешивайте качественную (то есть по возможности отфильтрованную от шума) информацию, чтоб оценить наилучший, наихудший и наиболее вероятный сценарий. То что вы можете сделать,— это распланировать различные сценарии.

Если бы я попросил вас предсказать результат выбрасывания пары кубиков, то ваш точный ответ представлял бы собой не единственное число, а перечисление возможных вариантов и их сравнительную вероятность. Стоит брать пример с докторов и военных (которые дают вам варианты вероятного развития ситуции), а не с ученых мужей и политиков из телевизора (которые уверенно убеждают вас в своей “правильной” позиции).

Попытки найти реальность

Прогнозирование это ни один раз

Часто, очень часто, выводы о будущем не выдерживают испытание реальностью. Но правильное предсказание способно изменить ход событий: будущее станет значительно более благоприятным для предсказателя так как он может принять определенные меры заранее.

Поэтому предскозание не только говорит о событиях, а и само есть событием. Поэтому в обществе повышенное внимание правильным предсказаниям и людям, сделавшим таковые. Включая автора книги.

В течение дня каждый из нас осознано и неосознанно делает множество предсказаний. Из первой части книги видно, что многие эксперты вне зависимости от их рода занятий, опыта или отрасли знаний — демонстрировали ничуть не лучшие результаты предсказаний, чем можно получить при обычном гадании (подбрасовании монетки “да-нет”).

Автор отправляет к статье Джон П. Иоаннидис «Почему самые широко публикуемые выводы исследований неверны» (2005), которую в переводе я так и не нашел.

Проблема предсказателя состоит в том, сможет ли он показывать такие же хорошие результаты, как в прошлом (когда он возможно просто угадал)!

И ты никогда не знаешь, когда возникает следующее изменение парадигмы или скачек на рынке и всё перевернется. Ты не знаешь к чему ты не готов. Если склонны уделять больше внимания успешным предсказаниям, а не навыкам, благодаря которым они возникли, то не будете способны сформулировать свои убеждения: «Вот откуда я к этому пришел».

Притом усредненный прогноз группы независимых гадателей лучше типичного индивидуального, но он не всегда оказывается лучше, чем лучший из индивидуальных прогнозов.

Худшие игроки в покер неправильно делают даже самые основные вещи, чудовищным образом отклоняясь от оптимальной стратегии. Худшими прогнозистами окажутся те, которым не удается правильно применить даже первые 20 % усилий, причем они будут намного хуже, чем лучшие из хороших. Ваше стабильно должно для начала хоть немного превышать средний показатель всех хороших участников.

Слово «стабильно» в данном случае особенно важно, поскольку в течение любого короткого периода времени некоторым удается получать значительно лучшие результаты, чем в среднем.

То есть в каждый момент времени есть кто-то (другой), кому повезло и то, что он предполагал совпало с реальностью. Это никак ни значит, что этот человек может что-то предсказывать дальше.

Хотя шанс выйграть главный приз очень мал и лотерея специально так спроектирована, это не мешает тому, что каждый месяц-два в США появляется конкретный человек, купивший билет с такими мизерными шансами на победу и выигравшим эти деньги. Потому что людей много, билетов много.

Поэтому так важно фильтровать людей, у которых случился один успех и теперь они не повторяют его, а рассказывают о нем из книг/передач/курсов итд.

Экономические прогнозы и погрешность

Иллюзия о том, что экономические прогнозы в компьютерную эру стали лучше, разбивается вдребезги о ужасные ошибки. Экономисты, которые последовательно защищают любую модель, время от времени гарантированно будут правы. С помощью такой выборочной “правоты” они вполне способны убедить самих себя в том, что разные переменные, имеющие хотя бы какой-то экономический смысл, могут считаться «опережающими индикаторами» рынка (и это оверфиттинг).

Вся наша история показывает, что люди постоянно находили, писали много чего, что потом оказалось неверным. Например, “жабы в пруду, расположенном в 80 км от Л’Акуилы, перестали квакать за пять дней до крупного землетрясения” и они для местных стали “опережающим индикатором”.

Предположение о том, что текущая тенденция будет развиваться и в будущем, причем до бесконечности, часто и неосознанно приходит нам в голову. Но экономика постоянно меняется, поэтому объяснения экономического поведения, подходящие для одного цикла бизнеса, могут быть неприменимы для другого. Переменные, которые служат «опережающими индикаторами» в одном экономическом цикле, часто превращаются в «запаздывающие» в другом.

В 2010-ых если посчитать степени точности экономических прогнозов по США захватывает примерно 6,4 пункта ВВП (что эквивалентно ошибке в ±3,2 %). Иными словами, когда вы слышите в новостях, что ВВП вырастет в следующем году на 2,5 %, это может с тем же успехом означать и невероятный рост на 5,7 %, и падение на 0,7 %, то есть достаточно серьезную рецессию. То есть с точки зрения последствий — что угодно.

На рынке результаты прошлого не способны предсказать будущее. Слепой ведет слепых, а в результате все падают вниз со скалы. Это явление возникает достаточно редко, однако обладает крайне разрушительной силой. Рынки ведут себя рационально 90 % времени и рациональные предсказатели со своими моделями процветают. Остальные 10 % времени доминируют торговцы шумом — и все может пойти наперекосяк. Другими словами, обычно рынки совершенно правы, но иногда они оказываются совершенно неправыми. И мы не знаем где мы сейчас.

Когда люди, отвечающие за политику, начинают активно использовать какую-то переменную, она способна потерять свою значимость. Это не бейсбол, где правила игры никогда не меняются: экономика, как и атмосфера для погоды, — это динамическая система с миллиардами участников. Каждый ее элемент влияет на все остальные.

Что делать когда не ясно

Обычно эвристическое правило «следуй за обобщенным прогнозом независимых источников (например, знанием из википедии), особенно если не знаешь лучшего выхода» работает довольно хорошо.

Эвристика — очень полезная вещь, это набор подходов к решению проблемы в ситуациях, когда возможность найти причинно-следственные закономерности лежит вне наших практических способностей. В шахматах, где наш мозг не может просчитать все будущие варианты, игра друг против друга обычно сводится к тому, чтобы найти слепые пятна оппонента быстрее, чем он найдет ваши.

Дилемма шахматиста в направлении эвристики: ширина против глубины. Распределение умственных усилий. Иногда требуется пройти по многим ветвям дерева “пойду-ответит”, но лишь на пару ходов вглубь; в других случаях шахматисты концентрируются лишь на одной ветке, но производят более глубокие расчеты. Важно умение «обрезать» свои деревья поиска, направляя свои просчеты на самые многообещающие ветви, а не все.

(глубина:) Каспаров должен разработать тактику, точную последовательность трех-пяти ходов для захвата важной фигуры соперника. Для каждого из этих ходов он должен продумать возможную реакцию оппонента. (ширина:) Также ему нужно удостовериться в том, что соперник не устроил ему никаких ловушек.

В книге этого нет так как она написана раньше, но кроме шахмат, если я не ошибаюсь, точно так же “думала” двум контурами нейросети AlphaGo играя в Го (см фильм 2017 года):

1. концентрироваться на самых важных элементах и видеть стратегическое целое, которое представляет собой нечто большее, чем сумма частей
2. понемногу оценивать каждую возможность вглубь и максимльно изучать в деталях те из них, которые кажутся самыми важными

Оценки подобия могут оказаться невероятно полезными любому человеку с хорошим знанием истории. Метод ближайшего соседа: система выдает диапазон возможных исходов для каждого игрока, основанный на прецедентах с сопоставимыми игроками из прошлого. Та же делает шахматист, заучивая классические розыгрыши определенных этюдов.

Важность оценки вширь (“лисьей”)

При оценке данных мы очень часто игнорировали важную часть контекста - связи вокруг. Теория сложности, разработанная физиком Пером Баком и другими учеными, отличается от теории хаоса, хотя их часто объединяют. Согласно этой теории, даже самые простые вещи могут вести себя странным и таинственным образом при взаимодействии друг с другом.

Можно дать куда более правдоподобные оценки, расширив горизонт вИдения.

Коллапс на жилищном рынке оказался событием, находившимся за пределами выборки, поэтому созданная модель не могла применяться. 
Экспертам было довольно сложно предвидеть развал СССР, поскольку для понимания происходившего в стране нужно было связать воедино различные наборы аргументов. Многие советские ученые осознавали отдельные части проблемы, однако мало кто из экспертов мог собрать все кусочки.

В книге вводяться две метафоры разных способов работы с прогнозами. Если «ежи» — это охотники, всегда ищущие большую добычу, то «лисы» — это собиратели.

«Лисы», как обнаружил Тэтлок, умеют предсказывать значительно лучше, они больше знают о том, что они не знают и они умеют взвешивать различные типы информации, могут извлечь немалую пользу из сочетания качественных и количественных факторов. Вместо того чтобы задавать вопросы целой группе экспертов, они постоянно задают вопросы сами себе. «Ежи» ж, имеющие в своем распоряжении много информации, начинают выстраивать сюжеты более приглаженные и идеальные, чем реальный мир. В придуманных ими историях имеются союзники и враги, победители и проигравшие.

Вопрос в том как прогнозист обрабатывает ту информацию, что у него имеется, а не в том, чтобы объявлять те или иные типы информации ненужными или неприменимыми так как они не поддерживают придуманный сюжет. Стоит извлекать пользу от изучения проблемы с разных точек: обобщенные прогнозы примерно на 20% точнее, чем индивидуальные. Например, слушать своих близких и корректировать это с учетом своего мнения (а не наоборот, как “еж” навязывать всем свое мнение).

Принцип мудрости толпы работает, когда прогнозы сначала делаются независимо и лишь затем усредняются, а мы теперь так обильно делимся информацией через соц сети, что наша независимость снижается. Исследования предсказаний, основанных на диалоге до общего согласия с чьей-то позицией, продемонстрировали довольно неоднозначные результаты.

Крэмтон и Стивен победили в онлайн турнире продвинутых шахмат, потому что не боялись технологий и не злоупотребляли ими. Чтобы сделать оптимальный следующий ход, они использовали три разные компьютерные программы. Они знали сильные и слабые стороны каждой программы и действовали скорее не как игроки, а как тренеры. На основе трех подсказок и своего опыта они и выбирали какой ход сделать.

При этом важно помнить что из того, что агрегированный прогноз независимых источников будет, в сущности, всегда лучше, чем обычный индивидуальный прогноз, это не значит, что сам прогноз будет хочь сколько-то точным.

Я могу создать и свой прогноз. И чем дальше я оказываюсь от общей точки зрения, тем сильнее должны быть имеющиеся у меня свидетельства того, что я воспринимаю происходящее правильно.

Влияние предсказания на будущее

Рынки являются, по сути, отличной отправной точкой, относительно которой можно взвешивать новую информацию, особенно если вы не уделили достаточно времени изучению проблемы. Автор был бы рад ввести систему, которую называет «футархией» (futarchy), при которой решения политических вопросов принимаются не политиками, а по итогам работы рынков предсказаний. На момент написаня книги было несколько онлайн сайтов рынков предсказаний, но на сегодня они уже закрыты.

Факт создания публичного предсказания может весьма повлиять на поведение людей дав толчок как действовать предсказанным способом, так и предпринять действия чтобы предсказанного не произошло. Есть отрасли, где компании, в сущности, соревнуются друг с другом в том, что смогут предугадать вкусы потребителей. Но они также способны влиять на потребителей определенным образом через массивный маркетинг “предсказанных” ими вкусов.

Чем чаще люди думают и обсуждают конкретный диагноз или болезнь, тем чаще его начинают ставить, и корреляция доходит почти до 100 %.

Обновление прогноза

Как было сказано выше важно понимать что прогнозирование это личный навык и он проявляется в умении перестраивать свой прогноз. Встреча с чем-то заканчивается тем, что мы начинаем пользоваться пересмотренным прогнозом. Иногда прогноз виляет на будущее проведение прогнозируемого.

Прогноз представляет собой вероятностное заявление, рассматривающие возможность конкретного события в течение определенного времени.

Сегодняшний ваш прогноз — это первый прогноз из тех, что еще будут в вашей жизни. В байесовской картине мира предсказание представляет собой критерий, с помощью которого мы оцениваем степень прогресса. Возможно, мы никогда и не будем уверены, что знаем истину на все 100 %, однако создание корректных прогнозов представляет собой отличный способ понять, приближаемся ли мы к ней.

Так мы в принципе думаем. Например, человек, постепенно, основываясь лишь на этой, в чистом виде статистической форме взаимодействия с природой, присваивает своему прогнозу о том, что солнце вновь встанет на следующий день, вероятность, максимально близкую (хотя и никогда не достигающую) к 100 %

Понятие научного консенсуса довольно сложно, однако основная его идея состоит в том, что мнение научного сообщества идет по пути постепенного сближения, двигаясь в сторону истины/реальности в процессе обсуждения идей и появления новых свидетельств.

Сформулировать то, чего вы не знаете, — признак прогресса. Мозг обрабатывает информацию, используя метод аппроксимаций/приближения. Первая аппроксимация — голое утверждение (может выступать обычный здравый смысл). К тому моменту, когда мы доходим до последнего, полного неопределенности, у нас возникает столько уточнений, что количество деталей расширяется до огромных размеров.

Преодолевать прошлый вариант

Чем скорее вы научитесь на своих ошибках, тем легче сможете избегать подобных проблем в будущем. Чем больше вы застрянете на том, чего уже нет в реальности, тем больше будет провалов и проблем.

Задача — создать лучший из возможных на сегодняшний день прогнозов — вне зависимости от того, что вы говорили на прошлой неделе, в прошлом месяце или прошлом. Если у вас есть основания считать, что вчерашний прогноз был неверным, то держаться за него нет никакого смысла. “Когда меняются факты, меняется и мое мнение”.

Утром 9/11, население США присваивало практически нулевое значение вероятности того, что террористы примутся разбивать самолеты о небоскребы на Манхэттене. Однако мы признали очевидную возможность террористической атаки после того, как первый самолет врезался во Всемирный торговый центр.