Аппарат позитронно-эмиссионной томографии и компьютерной томографии
ПЭВ-ВП-исследования селективного внимания
Мультимодальные исследования. ПЭТ отвечает на вопрос «где?». ВП отвечает на вопрос «когда?». Комбинируя результаты, понимаем «что»
Глава 3. Статистика или чутье
О несовершенстве наших методов
Последние три десятилетия ознаменовались невероятным ростом технических возможностей. Представьте себе: полная вычислительная мощность космического корабля «Аполлон» была меньше, чем мощность нынешнего смартфона. Люди старшего поколения восхищаются этим, а более молодое поколение не видит в этом ничего необычного. Но эти понимание и простота приборов кажущиеся. Во-первых, из-за чрезвычайной сложности и приборов, и софта они сделаны максимально, как говорится, user friendly (дружественными). Так, некоторые, на самом деле простейшие, функции представляются интуитивно ясными и логичными; молодежь усвоила эту логику с игрушек. Во-вторых (и это главное), приборы просты, когда вы используете наиболее простые и хорошо запрограммированные их возможности. Эти же приборы пасуют, когда задача становится чуть сложнее (например, до сих пор нет хорошей программы- переводчика).
Казалось бы, для языка, где все по правилам (нет исключений), бери формальную грамматику и словарь – и дело в шляпе. На самом деле это не так. Нужны еще посторонние и немалые знания, не заложенные в программе. Таких примеров множество. Naked conductor runs under the carriage – «голый кондуктор бежит под вагоном» или «неизолированный кабель проходит под тележкой»? И то и другое правильно, но абсолютно различно. Чтобы выбрать правильный вариант, необходимы дополнительные знания, которыми должен обладать человек.
В современной науке это, пожалуй, одна из ключевых проблем. Мы находимся в огромной моральной зависимости от машины. Нам кажется, что она не ошибается и дает правильный результат. Как ни странно, это абсолютно верно. Но мы большей частью не умеем правильно задавать вопрос и правильно трактовать ответ. Надо понимать, что практически все современные компьютеры – это электронно-вычислительные машины, которые не умеют думать, а могут только вычислять по четко заданной программе. Любая программа, в свою очередь, имеет определенные, жестко заданные ограничения на входную информацию и, как правило, очень чувствительна к нарушению этих требований. Например, при использовании параметрической статистики, если входные данные должны иметь нормальное распределение и независимость измерений, а у вас это не выполнено, то результат неверен, хотя и правильно сосчитан. Машина все сделала как надо. Это мы «лопухнулись». Причем в последнее время, как видно из научных статей и выступлений, это происходит все чаще.
Почему? Когда 150 лет назад Анджело Моссо делал пионерские работы по изучению реакции мозгового кровотока на психологические стимулы, он видел значимую реакцию прямо на самописце. Ему не приходилось производить с сигналом какие-либо вычисления или преобразования. Когда Н.П. Бехтерева исследовала обнаруженный ею механизм детекции ошибок, сигнал в каждом последующем испытании практически повторялся. Так было и бывает всегда при изучении важных, основополагающих явлений.
Полет Гагарина принципиально доказал, что человек может находиться в космосе. Для доказательства было достаточно одного примера, а затем множество институтов занимались деталями того, как человек может выжить в космосе. Общие фундаментальные закономерности, в принципе, и должны проявляться достаточно выраженно. Но дальше, когда мы пытаемся разобраться в конкретных, весьма тонких особенностях феномена, каждое новое исследование становится все сложнее и сложнее.
Принципиальный момент возник, когда пришлось перейти к изучению слабо зашумленных и сильно зашумленных сигналов, то есть когда мы перешли к деталям, в которых, как известно, кроется дьявол. Как правило, общая закономерность достаточно хорошо воспроизводима. Но когда вы задаете детальные вопросы, ответы становятся неразборчивыми. Представьте оператора справочной в час пик. У него сотни вопросов и только один из них ваш; он отвечает урывками, проглатывая слова, вы пытаетесь его переспрашивать с переменным успехом.
Вот тут-то и случился «обвал». Мы не можем получить сразу всю информацию о событиях в мозге. При всей зыбкости компьютерных аналогий можно сказать, что мозг работает в мультипрограммном режиме. Он одновременно поддерживает нормальное функционирование внутренней среды, движений, произвольного и непроизвольного внимания и массу других функций, исследование только одной из которых является целью работы физиолога. И вот на этом месте много лет назад (можно сказать, от безысходности) был сделан физиологически неверный шаг, который тем не менее позволил существенно продвинуться в исследовании мозга.
Получилась парадоксальная, но нередкая ситуация, когда, пользуясь в общем-то неверными методами, удалось получить правильные результаты. Кстати, ситуация, характерная не только для физиологии. Высокая физика. Изучение теории поля и элементарных частиц. Р. Йост «Общая теория квантованных полей» (1967 г.): «…мы исходим из уравнений, которые не имеют смысла. Мы применяем к их решениям некоторые определенные предписания и приходим, наконец, к степенному ряду, про который мы не знаем, имеет ли он смысл. Несколько первых членов этого ряда приводят, однако, к наилучшим известным предсказаниям…»
Надо отметить, что именно продуктивная работа в таких условиях является мерилом таланта ученого. Сейчас вывести таблицу Менделеева – тема для диплома, а в то время, когда все было «зашумлено» (и веса элементов, и их свойства), это была эпохальная задача. Сеченов и Бехтерев показали нам пример, как из минимального набора данных можно получить глобальные теории.
Суть общепринятого в нейронауках метода, как уже говорилось, заключается в предположении, что сигнал разделяется на собственно полезный сигнал и шум. Это предположение пришло из радиотехники, где оно в большинстве случаев выполнялось, потому что действительно был сигнал слабенького передатчика и не связанный с ним и не зависящий от него атмосферный шум. В мозге же шум принципиально связан с полезным сигналом. Вместе они отражают мультипрограммную работу одного прибора, одной системы. Поэтому изложенный подход принципиально неверен; все сигналы физиологически значимы. Именно поэтому, чтобы получить с его помощью правильные результаты, требовалось не только нажать правильные кнопки статистического анализатора, но и обладать тонким, предельно четким пониманием метода обработки, интерпретации его результатов и организации эксперимента. К сожалению, сегодня это скорее исключение, чем правило.
Основное противоречие в методах статистической обработки и реальной картины заключается в том, что мозг делает работу с первого предъявления. Он не работает на основе статистического накопления результатов. А мы ищем статистически значимый сигнал, разделяя зарегистрированный сигнал на значимый и незначимый. Говоря физическим языком, мы вводим в мозг аналог демона Максвелла, который отделяет мух от котлет.
Голь на выдумки хитра. Умные исследователи придумали паллиативный выход. Делают набор исследований, в которых явление изучается с разных сторон, и рассматривают весь комплекс результатов. Далее, исходя из принципа, что природа сложна, но не злонамеренна, делаются все более приближенные к реальности оценки.
Надо заметить, что Н.П. Бехтеревой был предложен альтернативный усреднению подход. Она взяла за основу предположение, что каждое событие в мозге имеет физиологический смысл. Каждый нейронный импульс отражает работу мозга по обеспечению какого-либо процесса. Вместе с гипотезой о принципиальной изменчивости мозговых систем это позволяет понять, почему мы видим зашумленный сигнал. И, что очень важно, позволяет выделить группу реально существующих сигналов и доказать их принадлежность к исследуемому процессу. Сотрудники нашего института Ю.Л. Гоголицин и С.В. Пахомов при моем участии разработали метод анализа единичных предъявлений, позволяющий выделять реальные сигналы и оценивать их значимость. В частности, исследуя импульсную активность нейронных популяций, удавалось выделять группы нейронных реакций при выполнении предъявляемых исследователем задач и посторонние реакции тех же нейронов. Точкой отмечается латентность и амплитуда реального пика в нейронной активности или вызванных потенциалах.
При статистически достоверной реакции импульсной активности эта реакция проявляется в достаточно малом количестве проб. Но это реальные импульсы, реальный сигнал, а не его накопленное значение. Видно, что реакция в вызванных потенциалах существенно более единообразная. Но! Количество сигналов существенно меньше количества проб, то есть далеко не в каждой пробе эта область мозга участвовала в исследуемой деятельности. В этой книге я не ставлю задачу разбора результатов применения метода анализа единичных проб. Принципиально важен факт того, что реальные процессы в мозге в единичных пробах далеки от того, что мы обычно изучаем и получаем в результате усреднения.
В этой ситуации наши методы статистического оценивания результатов и вообще почти все используемые математические методы – это лишь методы отбора. Мы договорились обрабатывать результаты именно так, хотя в ряде случаев возможность применения методов недостаточно доказана. Они нужны не для того, чтобы рассчитать значимость события, а чтобы ко всем исследованиям в данной лаборатории и во всех лабораториях, применяющих данные методы оценивания, отбирать результаты для обсуждения одинаковым образом, то есть исключить субъективный фактор.
Еще не так давно старшие по возрасту физиологи широко пользовались выражением «физиологический глаз = чутье», и это считалось доказательным. Не потому, что они были глупыми. Они просто не успели перестроиться с того времени, когда получались простые и ясные результаты. Но так обстоит дело, когда статистика и другие методы обработки применяются правильно. К сожалению, большое количество исследователей, особенно молодых, часто допускают серьезные ошибки не только методического, но и методологического уровня. Почему молодых? В общем, понятно. Старшее поколение эти методы создавало. Сейчас трудно вспомнить, какие дискуссии буквально гремели в среде физиологов. Поэтому большинство ученых старшего поколения уже прошли период ошибок и разочарований. Они хорошо помнят всю «подлость» статистики.
Молодежь в большинстве, к сожалению, слишком привыкла полагаться на всемогущий ПК. Я обозначу основные их ошибки.
1. Неправильное использование формул во всех дополнительных исследованиях, когда не выполняются предположения, лежащие в их основе.
2. Неучет автокорреляций и пространственных корреляций вплоть до применения заведомо неверных для данного исследования методов. Поэтому и в первом, и в проверочных исследованиях делается одна и та же ошибка; ВСЕ результаты оказываются неверными. Наиболее часто это происходит из-за незнания свойств сигнала и шума.
Даже в анализе электрофизиологической информации очень часто встречаются грубые ошибки, а так как рецензенты тоже не всегда звезды с неба хватают, то статьи с ошибками попадают в журналы. И далее на них ссылаются в качестве доказательства своей правоты другие исследователи. Получается снежный ком. Причем многие следующие статьи подтверждают эти неверные результаты, поскольку совершают те же ошибки.
Экспертами были проанализированы статьи, в аннотациях к которым упоминались поведение, когнитивные функции или визуализация мозга. Установлено, что количество статей с правильными и неправильными результатами практически одинаково (см. таблицу).
Таблица. Экспертная оценка работ в области психофизиологии, опубликованных в ведущих журналах