Преодоление неопределенности

Мозг это умеет, а мы пока нет

Mир сильно усложнился. Теперь это колоссальная гиперсеть сложных цивилизационных систем. Их динамика нелинейна и к тому же периодически переходит в стадию хаоса. Это неизбежно порождает «джокеры» — резкие и непрогнозируемые смены состояний, — в результате чего возникают ситуации «радикальной неопределенности», когда «факты неточны, ценности спорны, ставки высоки, а решения срочны». В таких ситуациях обоснованного верного решения нет, но выбор, все равно, делать надо. А если проблема еще и глобальной социальной значимости, то всё человечество оказывается в зоне экзистенциальных рисков.


Нечто подобное происходит и сейчас — в ходе постнормальной пандемии, ввергнувшей в хаос не только системы здравоохранения (как при нормальных пандемиях, пусть и глобальных), но и многие другие важнейшие системы многих стран: экономику, медиасферу, социальную и политическую системы.

Всё это — скачок сложности, джокеры, «радикальная неопределенность» и постнормальная пандемия, — было в деталях рассмотрено в моем недавнем посте « Большое откровение». Там же объяснено, почему классическая парадигма рациональности современной науки не предлагает эффективных механизмов для выработки оптимальных решений в ситуациях «радикальной неопределенности». Также было вкратце рассказано о трёх новых научных концепциях, выходящих за рамки классической парадигмы рациональности и позволяющих находить локальные оптимумы решений в ситуациях «радикальной неопределенности».

Об одной из этих концепций — «Динамической причинно-следственной модели COVID-19» (Dynamic Causal Model of COVID-19), разработанной исследовательской группой Карла Фристона, — я собираюсь здесь рассказать подробней.

Но прежде давайте рассмотрим контекст появления этой абсолютно неординарной научной концепции, потенциально имеющей прям-таки эпохальное значение — научить человечество справляться с неопределенностью так, как за миллионы лет это научился делать мозг.

Единая теория мозга



Карл Фристон. Источник: Karl Friston takes on the pandemic with the brain’s arsenal | Dropbox Blog
Kарл Фристон — гений. По фундаментальности и парадоксальности мышления он похож на Эйнштейна и Шредингера. А по междисциплинарному охвату (фундаментальная теория и прикладной научный инструментарий, психиатрия и наука о мозге, биология и физика, математика и психоаналитика …) здорово напоминает Леонардо да Винчи. Подтвердится ли такая моя оценка, — история покажет. А пока будем опираться лишь на неоспоримые факты.

Фристон — самый цитируемый нейробиолог мира и ключевая фигура в разработке методов визуализации, совершивших революцию в исследованиях мозга. Он изобретатель основного инструментария современной нейровизуализации — статистического параметрического картирования, морфометрии и динамического причинно-следственного моделирования. Этим он навечно заслужил место в пантеоне отцов нейробиологии, хотя сам всегда считал нейровизуализацию повседневной рутиной своей работы (подобно тому, как Эйнштейн относился к службе в патентном бюро). Более двадцати лет всё свободное время Фристон размышлял над теоретической нейробиологией. И не просто размышлял, а математически описывал принципы новой концепции, претендующей теперь, чтобы стать «единой теорией мозга».

Создание такой теории — сокровенная научная мечта. Ведь у исследователей мозга все еще нет способа объединить части этой обширной области знаний в единую и всеобъемлющую теорию работы мозга. Проходят десятилетия, а у нейробиологов так и не появилось эквивалента уравнению Шредингера в квантовой механике или эйнштейновскому E = mс² в теории относительности — всеобъемлющего и лаконичного математического закона, описывающего ключевой принцип работы мозга. И даже вразумительной дорожной карты пути к такой теории (типа теории струн в физике) построить никому не удавалось.

А вот Фристону, возможно, удалось. Его принцип свободной энергии — математическая формализация одной из версий теории прогнозирующего мозга. Эта теория — когда-то революционная, а теперь практически общепринятая, утверждает, что главная задача мозга — постоянная выработка прогнозов, их сверка с поступающей от органов чувств информации, корректировка прогнозов на основе проведенной сверки, новая сверка и снова корректировка, — и так по кругу.




Рис. 1. Как работает прогнозирующий мозг. Источник:

View: https://medium.com/@richardepworth/what-do-we-really-know-about-our-human-interface-2fa808c130a0#.399q6p7x2

Фристон математически описал этот непрерывный процесс выработки и корректировки прогнозов на основе всего лишь одного фундаментального физического принципа и одного весьма универсального математического понятия.

Фундаментальный физический принцип в основе теории Фристона
Tаким принципом стал Принцип свободной энергии (Free-Energy Principle) — интерпретация Принципа наименьшего действия Гамильтона (одно из ключевых положений современной физики, распространяющееся на все фундаментальные взаимодействия) для описания работы мозга.

В соответствии с Принципом свободной энергии, работа мозга организована таким образом, чтобы его энтропия (свободная энергия) была минимальной. В трактовке Фристона, минимизация свободной энергии мозга эквивалентна минимизации ошибок его прогнозов. Фристон утверждает, что свободная энергия в мозге характеризуется состоянием его нейронных ансамблей, и является результатом неспособности мозга сделать правильный прогноз. Решая задачу оптимизации предсказаний, мозг делает все возможное, чтобы избежать свободной энергии — ошибок предсказаний. Эти ошибки, являющиеся для прогнозирующего мозга неожиданностями (сюрпризами) сенсорных наблюдений, есть ни что иное, как сознание. Когда окружающая действительность работает не так, как ожидалось, в мозге образуется сознание — состояние, которое, как и свободную энергию, мозг пытается ограничить (чем меньше неожиданность, тем меньше энтропия). Описанный процесс применения принципа свободной энергии к действию разумного агента (обладателя мозга) назван Активным выводом (Active Inference). На нейронном уровне этот процесс является расширением Байесовского вывода (Bayesian Inference) — вероятностного вывода, основанного на теореме Байеса в котором свидетельство и/или наблюдение используются, чтобы обновить или вновь вывести вероятность того, что гипотеза может быть верной.

Всё это делается мозгом с единственной целью –

всемерное избегание неожиданностей биологическим агентом для того, чтобы его состояния находились в физиологических границах гомеостазиса, обеспечивающих продолжение его жизни и воспроизводства.



Рис. 2. Схематическое изображение процесса активного вывода. Источник: http://yowconference.com.au/slides/yow2017/Pitt-TheFutureOfAI.pdf
Универсальное математическое понятие в основе теории Фристона
Tаким понятием является марковское одеяло (Markov Blanket) — понятие, применяемое в различных областях знаний (Байесовской статистике и машинном обучении, теории управления и т.д.).

В теоретической биологии марковское одеяло является фундаментальным основанием описания самоорганизации и адаптивного поведения в рамках действия принципа свободной энергии. С математической точки зрения, марковское одеяло определяет статистическую границу, которая делает один набор переменных условно независимым от другого. Важно отметить, что если мы знаем все о марковском одеяле переменной, знание о чем-либо вне одеяла становится неинформативным по отношению к тому, что находится внутри одеяла, и наоборот. Например, если мы знаем состояние поверхности объекта, внешний мир не предоставляет полезной информации о его внутренности. Если бы мы знали все о настоящем, прошлое ничего не добавило бы к нашим предсказаниям о будущем.




Рис. 3.Марковское одеяло и активный вывод. Марковское одеяло - это набор состояний, который изолирует внутренние состояния системы s от внешних или скрытых состояний s в статистическом смысле (для нотационной согласованности внешние состояния выделены курсивом, а внутренние состояния выделены жирным шрифтом). В терминах теории графов Марковское одеяло определяется как набор узлов, который изолирует внутренние узлы от влияния внешних, что означает, что внешние состояния могут влиять на внутренние состояния только косвенно, через их влияние на общие состояния . Марковское одеяло состоит из сенсорных состояний, которые обозначаются на рисунке через О , и активных состояний, обозначаемых через А. Источник: SAGE Journals: Your gateway to world-class journal research
Применительно к живому существу, можно сказать что марковское одеяло — это математическое определение границы его состояний, обеспечивающих его выживание. Но это вовсе не обязательно некая пространственная мембрана или оболочка. Это всего лишь набор состояний, в котором внешние состояния отделены от внутренних (например, сенсорные сигналы и нейромускулярные действия). Для живого организма динамика смены его внутренних состояний должна быть такова, чтобы оптимизировать две противоположные цели: (а) отражение внешних состояний мира за пределами марковского одеяла; (б) сведение к минимуму собственной свободной энергии (энтропии). Цель (а) необходима живому организму, чтоб знать, что происходит в окружающем его мире, дабы предпринимать правильные действия, позволяющие выжить. Цель (б) обеспечивает предотвращение потери организмом внутренней структурной и динамической целостности из-за второго закона термодинамики.

Как мозг справляется с неопределенностью



Рис. 4. Принцип свободной энергии и его связь с другими концепциями. Источник: The free-energy principle: a unified brain theory? | Nature Reviews Neuroscience
Tри ключевые следствия «Единой теории мозга» Фристона, предельно упрощенное резюме которой приведено в предыдущем разделе, можно сформулировать так.

✔️ Принцип свободной энергии есть не что иное, как фундаментальный принцип функционирования любых живых агентов.✔️ Активный вывод — это способ реализации живым агентом Принципа свободной энергии, в результате чего у живого агента возникает поведение, приводящее к формированию и развитию интеллекта.✔️ На основе активного вывода у живого агента формируются и изменяются иерархические механизмы обучения и понимания мира (извлечения смыслов и причинно-следственных связей) мозгом.
Эти три следствия, согласно Фристону, и организуют работу мозга любого живого агента. Принципиально важным в реализации всей этой машинерии мозгом является вот что.

В ходе активного вывода, мозг решает оптимизационные задачи нахождения простейших минимально достаточных по точности моделей. Этот процесс проходит с «тактовой частотой» около 100 мс. Причем мозг в ходе этого процесса постоянно испытывает массу неопределенностей из-за нехватки данных. А поскольку в условиях неопределенности, не получить информацию вовремя равносильно получению неверной информации, мозгу нужно как-то выкручиваться, если к следующему «такту» у него все еще нет нужной информации. Мозгу необходимо предоставлять точные решения при наличии любых данных на входе, одновременно с этим минимизируя сложность моделей, дабы успеть обобщить следующую волну новой информации на входе.

Для решения этой задачи наипростейшего получения максимально возможного по точности прогноза, Фристоном был разработан метод Динамического причинного моделирования (Dynamic causal modelling — DCM). Этот метод моделирования взаимосвязанных динамических систем основан на применении Байесовских процедур, в результате которых наблюдаемые данные генерируются ненаблюдаемыми (латентными или скрытыми) причинами. Такую модель Фристон использовал для описания реакций нейронных ансамблей в зрительной коре головного мозга в ответ на различные возмущения.

Подобным же образом Фристон предлагает теперь использовать, чтобы понять неопределенности пандемии COVID-19.

• 
  
  
  • Как и мозг, мы должны строить модели, которые отражают неопределенности, с которыми мы сталкиваемся.
  • Подобно моделям мозга, модели пандемии COVID-19 должны быть достаточно сложными, чтобы ограничить основные неопределенности, возникающие в данный момент.
  • В то же время, подобно мозгу, мы должны достигать большей точности не добавлением большей сложности, а увязыванием простых грубых моделей в сетевую структуру ансамблей и иерархий, накладывающих ограничения друг на друга.

Как такое моделирование неопределенностей пандемии COVID-19 выглядит на практике, и насколько оно способно избавить нас от большинства неопределенностей, будет рассмотрено в следующих разделах.

Динамическое причинное моделирование пандемии COVID-19



Рис. 5. Динамическое причинное моделирование последствий применения различных политик выявления и отслеживания новых инфицированных. Источник: https://arxiv.org/ftp/arxiv/papers/2004/2004.13017.pdf
Eсть много данных, характеризующих динамику глобальной пандемии. Задача состоит в том, чтобы узнать, какие из этих данных являются наиболее прогностическими. В этом смысле, пандемия является особенно неопределенным явлением. По мере ее перемещения с востока на запад, она оказывала совершенно иное воздействие на соседние страны и регионы. Многие инфицированные вирусом оказываются полностью бессимптомными, в то время как другие быстро преодолевают ужасные и часто фатальные симптомы. Основные показатели пандемии, типа коэффициентов заразности и летальности, для разных стран и регионов также колеблются в широких пределах.

Главная цель предложенной Фристоном динамической причинно-следственной модели распространения коронавируса среди населения — количественная оценка неопределенностей, сопутствующих прогнозированию динамики пандемии.
В отличие от моделирования мозга, моделирование пандемии COVID-19 применяется к эпидемиологическим популяциям. Вместо нейронов и миллисекунд в модели COVID-19 люди и дни.

Динамическая причинная модель Фристона — DCM (слайды и 2х часовое видео с описанием этой модели здесь) представляет собой расширение классической эпидемиологической модели SEIR. Буквы названия последней обозначают 4 состояния, в которых может находиться человек: Susceptible (уязвимый), Exposed (с вирусом в стадии инкубационного периода), Infectious (заразный), Recovered (переболевший).

В DCM четыре состояния модели SEIR раскладываются по четырем факторам: место, инфекция, симптомы и тестирование. Каждый из факторов может принимать четыре состояния. Так, например, фактор «инфекция» может быть в одном из четырех состояний модели SEIR. В итоге 256-размерная модель (4⁴) позволяет генерировать данные для различных комбинаций состояний. Например, инфицированный и заразный человек вовсе не обязательно может проявлять симптомы. И наоборот, — тяжело больной человек может не иметь заразной инфекции. Подобным же образом включение фактора тестирование позволяет людям быть заразными, не будучи при этом в числе лиц с положительным тестом на SARS-CoV-2.

Важнейшим моментом модели является следующая неопределенность:

какие наиболее актуальные параметры о состоянии населения и развитии пандемии в каждый конкретный день и в каждом конкретном месте нам необходимо знать?
Моделирование, выполненное командой Фристона, отвечает на данный вопрос.

Для снижения неопределенности мы должны знать следующее четыре фактора, каждый из которых пребывает в одном из 4х состояний.

1. 
   
   
   • Место — где находится каждый человек (дома, на работе, отделении интенсивной терапии, в морге).
   • Инфекция — инфекционный статус человека по модели SEIR (уязвимый, инкубационный, инфицированный, переболевший).
   • Симпоматику человека (есть симптомы, нет, есть тяжелые симптомы ОРДС — острый респираторный дистресс-синдром, умер)
   • Тестовый статус (не тестирован, ожидает, положительный результат, отрицательный)

Представив эти параметры в форме диаграммы, можно изобразить упрощенную генеративную модель эпидемии с учетом взаимосвязей между вышеназванными факторами и их состояниями.




Рис. 6. Генеративная SEIR модель, показывающая взаимосвязи между факторами, определяющими значение конкретных данные о положительных тестах и зарегистрированных смертях. Источник: https://arxiv.org/ftp/arxiv/papers/2004/2004.04463.pdf
Из этой диаграммы, например, вытекает следующее.

• 
  
  
  • Человек может располагаться дома или ходить на работу, но если он переместился в отделение интенсивной терапии (CCU), его следующее возможное перемещение — либо вернуться домой, либо в морг.
  • Точно так же, если у человека развиваются тяжелые симптомы ОРДС, его способность попасть в CCU ограничивается наличием там мест. А уровень смертности людей с ОРДС, оставшихся дома, трагически выше, чем у тех, кто был перемещен в CCU.

В динамическую причинную модель включается множество причинно-следственных связей и взаимозависимостей, подобных приведенным выше. Их совокупность позволяет добиться достаточно детального представления ситуации, повышая статистическую точность модели. Пример такой LIST модели приведен ниже. На ней представлена лишь часть связей между состояниями для факторов модели SEIR (Location, Infection, Symptom, Testing — отсюда название LIST).




Рис. 7. Схема динамической причинной модели (LIST) эпидемии, используемой для объяснения собранных данных о её ходе в одном регионе (состояние «резистентный к вирусу» опущено в целях упрощения примера). Источник: https://arxiv.org/ftp/arxiv/papers/2004/2004.13017.pdf
Маленькие стрелки показывают переходы между состояниями. Цветные стрелки показывают переходы между состояниями, согласно вероятностям, рассчитываемым по параметрам модели.
Например. Вероятность того, что человек, имеющий в факторе «Симптоматика» состояние «нет симптомов» (Sa), перейдет в состояние «есть симптомы» (Ss), зависит от того, инфицирован он (Ii или Ic) или нет (Is или Im). А вероятность переместиться в том же факторе из состояния «ОРДС» (Sr) в состояние «умер» (Sd) зависит от состояния фактора «Место» — находится ли человек в отделении интенсивной терапии (Lc) или дома (Lh).

Данные для модельной оценки текущих эпидемиологических показателей (в приведенном примере это число положительных тестов и зарегистрированных смертей) подгружаются каждый день. При этом все модельные расчеты зависят от конкретных параметров, уникальных для заданной популяции в конкретном месте (например, население города Нью-Йорк). Параметры модели включают в себя такие показатели, как размер затронутого населения, количество инфицированных людей и уровень инфицирования. Все эти параметры обновляются также в ежедневной динамике со дня зафиксированного начала эпидемии.

Принципиальное отличие Динамической причинной модели COVID-19 от сотен других в том, что она не просто подгоняет собранные данные под аппроксимирующие их кривые, а помогает понять причины, лежащие в основе того, как эти данные были созданы и почему они получились именно такими.
Все приведенные объяснения и примеры относятся к моделям одного региона и не учитывают взаимное влияние регионов на распространение людей и коронавируса, а также взаимосвязи различных политик сдерживания и историй протекания локальных эпидемий. В мультирегиональном варианте модели все это учитывается.




Рис. 8. Схема мультирегиональной динамической причинной модели (LIST) пандемии, используемой для объяснения собранных данных о её ходе в нескольких взаимосвязанных и взаимовлияющих регионах. Источник: https://arxiv.org/ftp/arxiv/papers/2004/2004.13017.pdf
Что показало причинно-следственное моделирование пандемии



Рис. 9. Динамическое причинное моделирование пандемии COVID-19 в 8 штатах США. Показаны различия между штатами с точки зрения параметров генеративной (эпидемической) модели, начиная от размера популяции и заканчивая вероятностью тестирования. Источник: https://arxiv.org/ftp/arxiv/papers/2004/2004.13017.pdf
Hа момент написания этого поста опубликовано 4 отчета команды Фристона, описывающих построение различных моделей локальных эпидемий и мультирегиональной пандемии COVID-19 и анализирующих результаты применения этих моделей для расчетов на реальных данных идущей пандемии ([1], [2], [3], [4]).

Основные результаты проведенной работы можно резюмировать так.

1. 
   
   
   • Предложенная динамическая причинная четырехфакторная модель (DCM) показала хорошие предсказательные результаты, превосходящие по точности моделирования, как модели региональных эпидемий (на реальных данных Британии и Ирландии), так и модели мультирегиональных пандемий (на реальных данных восьми штатов США с наибольшим числом зафиксированных кейсов инфицирования: Нью-Йорк, Нью-Джерси, Мичиган, Массачусетс, Иллинойс, Луизиана, Пенсильвания и Калифорния). Высокая точность прогнозов была продемонстрирована (на модели Markov Decision Process — MDP) предсказанием динамики и сроков достижения пиков пандемии в семи странах Европы: Италия, Испания, Германия, Франция, Швейцария, Великобритания, Ирландия). В среднем, точность DCM прогнозов составила +-1,5 дня.
   • Моделирование показало, что после окончания 1й волны пандемии процент инфицированного коронавирусом населения составит: 19,6% в Великобритании, 16,7% в Ирландии, 11,4% в Италии, 12,8% в Испании, 18,8% во Франции, 4,7% в Германии, 12,9% в Швейцарии. Не смотря на эти относительно невысокие цифры, DCM моделирование показало высокие шансы обретения стадного иммунитета после 1й волны. Но сколько он продержится, пока неизвестно. Поэтому приходится исходить из предположения, что при отсутствии сильного эффекта сезонности, появления средств лечения и совершенной системы выявления и отслеживания, 2й волны пандемии не избежать. Это необходимо принимать в расчет при планировании стратегии выхода из 1 й волны.
   • DCM моделирование подтвердило, что нет единой модели пандемии, поскольку нет никакой единой пандемии, как единого, монолитного события. Пандемия — это связанная серия локальных эпидемий, каждая из которых имеет свою собственную историю. Эти уникальные истории формируются в результате применения различных мер и политик сдерживания в конкретное время при специфических демографических, географических, климатических культурных и транспортных условиях. В результате этого:
      — серии данных, сгенерированные уникальными историями локальных эпидемий практически несопоставимы;
      — сопоставление же усредненных эпидемиологических показателей (числа и темпов роста числа инфицированных, числа смертей и т.д), рассчитываемых на основе данных о протекании локальных эпидемий, — бессмысленное и непродуктивное занятие, которым, тем не менее, сейчас непрерывно занимается весь мир.
     Локальные данные имеют смысл лишь для прогнозирования и проектирования будущих траекторий локальных эпидемий с учетом локальных политик и локальных условий. Но эти данные не имею никакой ценности для прогнозирования числа погибших в другом регионе с другой демографией, другими условиями и другой политикой сдерживания. Только обратившись к базовым вариациям различных серий данных, и принимая в расчет все параметры, отражающие местные условия — возможна экстраполяция данных из Италии, например, в Великобританию. Что, собственно, и сделала команда Фристона.
   • Моделирование подтвердило эффективность социального дистанцирования в качестве меры, сдерживающей распространение коронавируса. Ослабление социального дистанцирования в ходе выхода из 1й волны, делает отскок инфекций в течение нескольких недель маловероятным. Появление более поздней 2й волны зависит почти исключительно от скорости, с которой мы теряем иммунитет, унаследованный от первой волны. При этом применение эффективной политики выявления и отслеживания способно отодвинуть 2ю волну на временном горизонте до 18 месяцев.
   • Сравнение хода пандемии в Великобритании и Германии показало, что сравнительно низкий уровень смертности в последней (103 на миллион против 567), скорее всего, связан не с качеством работы системы здравоохранения и тестирования, а с тем фактом, что средний немец имеет меньше шансов заразиться и умереть, чем средний британец. Наиболее вероятным объяснением этого отличия представляется то, что в Германии больше иммунологической «темной материи» — людей, которые невосприимчивы к инфекции (более изолированы, имеют какое-то естественное сопротивление, генетическая восприимчивость, эволюция самого вируса и т.д.) Это похоже на темную материю во вселенной: она не видна, но, тем не менее, должна существовать, чтобы мир был таков, какой он есть.
   • Пагубные последствия пандемии коронавируса — это не только то, что произойдет, но и последствия неопределенности относительно того, что произойдет. Поэтому снижение неопределенности является одной из ключевых мотиваций моделирования пандемии, наряду с возможностями оценки фактических данных для различных гипотез о том, что произойдет в будущем.

Наиболее вероятный сценарий будущего



Изображение: Getty
B заключение приведем описание характерных черт наиболее вероятного сценария, аккумулирующего в себе максимальное число причинно-следственных связей, влияющих на формирование того, каким станет мир после пандемии. Ключевым фактором выбора сценария будет скорость, с которой теряется иммунитет к коронавирусу. Если окажется, что иммунитет будет сохраняться в течение многих лет, то наиболее вероятен сценарий будут характеризоваться следующим.

✔️ Всеобъемлющее социальное дистанцирование и локдауны продлятся в среднем около 7,5 недель в каждом из пострадавших регионах. Это предполагает ослабление блокировок в большинстве стран в конце мая — начале июня (все 4 работы команды Фристона по COVID-19 были опубликованы в апреле).

✔️ Однако ослабление мер не вернет межличностные контакты к допандемическим уровням. Иначе говоря, возникнет непрекращающееся давление с целью уменьшения межличностных контактов. Социальное дистанцирование станет «образом жизни с COVID-19» и даже изменит отношение людей к просоциальному поведению, как это было по отношению к переработке отходов и курению.

✔️ Дорога к равновесию будет относительно ровной с небольшим ухабом (вторая волна) примерно через семь месяцев после первоначальной вспышки (то есть в ноябре). Для этого не потребуются локдауны, но при этом будет заметно увеличено число случаев заболевания и число пациентов, находящихся в критическом состоянии. Эта вторая волна может длиться около пяти недель и может быть осложнена приходом сезонного гриппа.

✔️ Эндемическое равновесие будет достигнуто в начале следующего года, когда COVID-19 превратится просто в «еще один способ умереть». На COVID-19 будет приходиться небольшая доля смертей — с коэффициентами смертности, примерно втрое меньше, чем у сезонного гриппа.

Итого: конца света не случится, а коронавирус — это всего лишь Another Way To Die.
малоизвестное интересное | Yandex Zen