Сижу после после длительного и спорного общения с зарубежными коллегами, прошел совет экспертов по цифровой психиатрии. Мы говорили о алгоритмах, нейросетях, предиктивных моделях. И вновь, как давно уже заведённая пластинка, в дискуссии всплыло магическое заклинание: «объяснимый искусственный интеллект». Все как будто успокаиваются, произнеся эти слова. Мол, если алгоритм можно объяснить, то всё в порядке, этично, можно пускать в больницы. А вот давайте и подумаем, можем ли мы довериться ИИ? И мне интересно ваше мнение, обещаю, что самое интересное транслирую на следующем совете.
Итак, главное – кто эти алгоритмы создаёт, а кто будет с ними работать?
На этот вопрос мы и пытались ответить, совместно с немецкими и швейцарскими экспертами, теми самыми людьми на передовой: врачами-исследователями, нейробиологами, программистами, которые пытаются прикрутить машинное обучение к психиатрии. И да, присутствовали не теоретики из тихих кабинетов, а, в основном, практики, у которых руки в данных по локоть. И знаете что? Их голоса звучат тревожным диссонансом на фоне победных реляций и глянцевых пресс-релизов. Причем это совсем не критика прогресса от замшелого ареопага. Это трезвый, обоснованный передовой взгляд. И его стоит услышать. Чем и делюсь с вами, Нашими промежуточными выводами.
Миф первый: «Главное – объяснимость. Объяснил – и этика налажена».
Всё нынешнее этическое нормотворчество вокруг ИИ, включая авторитетные руководства ЕС, крутится вокруг священной пятерицы принципов: автономия, благодеяние, непричинение вреда, справедливость и… объяснимость. Последнее стало каким-то фетишем. Мол, если мы заглянем в «чёрный ящик» нейросети и поймем, почему она выдала тот или иной диагноз, мы снимем все этические претензии.
Но эксперты, работающие в поле, смотрят на это скептично. Более того, они видят здесь опасную ловушку. Один из наших участников исследования высказался жёстко и метко: «Объяснимость используют как этический фиговый листок». Я перевел давольно таки примерно, суть в основном.
Представьте. Исследовательская группа собрала нерепрезентативные, смещённые данные (скажем, только на пациентах из благополучных районов Берлина). Обучила на них модель. Модель работает, но её предсказания будут систематически ошибаться для мигрантов, людей из низких социальных слоёв. Что делает команда? Вместо того чтобы тратить годы и миллионы на сбор новых, честных данных по всему миру (а «это сложно, дорого и запутанно, и поэтому никто этого не делает», – как сказал один эксперт из ИИ), они тратят силы на создание красивой визуализации «объяснимого ИИ». Приходит врач, видит: «Ага, алгоритм поставил диагноз «депрессия», потому что в речи пациента были маркеры X, Y, Z. Как интересно и наглядно!». Он чувствует ложное понимание и доверие. А то, что сама основа этого вывода – кривая, предвзятая – остаётся за кадром. Фиговый листок прикрыл методологическую наготу.
Или другой аспект. «Объяснимость – это инструмент для разработчиков, чтобы понять, работает ли их модель. Мы не должны давать его пользователю, чтобы он сам разбирался, соответствуют ли веса нашим представлениям», – замечает эксперт. Что толку пациенту или даже врачу-психиатру от графиков важности признаков, если он не понимает математики стохастического градиентного спуска? Это создаёт иллюзию контроля там, где его нет. Настоящая же «объяснимость» для клинициста должна звучать иначе: «На какой популяции ты это тестировал? Каковы были критерии включения? Какова точность на независимой выборке из другой страны?» Но ответы на эти вопросы часто не такие красивые и не укладываются в картинку для слайда. Вот у меня утром была консультация человека из Казахстана, а потом к обеду, из Германии, так там совсем разные подходы. И это не только по препаратам, но и менталитет, отношение к проблеме, стигмы, в конце концов.
Миф второй: «ИИ в психиатрии – это что-то принципиально новое и пугающее своей таинственностью».
А вот здесь эксперты включают иронию и предлагают нам посмотреть в зеркало. «Я из психиатрии. Мы понятия не имеем, как работают наши лекарства. Так в чём разница? Оба являются "чёрными ящиками", мы доверяем им». И я с ними согласился, да, мы лишь предполагаем, как лекарства "работают". Так чем мы, психиатры лучше ИИ?
Это гениальная и отрезвляющая мысль. Мы десятилетиями назначаем СИОЗС, нейролептики, нормотимики. Мы знаем, на какие рецепторы они действуют. Но как именно это химическое взаимодействие приводит к тому, что у человека проходят панические атаки или возвращается способность чувствовать радость? Глубинный механизм – тот же «чёрный ящик». Мы доверяем не потому, что полностью понимаем, а потому, что видим эмпирический результат в тысячах рандомизированных исследований. Мы доверяем системе регуляции (тому самому FDA), которая эти исследования проверила.
«В конце концов, это как с фармакологией, – говорит другой эксперт - клинический фармаколог ведущей клиники из Швейцарии. – У тебя есть приблизительное представление, и в итоге ты полагаешься на свой клинический опыт: если ко мне приходит с симптомом X, я назначаю препарат Y, и у меня есть опыт, что он помогает».
Так почему же к алгоритму мы предъявляем завышенные, почти мистические требования полной прозрачности? Может, дело не в природе инструмента, а в нашей к нему непривычке и страхе? Этакая стигма ИИ?
Более того, в некоторых аспектах алгоритм может быть менее «чёрным», чем наша собственная клиническая интуиция. Один из участников исследования провёл параллель: «Когда я принимаю решение, я и сам – нейронная сеть. Я могу объяснить вам 50% своих логических решений... но многое происходит бессознательно, я принимаю решения, основанные на опыте, даже если он мне не доступен или я сам его не осознаю». Наша собственная нейросеть (мозг) – главный «чёрный ящик» в кабинете. Алгоритм же, как минимум, можно проаудить, проверить на предвзятость, переобучить. Попробуйте сделать это с уставшим врачом в конце 12-часовой смены. По моему я писал о том самом Praecox Gefuhl. Если нет пишите, расскажу на досуге.
Главная этическая мина: не предвзятость алгоритма, а предвзятость системы.
Все эксперты сошлись в одном: главный этический вызов – это не сам ИИ, а данные, на которых он учится, и контекст, в котором он применяется. Алгоритм лишь усугубляет и формализует те системные перекосы, которые уже существуют в медицине.
«Конечно, избежать такой непреднамеренной предвзятости – это методологическая и этическая проблема. Я думаю, это может причинить реальный вред. Разумеется, в нынешней медицинской системе уже существует высокая степень предвзятости... Но из-за аспекта обучения алгоритмов ИИ – это реальная проблема, которой нельзя пренебрегать. Её необходимо решать». Говорит ректор медицинского университета Германии, ведущий профессор психиатр.
Алгоритм, обученный на данных из клиники для обеспеченных пациентов, будет хуже работать с бездомными. Модель, выявленная на мужской популяции, может неверно оценивать симптомы у женщин. Это не недостаток ИИ – это диагноз нашей собственной системе здравоохранения, которая исторически обслуживала не всё общество равномерно. Да, я открыто об этом говорю и пишу! ИИ просто выносит этот скелет из шкафа. И хорошо! Потому что теперь эту проблему нельзя игнорировать. Она становится измеримой. Но решать её нужно не на уровне «починим алгоритм», а на уровне сбора данных, финансирования исследований среди уязвимых групп, пересмотра диагностических критериев.
«Внешняя валидация» или научная показуха?
Ещё один острый сюжет, который всплыл в беседе, – это качество самих исследований. В условиях «хайпа» вокруг ИИ публиковаться в этой теме стало очень выгодно. «Легко опубликовать статью, используя такой метод, потому что это модно, звучит изысканно... Все пытаются урвать свой кусок пирога. Но у меня ощущение, что это старое вино, причем не лучшее в новых бутылках», - мнение коллеги из Австрии.
Главный камень преткновения – так называемая «независимая внешняя валидация». По правилам хорошего тона, модель нужно проверить на новых данных, которые не участвовали в обучении. Но как это делается на практике? Часто «независимый» набор данных – это просто случайно отложенная часть тех же самых данных, собранных той же командой. «Люди, которые делали статистику, конечно, уже видели этот внешний набор данных, когда разрабатывали модель... Не посмотрели ли они чуть заранее, как она работает, и если не работала – чуть не улучшили ли модель? И тогда это уже не совсем независимая валидация», самый крутой биостатистика Европы, я половину его сказанного не понял..
Результат? Красивые статьи с высокими показателями достоверности, которые разваливаются при первой же попытке применить модель в реальной клинике в другом городе, не говоря уже о другой стране. Алгоритмы оказываются «заточенными» под конкретный контекст. «Задача машины – минимизировать свою целевую функцию. Вот и всё. И если мы хотим использовать её в клинической практике, нам нужны машины, обученные в правильном контексте».
Самоисполняющееся пророчество: самый опасный сценарий.
Для психиатрии эксперты выделили особую, хрупкую этическую точку. Прогноз, сделанный алгоритмом, может стать самоисполняющимся пророчеством. «Как правило, большинство пациентов, а также многие врачи рискуют интерпретировать прогнозы слишком поверхностно... Это серьёзно ограничивает возможности развития заболевания».
Представьте: алгоритм на основе анализа речи и данных МРТ оценивает риск хронификации депрессии у молодого человека как высокий. Врач, видя эту цифру (например, 87%), неосознанно начинает относиться к случаю как к безнадёжному, вкладывая меньше усилий, предлагает менее активную терапию. Пациент, узнав о «плохом прогнозе», теряет надежду, что снижает его приверженность лечению и шансы на ремиссию. И вот, через год, депрессия действительно стала невыносимой. Алгоритм оказался «прав». Но был ли он прав изначально, или он создал ту самую реальность, которую предсказал?
Это классический случай теоремы Томаса: «Если люди определяют ситуации как реальные, они реальны по своим последствиям». В психиатрии, где вера в выздоровление – уже половина лечения, такой риск колоссален. Нужно не просто выдавать прогноз, а создавать инструменты, которые, как сказал один эксперт, «расширяют возможности для действий, а не сужают их».
Кто главный в кабинете: врач, пациент или алгоритм?
Все опрошенные сошлись во мнении: ИИ – это помощник, а не замена. «Лекарства будет назначать не алгоритм, а сам врач». Но отношения троицы «врач-пациент-алгоритм» – это новый этический пасьянс.
С одной стороны, есть риск смещения иерархии. «Крайне важно, чтобы пациент не оказался в положении бессилия... Я вижу риск в этих масштабных программах... что дисбаланс власти будет уже не между психиатром и пациентом, а между алгоритмом и пациентом», мой соавтор из России (завлаб, доктор наук), теперь уже американец, но живет в Германии, - вот жизнь закрутила.
С другой стороны, есть риск слепого доверия врача к «умной машине» – явление, известное как автоматизация. И есть обратный риск – игнорирования точного прогноза алгоритма из-за слепой веры в свою интуицию.
Решение? Образование, образование и ещё раз образование. Эксперты единогласно требуют вводить основы data science (наука о комбинации баз данных) и критического мышления о ИИ в медицинские учебные программы. «Врачи должны получить представление о математических аспектах... чтобы они в общих чертах понимали значимость машинного обучения, а также его подверженность ошибкам», - вынесли мы в меморандум.
Но есть и трезвое понимание предела: «Не каждый врач сможет стать специалистом по медицинской информатике. Это нереалистично». Значит, нужна система регулирования и сертификации, которой можно доверять, как мы доверяем сегодня FDA или европейским регуляторам. Нужны новые специалисты – переводчики между миром кода и миром клиники.
Так что же в сухом остатке?
Это наше сегоняшнее заседание экспертов далеко не манифест против технологий. Это голос трезвой ответственности изнутри процесса. Машинное обучение в психиатрии – не спаситель и не апокалипсис. Это мощный, но очень сложный инструмент. И подходить к его внедрению нужно без хайпа, со смирением и максимальной методологической строгостью.
А вот и сам итоговый меморандум:
- Сместить фокус с «объяснимости» на «качество данных и контекст». Самый важный этический вопрос – не «как работает алгоритм?», а «на ком и в каких условиях он учился?». Инвестиции должны идти в сбор репрезентативных, разнообразных данных, а не только в создание красивых дашбордов.
- Признать, что мы уже давно живём среди «чёрных ящиков» – от механизма действия антидепрессантов до нашей собственной клинической интуиции. Это не оправдание, а скорее повод выработать реалистичные стандарты доверия, основанные на доказательной базе и строгой валидации.
- Бояться не алгоритмов, а их неправильного применения. Главная опасность – в самоисполняющихся пророчествах и усилении системных предубеждений. Нужно проектировать интерфейсы и протоколы, которые оставляют пространство для надежды и человеческого выбора. И да, привлекая общественные организации и антипсихиатрическое сообщество! На то и щука в реке, как говорится...
- Готовить врачей новой формации. Будущие врачи, конечно же не должны быть программистами, но должны быть еще грамотными, критически мыслящими пользователями, понимающими логику и ограничения инструментов, которые они используют.
- Не забывать про пациента. В центре по-прежнему должен оставаться человек, его история и его отношения с врачом. Алгоритм – лишь один из инструментов в кабинете, наряду со стетоскопом, клинической беседой и эмпатией. «Если у кого-то есть только молоток, то всё становится гвоздем. А с искусственным интеллектом этого не должно происходить. Если у меня есть отличный компьютер... всё равно есть пациент, который сидит передо мной, плачет и говорит: "Всё дерьмо, я сейчас покончу с собой". Это нельзя противопоставлять друг другу», - коллега суицидолог из Мюнхена.
Технология не хороша и не плоха сама по себе. Она – отражение наших целей, нашей методологии и нашей этики. Психиатрия, имеющая дело с самым тонким – человеческой субъективностью, – обязана подходить к этому с двойной, тройной осторожностью. Не для того, чтобы тормозить прогресс, а для того, чтобы этот прогресс действительно приводил к исцелению, а не к новым, технологичным формам отчуждения и несправедливости.
Пока же, слушая эти трезвые голоса экспертов, я ловлю себя на мысли: самый «разумный» искусственный интеллект в ближайшие годы будет, возможно, не в нейросети, а в голове у того врача, который сумеет грамотно, критично и по-человечески включить его в свою работу. И этому «интеллекту» нам всем предстоит учиться. Если поделитесь своим мнением, буду благодарен, но без хамства и перехода на личности, пожалуйста.
Ну и по традиции мой ТГ канал для профессионалов:
Если у вас остались вопросы — всегда рад диалогу. Пишите на электронную почту: droar@yandex.ru или в телеграм @Azat_psy.