Принято считать аксиомой: если какая-то глобальная задача не решается, значит, нам просто нужно добавить «решательных мощностей». Больше миллиардов долларов, больше вычислительных кластеров, более умную нейросеть. Но ситуация с лечением рака указывает на нечто куда более пугающее. Даже полтриллиона долларов инвестиций и гипотетическое создание AGI (сильного искусственного интеллекта) сами по себе не гарантируют прорыва. Почему? Потому что вся система организована так, что оптимизирует не победу над болезнью, а набор суррогатных целей.
Еще в 2023 году в эссе «Ловушка Гудхарта для AGI» я сформулировал прогноз, который многие до сих пор отказываются принимать. Главная преграда на пути к использованию ИИ для решения самых сложных вызовов человечества — это не нехватка мощностей, денег или умов.
Главная проблема в том, что существующие институты коллективного решения сложных проблем заточены на оптимизацию не самой цели, а ее измеримого заменителя (прокси-метрики).
Мир неотвратимо сползает в ловушку Гудхарта. ИИ будет всё виртуознее решать не наши реальные проблемы, а их удобные, математически выверенные аналоги. И тем самым — усугублять кризис.
Диагноз системе: почему умные машины не лечат болезни
Недавнее эссе доктора Эмилии Джаворски How AI Can, and Can’t, Cure Cancer бьет точно в цель. Этот текст важен не только как разбор отношений онкологии и нейросетей. Это блестящее подтверждение гораздо более масштабного диагноза нашей цивилизации.
Представьте, что мы залили систему невероятными деньгами. Представьте, что мы дали ей самый совершенный AGI. Означает ли это, что система внезапно начнет двигаться к подлинной цели — исцелению людей? Нет.
Давайте посмотрим правде в глаза. Как работает современная машина здравоохранения и науки?
- Ученые оптимизируют индекс цитируемости и публикабельность.
- Стартапы оптимизируют инвестиционную привлекательность и раунды финансирования.
- Клиники оптимизируют потоки пациентов и оборачиваемость коек.
- Страховщики оптимизируют минимизацию выплат.
- Регуляторы (FDA и др.) оптимизируют избегание громких ошибок.
- Разработчики ИИ оптимизируют красивые бенчмарки своих языковых моделей.
На выходе мы получаем не «лечение рака» как абсолютную цель, а бесконечный каскад локальных оптимизаций. Каждая из них абсолютно рациональна внутри своего маленького пузыря — и абсолютно разрушительна для системы в целом.
Я, Максим Гончаров, как практик, внедряющий ИИ в бизнес-процессы, постоянно вижу эту ошибку: компании покупают нейросети, чтобы быстрее делать то, что вообще не нужно было делать. В медицине ставки просто бесконечно выше.
Как ИИ может стать идеальным усилителем ошибок
Искусственный интеллект в такой искаженной среде совсем не обязательно становится спасителем. Наоборот, он рискует превратиться в идеальную машину для масштабирования системных ошибок.
Если мы скормим AGI эту сломанную систему стимулов, он:
- Не вылечит системную болезнь, а доведет процесс ее «лечения» до коммерческого совершенства.
- Не приблизит нас к подлинной цели, а с невероятной скоростью уведет систему в сторону прокси-метрик.
- Не победит рак, а сделает процесс освоения грантов и прохождения тестов беспрецедентно эффективным.
Силиконовая долина мыслит законами Мура: если удвоить транзисторы, скорость вырастет вдвое. Но биология — это не кремний. Эволюция миллиарды лет выстраивала в нашем теле системы защиты от быстрых изменений. В человеческом организме любые стремительные клеточные мутации — это, как правило, и есть рак, а не прогресс. Мы не можем сжать время клинических испытаний быстрее, чем протекает сама болезнь. Интеллекта в мире уже в избытке (медицинские знания удваиваются каждые 73 дня), но кривая продолжительности жизни и количество одобренных прорывных лекарств остаются плоскими.
Друзья, если вы хотите глубже понимать, как ИИ меняет правила игры, и не попадаться в ловушки красивых технологических обещаний, подписывайтесь на мой канал. Там мы разбираем реальную автоматизацию и нейросети без розовых очков.
Рак как краш-тест для человечества (подводные камни ИИ-хайпа)
Обещания бигтехов «создать ИИ, который вылечит рак» — это мощный маркетинговый рычаг. Кто откажется финансировать бессмертие? В 2026 году частные рынки вливают в ИИ-разработки сотни миллиардов долларов, в то время как доля венчурного финансирования реального биотеха упала до 20-летнего минимума. Деньги уходят из лабораторий в дата-центры.
Мы оказались перед крайне тревожным фактом. Главная проблема на пути к решению самых тяжелых задач человечества — не отсутствие сверхразума и не нехватка вычислительных кластеров. Главная проблема кроется в самой архитектуре нашего общества: цивилизация всё лучше умеет максимизировать KPI и всё хуже — удерживать связь этих показателей с реальным миром.
Рак в этом контексте — не просто медицинский вызов. Это краш-тест для коллективного разума человечества. Если даже в сфере, где на кону стоят миллионы жизней, система неумолимо соскальзывает в ловушку Гудхарта, значит, перед нами общая техно-социальная болезнь.
Интеллект сам по себе не способен исправить сломанные стимулы. И пока мы не починим базовую архитектуру целей, совершенно неясно: поможет ли ИИ решить наши самые сложные проблемы, или он лишь позволит нам окончательно, но с беспрецедентной скоростью, заблудиться в собственных метриках.
А чтобы понимать, как использовать нейросети для реальных задач, а не для погони за суррогатными цифрами — заходите в канал: Telegram-канал RixAI.
Частые вопросы
Что такое ловушка Гудхарта простыми словами?
Это принцип, согласно которому, когда показатель становится целью, он перестает быть хорошим показателем. Например, если цель клиники — вылечить человека, это одно. Если цель — увеличить количество проведенных обследований (прокси-метрика), система начнет гонять здоровых людей по кругу, максимизируя прибыль, но не здоровье.
Разве ИИ сейчас никак не помогает в медицине?
Помогает, и очень сильно! Узкоспециализированные модели вроде AlphaFold (предсказание структуры белков) совершают революции. ИИ отлично ищет аномалии на снимках МРТ и ускоряет поиск молекул для лекарств. Проблема не в текущих полезных инструментах, а в вере в то, что некий универсальный AGI придет и магически решит проблему рака целиком.
Почему бигтех обещает вылечить рак с помощью AGI?
Это идеальный нарратив для привлечения триллионных инвестиций и избегания жесткой регуляции. Ссылаясь на великую гуманистическую миссию («мы спасаем жизни»), корпорациям проще оправдывать колоссальные траты энергии и потенциальные риски своих ИИ-моделей.
Можно ли заставить ИИ решать именно саму проблему, а не оптимизировать метрики?
В этом заключается главная нерешенная проблема ИИ — так называемая «проблема выравнивания» (alignment problem). Пока мы сами (человечество) структурируем науку и медицину через искаженные финансовые и бюрократические метрики, ИИ будет лишь следовать заданным правилам игры.