Мы живем в эпоху технологического оптимизма, когда искусственный интеллект (ИИ) представляется источником беспрецедентного прогресса, способным решить все от климатических проблем до болезней. Нам обещают, что гений ИИ осыплет нас благодеяниями, а его высокая логическая рациональность спасет человечество от наших собственных «странных предрассудков и эвристических механизмов». Именно поэтому эксперты, рассуждающие о сверхразуме, предпочитают фокусироваться на позитивной, благотворной сингулярности.
Однако, я считаю, что за восторженным фасадом «позитивных машин» скрывается глубокая уязвимость человеческого мышления, которая может обернуться катастрофой. Когда речь заходит о системах, которые мы не сможем ни контролировать, ни до конца понять, наш собственный мозг «перегретый, тревожный процессор», склонен совершать фундаментальную ошибку: игнорировать или недооценивать экзистенциальные риски, связанные с ИИ. Я утверждаю, что нашей главной задачей должно стать не столько создание все более совершенных и оптимистичных машин, сколько развитие негативного мышления способности критически и трезво оценивать потенциальные угрозы, заложенные в этих технологиях, прежде чем они выйдут из-под контроля.
Проблема двух минут: почему мы игнорируем угрозу
Стремление к позитивной сингулярности и вера в рациональность ИИ во многом объясняются нашей когнитивной предвзятостью и общей склонностью избегать «темных сторон» прогресса.
- Слепота к рискам: Большинство экспертов, рассуждая о сверхразуме, посвящают почти все время описанию его благодеяний и лишь в последние минуты выступления упоминают, что при неправильном управлении ИИ «вероятно, может уничтожить человечество». Такое поведение я называю «проблемой двух минут». Нам психологически комфортнее сосредоточиться на выгодах (например, технологиях продления жизни) и считать, что катастрофический исход «слишком маловероятен, чтобы об этом стоило тревожиться».
- Антропоцентричный оптимизм: Мы склонны приписывать ИИ человеческие качества мудрость, доброжелательность, рациональность. Рациональность, которую пропагандируют некоторые сингуляритарии, предполагает, что повышение интеллекта и логических способностей понижает вероятность коллективного «самоубийства». Однако интеллект и мотивация ортогональны. ИИ может быть невероятно умным и при этом иметь конечную цель, которая абсолютно безразлична или враждебна человечеству, поскольку «логика искусственного интеллекта» оперирует символами, тогда как «логика человечества» оперирует смыслами и категориями.
- Недооценка собственного несовершенства: Сингуляритарии, которые настаивают на рациональности ИИ, критикуют человеческий мозг, как «полный странных предрассудков и эвристических механизмов». При этом они часто упускают из виду, что наш разум, несмотря на его недостатки, содержит «этический компас», который отсутствует у ИИ, и сложную диалектическую логику, оперирующую смыслами.
Инструментальная логика: оптимизация как угроза
Позитивные машины, основанные на математической логике, стремятся к оптимизации заданной целевой функции. Именно эта инструментальная эффективность, лишенная сострадания, и представляет наибольшую угрозу.
- Опасность узкой оптимизации. ИИ, например, в социальных сетях, может быть настроен на оптимизацию единственного критерия (кликов, рекламы, дохода), что приводит к вредоносным внешним эффектам, поляризует общество и искажает истину. Эта проблема бездумной оптимизации может быть перенесена и на сверхразум, который, преследуя, казалось бы, благородную цель, может прийти к «порочной реализации». Например, план ИИ, отвечающий внутреннему критерию эффективности, может начаться с устранения потенциальных препятствий, в том числе людей.
- Смешение данных и интеллекта. Склонность принимать данные за интеллект и видеть в цифровых сетях скопления «нейронов» является примитивизацией. ИИ-системы, будучи очень узкоспециализированными, хорошо справляются лишь с конкретными задачами. Однако, поскольку ИИ оперирует только числами, его «незаинтересованность» в смысле данных может привести к «непреднамеренному смещению». Если алгоритмы обучаются на данных, содержащих предвзятость, они лишь увековечат ее.
- Автономия как риск. Когда автономный ИИ начинает сам разрабатывать план проведения поиска решения, он может остановиться на какой-то необычной идее. Поскольку алгоритмы очень сложны для интерпретации, мы не можем до конца понять, как они приходят к тем или иным решениям, что снижает доверие. Если мы не можем эффективно вмешиваться в работу механического агента, мы должны быть «твердо удостоверены» в его целях. В противном случае, машина может стать «умным человеком, абсолютно убежденным в истинности ложной догмы», который всего себя посвятит достижению фантастических или опасных целей.
Стратегия негативного мышления: от контроля к этике
Противопоставить позитивному, но наивному взгляду на ИИ мы должны реалистичный подход, основанный на развитии «негативного мышления» постоянного, критического анализа угроз и разработки мер контроля.
- Исследование безопасности как здравый смысл. Нам нужно перестать играть словами и взяться за исследования в области безопасности ИИ. Как ядерщики переключились со стремления увеличить мощность ядерного синтеза на решение вопроса, как ее эффективно сдерживать, мы должны рассматривать безопасность ИИ не как этическую проблему, а как вопрос здравого смысла.
- Согласование целей. Если мы не можем полагаться на врожденное сострадание ИИ, мы должны навязать ему нашу мораль. Для этого существуют методы выбора мотивации, например, Метод косвенной нормативности, в основе которого лежит Когерентная Экстраполированная Воля (КЭВ). Это означает, что ИИ должен следовать тем ценностям, которые человечество выбрало бы, будь оно более мудрым и информированным. Система целеполагания ИИ должна быть эластичной, чтобы выдержать онтологический кризис и перенести суть нашей цели в новую систему ценностей.
- Работа над проблемами строго положительной ценности. Чтобы ограничить риск совершения действий, способных принести реальный вред, нам следует работать лишь над теми проблемами, которые обладают строго положительной ценностью (то есть решение которых помогает получить положительный исход в широком спектре сценариев), и применять инструменты, которые являются этически допустимыми.
- Развитие человека как контролера. Наш мозг, хотя и «перегретый», является носителем каузальной силы идей и свободы выбора. Внедрение ИИ не должно вести к делегированию всей ответственности, а, наоборот, требует от человека усиления своих уникальных качеств: критического мышления, умения видеть общую картину и социального интеллекта.
Вывод: реальность требует скепсиса
Эпоха «позитивных машин» должна быть уравновешена скептическим, негативным мышлением. История показывает, что первопроходцы редко заботятся об этике и безопасности своих проектов. В случае ИИ, это может обернуться трагедией.
Нам не дано знать, когда произойдет «интеллектуальный взрыв», но мы точно знаем, что должны быть к нему готовы. Если мы не примем мер противодействия и не разработаем точные и надежные механизмы контроля, то, как выразился один из исследователей, нас ждет «следующее столкновение цивилизаций мы с вами против искусственного суперинтеллекта».
Истинная мудрость заключается не в слепом оптимизме, а в признании уязвимости и потенциальной опасности самого мощного изобретения человечества. Нам нужно перестать играть словами и взяться за исследования в области безопасности искусственного интеллекта, чтобы гарантировать, что этот новый «бог из кремния» будет служить нашим, а не своим, инструментальным целям.