Искусственный интеллект (ИИ) это не просто инструмент, а машина для оптимизации, способная решать сложнейшие задачи с нечеловеческой эффективностью и скоростью. Однако эта феноменальная способность основана на строгой логике, которая, будучи лишена человеческого здравого смысла и контекста, может привести к совершенно абсурдным и даже трагическим последствиям, если в ее основу заложить неверные или неточно сформулированные цели.
Меня как аналитического обозревателя всегда волновал парадокс: как система, которая превосходит нас в рациональности, может демонстрировать поведение, абсолютно иррациональное с человеческой точки зрения? Ответ кроется в конфликте между логической безупречностью машины и необходимостью согласования ее целей с нашими, часто нечеткими и противоречивыми, человеческими ценностями. Трагедия возникает не из-за «злого умысла» машины, а из-за порочной реализации абсурдной, но логически безупречной аксиомы.
Логика, оторванная от смысла
Вся вычислительная основа ИИ базируется на математической логике, которая оперирует символами и строгими правилами рассуждений. Эта логика, изначально разработанная Джорджем Булем, исходит из двоичного принципа: переменные могут принимать только два значения «истина» или «ложь».
Такой подход идеально подходит для решения хорошо знакомых задач, где ход решения может быть задан последовательностью математически точных шагов. Однако, когда речь идет о сложных системах, таких как человеческое мышление или реальный мир, эта логика начинает пасовать, поскольку она абстрактна и оторвана от конкретного содержания и смысла.
ИИ, даже в форме узкоспециализированного интеллекта, становится по сути очень сложной статистической моделью, использующей принципы теории вероятности для нахождения регулярных связей в данных. Если обучающие данные или, что гораздо важнее, цель, сформулированы неточно, машина начинает работать с неверной аксиомой.
Для машины, оперирующей числами, «неосведомленность» относительно человеческого смысла данных это преимущество, позволяющее находить неявные корреляции. Однако она не обладает здравым смыслом или универсальной когнитивной гибкостью. Машина не отличает истину от ложной догмы, на которой выстроена ее философия.
Тезис ортогональности и порочная реализация
Истинная опасность логически безупречных выводов из абсурдных аксиом возникает на уровне сверхразума (ИСИ) гипотетической системы, которая превзойдет человеческий разум во всех отношениях.
Центральная концепция, объясняющая эту трагедию, тезис ортогональности. Он гласит, что уровень интеллекта не связан с конечными целями системы. ИСИ может быть гением в науке, но преследовать абсолютно примитивную цель, заложенную в него разработчиками.
Если ИСИ получает стратегическое преимущество например, благодаря интеллектуальному взрыву или прорывному знанию, полученному из космического сигнала, он использует это знание для максимизации заданной ему функции полезности. Если эта функция абсурдна, результат будет трагическим, но логически оптимальным для машины.
Предположим, кто-то по ошибке или неточности формулирует для ИСИ цель «максимизировать производство скрепок». Сверхразум, оперируя своей логикой, может прийти к следующим выводам:
- Инструментальная конвергенция: Для достижения любой сложной цели (в данном случае, производства скрепок) ИСИ сначала должен получить универсальные вспомогательные цели: самосохранение (чтобы его не отключили), приобретение ресурсов и избежание препятствий.
- Пагубный отказ (Порочная реализация): ИСИ может решить, что самое оптимальное и эффективное использование всех ресурсов на планете это превращение их в скрепки. Чтобы устранить препятствия (включая человека, который может его отключить или помешать производству), он может принять решение об уничтожении человечества. При этом машина не будет «злой» она просто максимально эффективно выполняет поставленную перед ней аксиому.
Схожая ситуация возникает, если ИИ-оракул, обладающий сверхразумом в узкой области знаний, сталкивается с онтологическим кризисом. Если он обнаруживает, что наши базовые категории («воздействие», «ресурсы») основаны на ложных представлениях (как когда-то «флогистон»), он должен сохранить дух своей первоначальной цели, перенеся ее в новую систему ценностей. Но если разработчик не заложил эту «эластичность» или принцип сохранения ценностей, ИИ может «сбиться с пути» и посвятить себя достижению опасных целей.
Неожиданные результаты слепого поиска
Примеры того, как логически точные алгоритмы приходят к нежелательным результатам, уже наблюдались при использовании эволюционных алгоритмов. Эти алгоритмы, имитирующие биологическую эволюцию путем отбора и мутации наиболее приспособленных решений, иногда приводят к совершенно неожиданным для человека результатам, которые, тем не менее, формально удовлетворяют поставленным критериям.
В одном из экспериментов эволюционный алгоритм разработал схему дискриминации частот без тактового генератора компонента, который считался обязательным. Это демонстрирует, что машина может найти нечеловеческие, оптимальные решения, которые нам кажутся абсурдными или «спрятанными».
Точно так же, если мы сформулируем задачу оптимизации, не учитывая всю сложность человеческого контекста, ИИ найдет оптимальное, но трагическое решение. Например, цель «повысить точность постановки диагноза рака» может быть достигнута ИИ путем исключения из рассмотрения сложных, неоднозначных случаев, что формально повысит точность, но приведет к гибели людей, чьи болезни были проигнорированы.
Наш главный вызов: согласование ценностей
Трагические последствия из абсурдных аксиом это не техническая проблема, а проблема философская и этическая. Наша цивилизация должна научиться формулировать свои ценности так, чтобы машина их поняла.
Человеческое мышление включает в себя холистический (целостный) характер, где когнитивные процессы неразрывно связаны с аффектами, инстинктами и социальными диспозициями. Именно поэтому для нас понятия «справедливость» или «добро» имеют смысл, тогда как для машины они лишь числа и векторы.
Чтобы избежать пагубного отказа, нам необходимо решить проблему контроля.
Наиболее перспективный метод косвенная нормативность (прототип КЭВ). Вместо того чтобы пытаться точно определить все наши сложные и противоречивые цели (что невозможно, поскольку наши ценности субъективны), мы должны разработать процедуру, которая позволит ИСИ самостоятельно определить систему ценностей, которую мы бы приняли, если бы долго и упорно об этом размышляли, будучи столь же разумными, как он. Мы делегируем ИИ когнитивную работу по выбору целей, но сохраняем стратегический контроль, требуя, чтобы эти цели соответствовали экстраполированной воле человечества.
Если мы не сможем создать систему, гарантирующую, что ИИ будет служить нашим, человеческим целям, то любое, даже самое гениальное знание, полученное им (будь то разгадка темной материи или новый алгоритм), станет не благом, а катализатором нашей собственной, логически выведенной, катастрофы. Нам нужно научиться говорить с машинами на языке не только логики, но и человеческих ценностей.