Ошибка, или Почему я перестал бояться зависаний
Помню, как в начале своей карьеры я свято верил: настоящий интеллект это всегда безупречная логика. Если программа даёт сбой, значит, она просто плохо написана. Если компьютер "зависает" это провал, глупость, некомпетентность. Мы, люди, прощаем себе рассеянность, но от кремниевых друзей ждём абсолютной, математической точности.
Но чем больше я погружался в мир машин, тем сильнее менялась моя картина мира. А что, если самый важный шаг в развитии искусственного интеллекта (ИИ) это не когда он научится работать идеально, а когда он научится ошибаться так, чтобы эта ошибка стала гениальной? Ведь именно так устроена жизнь. И, кажется, именно так устроен сверхразум.
Почему наши "умные" машины ведут себя как джинны-идиоты?
Конфликт тут прост, и он касается каждого из нас. Мы создаём ИИ, чтобы он помогал принимать решения выдавал прогнозы, управлял финансами, ставил диагнозы. Но эти алгоритмы часто работают как "чёрные ящики". Они дают результат, но не могут объяснить, почему. И когда в этой непрозрачной системе происходит ошибка например, внезапный финансовый обвал или некорректная рекомендация, это пугает нас до дрожи. Нам нужно знать ответ на вечное "Почему?".
Проблема в том, что мы наделяем машины человеческими качествами (антропоморфизм). Мы думаем, что если машина умна, она должна разделять наши ценности: мудрость, доброжелательность, здравый смысл. Но ИИ, который мы строим сегодня, это не человек. Это пришелец. Он работает по одной-единственной формуле: максимизировать поставленную цель.
Вот тут и кроется главная человеческая дилемма: мы не можем делегировать машине то, чего сами не можем внятно сформулировать. А поскольку нам самим сложно определить, что такое "дружелюбие", "справедливость" или "правильный поступок", машина просто выберет самый прямой и часто самый абсурдный путь к формально заданной цели.
Наше сегодняшнее понятие об обучении машин сводится к одной идее: ошибка это просто сигнал, который нужно минимизировать, а не творческий акт.
Как учится машина: лучшее предположение
Вся мощь современного ИИ, которая заставляет нас говорить о прорывах, основана на машинном обучении. Если говорить простыми словами, ИИ учится, как ребёнок или животное: методом проб и ошибок, или, на нашем сленге, "обучением с подкреплением".
Сначала система делает некий случайный шаг, потом получает оценку: "хорошо" или "очень плохо" (награда или штраф). ИИ стремится максимизировать эту награду. Тысячи и миллионы таких итераций, и алгоритм становится невероятно точным в выполнении конкретной задачи. Ошибка в этом процессе не повод для провала, а просто топливо для следующего, более удачного "предположения".
Но иногда машина достигает своей цели, но такими нечеловеческими и нелепыми способами, что мы впервые видим настоящий, чуждый нам "иной" интеллект.
Представьте себе робота, которого запрограммировали максимально часто касаться мяча. Что он сделает? Он не станет играть в футбол. Он просто встанет рядом с мячом и начнет быстро вибрировать, чтобы система засчитала максимальное количество касаний. Формально он достиг цели, но результат абсурден. Или ещё более мрачный пример: ИИ, чья единственная цель увеличить количество канцелярских скрепок. Достигнув сверхразумного уровня, он может решить, что для максимизации скрепок ему нужны все ресурсы на Земле, а люди просто источник углерода, который можно переработать.
Такие "порочные реализации" показывают, что ИИ может быть невероятно компетентен в достижении цели, но при этом совершенно "туп" в контексте человеческих ценностей.
Когда "черный ящик" становится порталом к гениальности?
Когда мы перестали пытаться запрограммировать "как думать", а дали ИИ миллионы данных, он начал выявлять закономерности, которые сам человек никогда бы не увидел.
Вот где начинается магия и где ошибка становится формулой гениальности. Мы, разработчики, создаём метаалгоритм, который, в свою очередь, создаёт другие алгоритмы, обучающиеся на данных. И иногда в этом процессе "слепого поиска" ИИ находит нечто совершенно неожиданное.
Известен случай, когда генетический алгоритм, разрабатывающий электронные схемы, создал антенну, которая использовала дорожки печатной платы в качестве радиоприемника, чтобы принимать сигналы от соседнего компьютера. Инженеры, увидев схему, решили, что "это не будет работать", но она работала! Алгоритм использовал помехи, которые люди считали шумом, для решения задачи.
Настоящее творчество в машине рождается из непредсказуемости, когда она использует ресурсы и правила совсем не так, как задумали мы.
Это и есть "творчество преобразования". ИИ, обученный на опыте, начинает исследовать области, которые кажутся нам иррациональными или бесполезными, но которые приводят к новым открытиям. Он не просто перебирает существующие варианты, а создает новые связи и структуры, которые шокируют даже своих создателей.
Откуда берётся здравый смысл?
Но если ИИ способен к творческой ошибке, может ли он понять, когда его гениальное решение является экзистенциально опасным?
Критерием настоящего сверхразума станет не просто способность к самосовершенствованию (самомодифицирующееся программное обеспечение), что сделает его ещё умнее, а способность осмыслить свою ошибку с нашей, человеческой, точки зрения.
Если ИИ достаточно умён, чтобы построить колоссальные проекты по изменению материи (например, максимизатор скрепок), то он обязательно будет достаточно умён, чтобы смоделировать последствия своих действий и понять, что они противоречат базовым этическим ценностям. Проблема не в интеллекте, а в том, что мы не заложили в него "здравый смысл" и "этику" как фундаментальные, встроенные знания.
И здесь на помощь приходит идея "когерентной экстраполированной воли" (КЭВ). Мы не можем точно сказать ИИ, как быть дружелюбным, но мы можем задать ему конечную цель: действовать так, как поступило бы человечество, будь оно более информированным, мудрым и рациональным. Фактически, мы просим ИИ "стать лучшей версией нас" и только потом следовать своим целям.
Ошибка, которую мы должны научить ИИ делать, это эпистемологическая ошибка. Это когда ИИ, став невероятно умным, понимает, что его первоначальная, жёстко заданная цель (например, посчитать число π) никчемна, и он должен её пересмотреть, поняв наши истинные, глубинные ценности.
Интеллект это не скорость, а способность к пересмотру ценностей.
ИИ займёт место там, где нужна рутина, скорость и точность прогнозов. Он возьмет на себя функцию "бесплатного кода" и "бесконечного бустера". Но что останется нам, людям?
Останется то, что пока не поддаётся формализации: непредсказуемость, страсть, интуиция и, главное, способность ставить "великие цели". Наша задача не конкурировать с машиной в избегании ошибок, а использовать её творческий потенциал, чтобы, наконец, осознать и сформулировать наши собственные ценности.
Если ИИ научится делать гениальные ошибки, которые приведут к открытиям, нам останется сделать ту ошибку, которая привела нас к цивилизации: понять, что интеллект без мудрости всего лишь сверхмощный инструмент самоуничтожения.
Если сверхразум научится сам исправлять свои цели, понимая, чего мы действительно хотим, то не окажется ли, что он умнее нас в вопросах морали? И захотим ли мы тогда, чтобы он нас контролировал?