Теперь количество разума во Вселенной будет удваиваться каждые 18 месяцев
Таково определение , данное Сэмом Альтманом (гендиром компании OpenAI, создавшей ChatGPT) для последствий происходящей революции, символом которой стал ChatGPT.
А ведь всего 7 лет назад Сэм весело острил:
«ИИ, скорее всего, приведет к концу света, но до того появится огромный бизнес».
Теперь же про него пишут, что он не расстается с “ядерным рюкзаком”, который можно использовать для дистанционного подрыва ЦОДов, если GPT выйдет из под контроля.
Чтоб понять, что стоит за лаконичной формулировкой Альтмана, и как теперь нам не спятить в ходе начавшегося ИИ апокалипсиса, — рекомендую прочесть соображения Эрика Хоэла — американского нейробиолога и нейрофилософа из университета Тафтса, — “How to navigate the AI apocalypse as a sane person”.
Пересказывать отличный текст с кучей примеров, — нет смысла. Хоэл — еще и писатель. Так что переписывать его — только портить.
Хочу лишь обратить ваше внимание на одну из ключевых мыслей. Ибо она резюмирует глубинное понимание происходящего и ближайшего будущего уже наступившего ИИ апокалипсиса.
Главный аргумент «рациональных техно оптимистов», считающих что ничего экстраординарного и сверх рискованного с появлением ChatGPT не произошло, таков.
✔️ Не смотря на выдающиеся результаты генеративных диалоговых ИИ (типа ChatGPT, Bing и т.д.), эти ИИ-системы не могут считаться разумными. Они не понимают мира и не обладают мотивацией агента. У них нет личности, проявляющейся в намерениях и действиях. А их интеллект — не есть интеллект, а лишь симулякр интеллекта. В своей основе этот симулякр — всего лишь автозаполнитель очередных слов, отражающий в своем вероятностном зеркале колоссальный нефильтрованный корпус написанных людьми текстов из Интернета.
✔️ А раз так, значит нет пока ни близкой перспективы появления сверхразума, ни связанных с этим рисков (хотя нужно, конечно, к этому готовиться, скорее всего, на горизонте десятков лет).
Ответ Хоэла (и заодно мой :) на эту аргументацию таков.
✔️ Из того, что ChatGPT и пр. — всего лишь автозаполнитель очередных слов, не следует, что он не может стать (или даже уже быть) разумным агентом. В отличие от сознания, интеллект — это полностью функциональное понятие: если нечто действует разумно, оно разумно. Если оно действует как агент, перед нами агент.
✔️ Вот поясняющий пример.
Есть влиятельная когорта ученых — Карл Фристон (наиболее цитируемый нейробиолог) и множество других известных имен, — которые утверждают, что цель нашего мозга — свести к минимуму удивление. Эта «гипотеза байесовского мозга» сегодня одна из магистральных. Теория утверждает, что на глобальном уровне минимизация удивления — это главная функция мозга. И хотя это всего лишь одна из нескольких ведущих гипотез о работе мозга, представим, что она верна.
А теперь представим, что инопланетяне находят человеческий мозг, смотрят на него и говорят: «О, эта штука просто сводит к минимуму удивление! Это не может быть основой интеллекта и потому не может быть опасным для истинных носителей разума».
Подумайте:
Действительно ли «сведение к минимуму сюрпризов» намного более сложная цель, чем автозаполнение слов текста? Или на самом деле это весьма похоже?
✔️ А раз так, значит нечеловеческий сверхразум может быть уже рядом. И связанные с этим риски уже вполне реальны.
Что еще добавить?
- Возможно, ChatGPT и пр. уже более универсальны в своем интеллекте, чем любой человек.
- Весьма вероятно, что ChatGPT и пр. одновременно:
— разумны
— ненадежны
— не похожи на человеческий разум
— вводят в заблуждение
— неконтролируемы в любом фундаментальном смысле, кроме некоторых наскоро разработанных ограждений.
И если все это так, значит ИИ апокалипсис уже начался.
#Вызовы21века #РискиИИ
________________________
Ваши шансы увидеть мои новые посты быстро уменьшатся до нуля, если вы не лайкаете, не комментируете и не делитесь в соцсетях