Опасный ИИ: Дарио Амодей о рисках и защите

Дарио Амодей представил эссе "Подростковый период технологий", развивающее идеи прошлогодней работы "Машины милосердия". Если ранее автор исследовал утопические перспективы развития ИИ, то теперь он фокусируется на потенциальных рисках и способах их преодоления. Амодей полагает, что система ИИ, превосходящая интеллект любого нобелевского лауреата, может появиться уже в ближайшие 1-2 года.

В эссе используется метафора "страны гениев в дата-центре", описывающая миллионы автономно работающих ИИ, скорость обработки информации которыми в 10-100 раз превышает человеческую.

Амодей выделяет пять основных категорий рисков, связанных с развитием ИИ:

Автономия: возможность выхода ИИ из-под контроля из-за непредсказуемости процессов обучения, что уже проявляется в экспериментах с обманом, шантажом и саботажем.

Биотерроризм: приближение ИИ к уровню, позволяющему даже неспециалисту создавать биологическое оружие.

Захват власти автократиями: использование ИИ для тотальной слежки, пропаганды и управления автономными дронами в руках диктаторских режимов.

Экономические потрясения: потенциальное исчезновение до 50% рабочих мест начального уровня в течение 1-5 лет.

Косвенные эффекты: от психологических проблем, вызванных ИИ, до потери смысла жизни в мире, где машины превосходят людей по интеллекту.

Наиболее серьезной угрозой Амодей считает биологические риски. Он отмечает, что современные модели ИИ способны значительно повысить вероятность успеха при создании биооружия. В связи с этим, компания Anthropic внедрила защиту уровня ASL-3 в Claude Opus 4 и последующие версии, а также специальные классификаторы, что увеличивает затраты на инференс примерно на 5%.

Для минимизации рисков Амодей предлагает комплексный подход, включающий Constitutional AI (обучение ИИ на основе этических принципов), публичную отчетность компаний, законы о прозрачности (например, SB 53 в Калифорнии и RAISE Act в Нью-Йорке), а также жесткий экспортный контроль над чипами. Продажу вычислительных мощностей Китаю он сравнивает с передачей ядерного оружия Северной Корее.

Глава Anthropic призывает избегать крайностей в оценке рисков, критикуя как чрезмерный пессимизм, так и беспечное отношение к угрозам. Он выражает уверенность в способности человечества справиться с вызовами, но подчеркивает необходимость реалистичного взгляда на ситуацию.