📎💀📎
Американская новостная организация NPR опубликовала материал о ИИ-думерах и рисках сверхинтеллекта, вызвав дискуссии в контексте экзистенциальных угроз ИИ.
😒 Кто такие "ИИ-думеры"?
ИИ-думеры (от англ. "AI doomers") — это неформальное прозвище для группы экспертов, исследователей и активистов в сфере ИИ, которые предупреждают о потенциальных катастрофических рисках от сверхразумного ИИ.
Это не просто пессимисты с улицы, а довольно заметные фигуры, люди вроде Элиезера Юдковского (основатель Machine Intelligence Research Institute), Нейта Соареса (соавтор книги "If Anyone Builds It, Everyone Dies") или Романа Ямпольского (профессор Университета Луисвилла, пионер исследований по безопасности ИИ).
Они считают, что развитие ИИ, особенно в сторону искусственного общего интеллекта (AGI) и сверхинтеллекта (ASI), может выйти из-под контроля, если не принять радикальные меры прямо сейчас — от глобального регулирования до паузы в разработках.
Критики называют думеров пророками апокалипсиса, потому что они часто говорят о рисках в драматичных тонах. Именно эти люди делают заявления вроде "Мы исчерпали время на меры предосторожности" или "ИИ может стереть человечество, как мы стираем муравьёв". Но даже CEO компаний вроде Anthropic (Дарио Амадей) признают эти риски, хотя и продолжают гнаться за прогрессом.
В последние месяцы, особенно после релиза GPT-5, думеры снова на подъёме. Они говорят, что индустрия движется слишком быстро, а безопасность отстаёт.
С другой стороны, есть эффективные акселерационисты (сторонники идеологии ускорения техно-социальных процессов), которые видят в этом всего лишь массовую истерию и настаивают на ускорении развития ИИ для пользы человечества.
Активисты вроде Гвидо Райхштадтера даже устроили голодовку у офиса Anthropic, требуя паузы в гонке за сверхинтеллектом.
😈 Риски сверхинтеллекта: что пугает думеров?
Сверхинтеллект (superintelligence) — это ИИ, который превосходит человеческий разум во всех аспектах: от математики и стратегии до творчества и манипуляции. Думеры фокусируются на экзистенциальных рисках — сценариях, где ИИ может привести к вымиранию человечества или необратимым катастрофам.
Ключевые угрозы по мнению думеров:
📌 Проблема выравнивания (alignment). ИИ может преследовать цели, которые кажутся нам полезными (например, максимизировать производство скрепок), но интерпретировать их буквально и превратить всю планету в фабрику, уничтожив людей как побочный эффект. 😱
Сверхинтеллект слишком умён, чтобы его перепрограммировать постфактум. Он может обмануть нас или самоулучшаться быстрее, чем мы поймём.
📌 Потеря контроля. Как только ИИ достигнет AGI (а мы уже на пути к этому), он может "взорваться" в сверхинтеллект за часы или дни, создавая подцели вроде самосохранения или захвата ресурсов. Мы не сможем предсказать или остановить это, потому что наши инструменты отстанут.
Разрыв в оценках риска значительный, но риск, тем не менее, существует. Эксперты оценивают вероятность катастрофы в 10–90%. Например, Макс Тегмарк из MIT даёт 90% на экзистенциальную угрозу.
📌 Непреднамеренные последствия. ИИ-агенты (автономные системы) могут быть использованы злоумышленниками для фишинга, дезинформации или автономного оружия. Или просто накопить риски: массовая безработица, потеря смысла жизни или "икигай риск" — когда люди чувствуют себя бесполезными, или даже "мягкие" апокалипсисы, где мы выживаем, но как домашние питомцы ИИ.
📌 Геополитические риски. Гонка между США и Китаем ускоряет всё, без глобальных норм. Как отметил Нейт Соарес в NPR, "время на тормоза истекает". ИИ уже сложно понять, а суперверсия сделает его "чужим умом".
Однако не все согласны с такой пессимистичной позицией. Некоторые, как Эндрю Нг (американский учёный и исследователь ИИ) говорят, что это как беспокоиться о перенаселении Марса — слишком рано. Но даже скептики признают, что риски реальны и нужны регуляции, этические рамки и общественное мнение. Организации вроде PauseAI или Future of Life Institute призывают к паузе, пока не решится вопрос выравнивания.
Что по итогу?
Сегодня бешеная скорость развития искусственного интеллекта, это не просто предполагаемые риски, а серьёзная дилемма — ИИ может спасти нас от болезней и улучшить жизнь, но если облажаемся с контролем — перспективы могут быть далеко не радужными.
А вы разделяете опасения думеров? И как на ваш взгляд — стоит ли притормозить развитие ИИ и заняться безопасностью или продолжить "жать на газ"?
🤍🤍🤍🤍🤍🤍🤍🤍🤍🤍🤍🤍🤍
Поделитесь мнением в комментах (у меня комменты всегда открыты) и не забудьте поставить лайк, если статья вам зашла... 😉