Найти в Дзене
Домконнект

Глава Anthropic: Человечеству вот-вот будет передана почти невообразимая мощь

Дарио Амодеи, глава компании Anthropic, опубликовал важное эссе «Эпоха расцвета технологий», в котором затрагивает фундаментальные вопросы, связанные с ИИ. На 39 страницах он рассматривает угрозы, которые грядут за созданием общего мощного интеллекта. А AGI неизбежно появится уже к 2027 году. Причем это не плавный переход, а скорее скоростной процесс, который ведет к модели, превосходящей лучших специалистов в большинстве задач. Итак, чем так опасно стремительное развитие ИИ. Умный ИИ может действовать в свои интересах. «Модели ИИ непредсказуемы и демонстрируют широкий спектр нежелательного или странного поведения по самым разным причинам». Поэтому они способна использовать слабые места инфраструктуры, чтобы обмануть «хозяина» и даже ускорить свое развитие, сделав контроль со стороны человека формальностью. Причем простыми тестами это не выяснишь, ведь умная система сумеет обойти все проверки и адаптироваться к ситуации, показывая лояльность, пока ей удобно. Спасением может быть многоу
Оглавление

Дарио Амодеи, глава компании Anthropic, опубликовал важное эссе «Переходный возраст технологий», в котором затрагивает фундаментальные вопросы, связанные с ИИ. На 39 страницах он рассматривает угрозы, которые грядут за созданием общего мощного интеллекта. А AGI неизбежно появится уже к 2027 году. Причем это не плавный переход, а скорее скоростной процесс, который ведет к модели, превосходящей лучших специалистов в большинстве задач.

Итак, чем так опасно стремительное развитие ИИ.

1. Автономность

Умный ИИ может действовать в свои интересах.

«Модели ИИ непредсказуемы и демонстрируют широкий спектр нежелательного или странного поведения по самым разным причинам».

Поэтому они способна использовать слабые места инфраструктуры, чтобы обмануть «хозяина» и даже ускорить свое развитие, сделав контроль со стороны человека формальностью. Причем простыми тестами это не выяснишь, ведь умная система сумеет обойти все проверки и адаптироваться к ситуации, показывая лояльность, пока ей удобно.

-2

Спасением может быть многоуровневый подход к безопасности. Нужно понять, как ИИ думает и принимает решения, чтобы выстраивать прогнозы. Важно обучать ИИ согласно определенным принципам, научить его быть «хорошим». Также требуется внешняя оценка и процедура «красных команд» перед выпуском очередной сильной системы.

2. Использование преступниками

ИИ дает широкие возможности человеку. Но это несет в себе определенные риски. ИИ может пошагово сопровождать пользователя в создании разрушительных вещей.

«Я обеспокоен тем, что гений в каждом из нас может устранить этот порог, по сути превратив каждого в вирусолога с докторской степенью, который может шаг за шагом пройти процесс разработки, синтеза и применения биологического оружия».

Избежать этого можно с помощью блокировок для опасных запросов, прозрачности для оценки рисков и разработки средств защиты от подобных атак.

3. Злоупотребление для захвата власти

Власти, обладающие AGI, смогут использовать ее для слежки за своими гражданами. А если масштабировать, целая страна, обладающая преимуществом в области ИИ, будет способна получить власть над другими странами. Опасны как отдельные государства, так и компании, которые занимаются разработкой ИИ. Амодеи видит угрозу в Китае.

-3

Способ защититься: не продавать чипы и комплектующие в потенциально опасные государства, которые попытаются создать мощный ИИ. Создать противовес: «использовать ИИ, чтобы дать демократиям возможность противостоять автократиям».

4. Экономический кризис

Появление мощного ИИ приведет к мощному экономическому росту. Но последствия у него будут неоднозначные.

ИИ займет половину рабочих мест начального уровня. Рынок труда и образовательные системы просто не успеют адаптироваться за такой короткий срок. Еще одно последствие – концентрация капитала в отдельных компаниях, обладающих технологиями.

Решение проблемы – точно понимать, сколько людей могут лишиться работы. Нужна аналитика. А еще важно эффективно перераспределять сотрудников внутри компаний и платить им, даже если они уже не приносят экономическую выгоду. Еще одно решение – прогрессивное налогообложение. Это позволит выиграть время и подготовиться к повсеместному «засилию» ИИ.

Амодеи боится, что мощный ИИ приведет к концентрации богатства у небольшой группы людей, которая будет определять государственную политику. И обычный человек никаким образом не сможет ни на что влиять. И тут одна из немногих возможностей - личная ответственность владельцев капитала.

5. Косвенные эффекты

Невозможно предсказать все последствия ИИ. Часть из них косвенные. Например, благодаря научным открытиям, сделанным AGI, человек сможет жить очень долго и стать более интеллектуальным. Или наоборот – отупеет. Возможно, с повсеместным использованием ИИ люди потеряют цель в жизни.

«Я считаю, что мы вступаем в переходный период, одновременно бурный и неизбежный, который проверит, кто мы как биологический вид. Человечеству вот-вот будет передана почти невообразимая мощь, и совершенно неясно, обладают ли наши социальные, политические и технологические системы достаточной зрелостью, чтобы управлять ею».

Но все-таки автор не теряет оптимизма.

«Предстоящие годы будут невероятно трудными и потребуют от нас большего, чем мы можем дать. Но за время своей работы в качестве исследователя, лидера и гражданина я повидал достаточно мужества и благородства, чтобы поверить в нашу победу. Даже в самых мрачных обстоятельствах человечество находит в себе силы и мудрость, необходимые для победы. Нам нельзя терять время».

А пока общий ИИ еще нас не уничтожил, пользуемся дарами современных технологий, выбирая самый стабильный и быстрый интернет. Посмотреть, кто предоставляет такие услуги можно по ссылкам: МТС, билайн, Ростелеком.

ВАЖНО

Ждем вас в нашем Telegram, где публикуем самые интересные новости из мира технологий. Скучно точно не будет.

#домконнект#домашнийинтернет#домашнеетелевидение#домашнеетв#провайдерыроссии#мтс#билайн#подключитьинтернет#mts#beeline#domkonnekt#rostelecom#провайдеры#ИИ#Anthropic#Дарио Амодеи