OpenAI, создатель ChatGPT и одна из важнейших исследовательских организаций в области искусственного интеллекта, распускает Superalignment team. Эта группа настолько новая, что в русскоязычной прессе даже не придумали, как точнее переводить — команда «сверхсогласования» или «супервыравнивания». По-моему, в названии обыгрывается, скорее, элаймент из DnD — мировоззрение персонажа. Как бы это ни называлось, основным назначением команды было обеспечение безопасности искусственного интеллекта для остального человечества — согласование интеллекта машины с интеллектом человека.
Как бы то ни было, ремень безопасности теперь отрезан. Решение о роспуске команды безопасности было принято после ухода руководителей команды Ильи Суцкевера (Ilya Sutskever), сооснователя OpenAI, и Яна Лейке (Jan Leike), специалиста по поведению ИИ.
Superalignment team была создана около года назад, и на неё возлагали большие надежды. Предполагалось, что команда проработает до 2027 года. Руководителями команды стали Илья Суцкевер и Ян Лейке. Цель группы — чтобы программы искусственного интеллекта преследовали те же цели, что и люди, которые их используют.
Для её достижения следовало решить три задачи:
- масштабируемый надзор — перед тем, как дать миру доступ к ИИ текущего поколения, его работу следовало оценить при помощи ИИ следующего поколения;
- проверка модели — автоматический поиск особенностей поведения и внутренних проблем;
- стресс-тестирование — выявление стойкости модели к неправильному обучению.
На эти задачи планировалось выделять 20% всей вычислительной мощности OpenAI.
Почти сразу что-то пошло не так. Сэм Альтман (Sam Altman), инвестор нескольких успешных стартапов в области науки и техники и генеральный директор OpenAI, то ссорился с советом директоров, и с сотрудниками, то мирился. Сотрудники OpenAI то жаловались на начальника, то писали коллективные письма в его поддержку. Но те из специалистов, кто сильно сомневался в безопасности ИИ, постепенно уходили из компании. Это была долгая и запутанная история.
И вот итог. Сначала из команды ушли оба руководителя. Затем было объявлено об её роспуске.
OpenAI заявила, что работа, выполняемая командой сверхсогласования, теперь будет передана остальным исследовательским группам OpenAI — и это изменение, которое началось «недели назад».
«В последние годы блеск наших продуктов сдвинул на задний план культуру и процессы безопасности», — заявил Лейке 17 мая в твите на X*. По мнению Лейке, OpenAI не смог выделить достаточно вычислительных ресурсов на «выяснение того, как управлять и контролировать системы искусственного интеллекта, которые намного умнее нас».
Сэм Альтман написал, что Лейке «прав, нам предстоит еще многое сделать; мы полны решимости сделать это. В ближайшие пару дней у меня будет более длинный пост».
У других лидеров разработки ИИ, включая Google и Meta**, также были реорганизации, в результате которых группы безопасности были распущены, а люди и ответственность разделены между остальными подразделениями. Аргументировалось это тем, что забота о безопасности человечества от ИИ будет делом всей компании. Критики утверждают, что только преданная своему делу команда — хоть какая-то гарантия, что задачи безопасности получат необходимые ресурсы и будут учтены во время принятия решений.
По данным агентства Bloomberg, в OpenAI за безопасность ИИ теперь будут отвечать Джон Шульман (John Schulman), также один из основателей компании, и Якуб Пачоцкий (Jakub Pachocki), руководивший проектом GPT-4.
Подготовка материала — Александр Виноградов, для «XX2 ВЕКа».
*заблокирована Роскомнадзором на территории Российской Федерации в марте 2022 года.
**признана экстремистcкой организацией на территории Российской Федерации.
Источники: https://www.axios.com/2024/05/17/openai-superalignment-risk-ilya-sutskever, https://www.wired.com/story/openai-superalignment-team-disbanded/, https://www.inc.com/associated-press/why-an-openai-safety-leader-just-quit.html, https://www.cnbc.com/2024/05/17/openai-superalignment-sutskever-leike.html
Вам также может быть интересно: