В 2023 году летом была сформирована команда Superalignment под эгидой OpenAI. Её задачей стал контроль и управление ИИ системами будущего, обладающими столь значительной мощностью, что могли представлять угрозу для человеческого бытия. Однако, не прошло и года, как данная команда была распущена.
Bloomberg получил информацию от OpenAI о том, что “группа Superalignment стала неотъемлемой частью исследовательских проектов компании, направленных на повышение безопасности”. Тем не менее, недавний уход Яна Лейке, одного из ключевых фигур в команде, и его серия сообщений в Twitter выявили скрытые конфликты между отделом безопасности и остальной частью организации.
Лейке в своём заявлении, опубликованном в X в конце недели, отметил, что команда Superalignment испытывала трудности с получением необходимых ресурсов для своих работ.
Разработка искусственного интеллекта, превосходящего человеческий ум, несет в себе риски. OpenAI осознает величину ответственности, которую она несет перед человечеством. Однако, в последнее время, внимание культуры безопасности и процессов уступило место созданию привлекательных продуктов.
Илья Суцкевер, сооснователь OpenAI и ключевой член команды Superalignment, объявил о своем уходе, после чего, спустя несколько часов, последовал уход Яна Лейке. Эти события, произошедшие на этой неделе, вызвали значительное внимание к составу руководства компании.
Шесть месяцев назад, было принято решение об отстранении Сэма Альтмана от должности генерального директора по причине недостаточной открытости в общении с советом директоров. Решение об увольнении Альтмана спровоцировало бурную реакцию среди сотрудников OpenAI, в результате чего около 800 человек подписали письмо с требованием его восстановления, иначе они угрожали коллективным уходом. Спустя пять дней Альтман был вновь назначен на пост генерального директора.
В момент анонса о создании команды Superalignment, OpenAI обещала выделить 20% своих вычислительных мощностей на протяжении ближайших четырёх лет для решения задач контроля над мощными ИИ системами, что было признано критически важным для компании. Однако, Лейке в своём заявлении в X указал на то, что команда столкнулась с проблемами доступа к вычислительным ресурсам, что затрудняло проведение ключевых исследований в области безопасности ИИ. “В последние месяцы мы сталкивались с противодействием”, отметил он, добавив, что достиг предела терпения в связи с разногласиями с руководством OpenAI относительно основных приоритетов.
В последние месяцы команда Superalignment потеряла несколько сотрудников. OpenAI приняла решение об увольнении двух исследователей в апреле, Леопольда Ашенбреннера и Павла Измайлова, по обвинению в утечке информации.
Компания OpenAI объявила, что Джон Шульман, один из сооснователей, чья работа фокусируется на развитии крупных языковых моделей, будет руководить их будущими проектами по безопасности, как сообщила Bloomberg. На посту главного научного сотрудника Якуба Пачоцкого, который ранее возглавлял разработку GPT-4, одной из ведущих языковых моделей OpenAI, придет Суцкевер.
Не только команда Superalignment занималась вопросами безопасности ИИ в OpenAI. В октябре компания сформировала новую команду “готовности”, цель которой — предотвратить “катастрофические риски” связанные с системами ИИ. Это включает в себя угрозы в области кибербезопасности, а также химические, ядерные и биологические опасности.