Руководитель команды OpenAI по согласованию ИИ получил новую должность главного футуролога, в то время как остальные члены команды переведены в другие отделы компании. — techcrunch.com
OpenAI распустила команду, которая занималась — как сама компания описывала — обеспечением того, чтобы ее ИИ-системы были «безопасными, надежными и последовательно соответствовали человеческим ценностям». Одновременно бывший руководитель команды получил новую должность «главного футуролога» компании.
OpenAI подтвердила TechCrunch, что члены команды были переведены на другие должности. Об этом первым сообщил Platformer.
Упомянутая распущенная команда, которая, по-видимому, была сформирована в сентябре 2024 года, являлась внутренним подразделением стартапа, занимавшимся вопросами согласования (alignment). Это широкая область интересов в индустрии, цель которой — обеспечить соответствие действий ИИ интересам человека.
«Мы хотим, чтобы эти системы последовательно следовали человеческим намерениям в сложных реальных сценариях и враждебных условиях, избегали катастрофического поведения и оставались управляемыми, проверяемыми и соответствующими человеческим ценностям», — говорится в посте из блога OpenAI Alignment Research.
В вакансии OpenAI для команды Alignment описывается ее деятельность как исследования в области ИИ, направленные на «разработку методологий, позволяющих ИИ надежно следовать человеческим намерениям в широком спектре сценариев, включая враждебные или высокорискованные».
В посте в блоге, опубликованном в среду, Джош Ачиам, бывший глава команды Alignment в OpenAI, объяснил свою новую роль главного футуролога компании. «Моя цель — поддержать миссию OpenAI по обеспечению того, чтобы общий искусственный интеллект приносил пользу всему человечеству, изучая, как мир изменится в ответ на ИИ, AGI и далее», — написал Ачиам.
Ачиам отметил, что в своей новой роли он будет сотрудничать с Джейсоном Пруитом, физиком из технического отдела OpenAI.
Представитель OpenAI сообщил, что остальные члены команды Alignment — группа из шести или семи человек — были впоследствии переведены в другие подразделения компании. Представитель не смог точно указать, куда именно были назначены члены команды, но отметил, что они занимаются схожей работой на новых должностях. Также неясно, будет ли у Ачиама новая команда в рамках его роли «футуролога».
Представитель объяснил расформирование команды как часть обычных реорганизаций, которые происходят в быстро развивающейся компании.
Ранее у OpenAI была так называемая «команда суперсогласования» (superalignment team), сформированная в 2023 году и занимавшаяся изучением долгосрочных экзистенциальных угроз, исходящих от ИИ, но эта команда была распущена в 2024 году.
На личном сайте Ачиама он по-прежнему указан как глава отдела согласования миссии (Mission Alignment) в OpenAI и описывается как человек, заинтересованный в обеспечении «хорошего долгосрочного будущего человечества». Его профиль в LinkedIn показывает, что он занимал должность главы отдела согласования миссии с сентября 2024 года.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Lucas Ropek