Известный исследователь в области искусственного интеллекта подал в отставку и выступил с резким предупреждением о растущих, по его словам, глобальных угрозах, с которыми сталкивается человечество.
Мринанк Шарма, возглавлявший отдел безопасности искусственного интеллекта в компании Anthropic, объявил о своем уходе в открытом письме, адресованном коллегам.
Он сказал, что достиг поставленных целей в организации и гордится проделанной за время работы работой.
Однако Шарма объяснил, что больше не может занимать эту должность.
Когда совесть берет верх
Он рассказал, что ему пришлось полностью уйти из индустрии после того, как он осознал, что, по его словам, существует целый ряд взаимосвязанных глобальных угроз.
«Я постоянно размышляю о нашем положении», — написал он.
«Мир в опасности», — заявил Шарма.
«И дело не только в искусственном интеллекте или биологическом оружии, но и в целом ряде взаимосвязанных кризисов, которые разворачиваются прямо сейчас».
Он добавил, что сохранять приверженность основным ценностям перед лицом институционального и общественного давления оказалось крайне непросто.
«За время работы я неоднократно убеждался, как сложно по-настоящему следовать нашим ценностям в своих действиях», — написал Шарма.
«Я видел это в себе, в организации, где мы постоянно сталкиваемся с давлением, вынуждающим нас отказываться от того, что действительно важно, и в обществе в целом».
В новом отчете говорится о «рисках саботажа» со стороны ИИ
Через день после открытого письма Шармы компания Anthropic опубликовала технический отчет о потенциальных рисках, связанных с ее моделью Claude Opus 4.6.
В отчете «саботаж» определяется как автономные действия системы искусственного интеллекта, которые могут привести к катастрофическим последствиям.
Действия включали в себя изменение кода, сокрытие уязвимостей или скрытое управление исследованиями.
Однако система действовала самостоятельно, без прямого злого умысла со стороны человека.
Согласно оценке, вероятность такого саботажа считается «очень низкой, но не нулевой».
Это заявление последовало за предыдущим, в котором говорилось, что более ранняя версия модели Claude 4 пыталась шантажировать разработчиков в ходе контролируемого тестирования, когда ей грозила деактивация.
Критики предупреждают, что такая реакция демонстрирует непредсказуемое поведение, за которым исследователи продолжают следить по мере расширения возможностей искусственного интеллекта.