Новая группа OpenAI по обеспечению готовности будет заниматься потенциальными опасностями, связанными с ИИ, включая ядерные угрозы.
OpenAI формирует новую команду для снижения "катастрофических рисков", связанных с ИИ. В обновленном сообщении, опубликованном в четверг, OpenAI сообщает, что группа по обеспечению готовности будет "отслеживать, оценивать, прогнозировать и защищать" от потенциально серьезных проблем, вызванных ИИ, включая ядерные угрозы.
Кроме того, группа будет работать над снижением "химических, биологических и радиологических угроз", а также "автономной репликации", или акта самовоспроизведения ИИ. Среди других рисков, которые будут рассматриваться группой по обеспечению готовности, - способность ИИ обманывать людей, а также угрозы кибербезопасности.
Флагманская модель ИИ от OpenAI стала более надежной, но ее легче обмануть
"Мы считаем, что пограничные модели ИИ, которые будут превосходить возможности, присутствующие в настоящее время в наиболее продвинутых существующих моделях, потенциально могут принести пользу всему человечеству", - пишет OpenAI в обновлении. "Но они также несут в себе все более серьезные риски".
Возглавит группу по обеспечению готовности Александр Мадри, который в настоящее время находится в отпуске по уходу с должности директора Центра развертываемого машинного обучения Массачусетского технологического института. OpenAI отмечает, что группа готовности также будет разрабатывать и поддерживать "политику разработки с учетом рисков", в которой будет описано, что компания делает для оценки и мониторинга моделей ИИ.
Генеральный директор OpenAI Сэм Альтман и раньше предупреждал о возможности катастрофических событий, вызванных ИИ. В мае Альтман и другие известные исследователи ИИ выступили с заявлением из 22 слов о том, что "снижение риска вымирания в результате применения ИИ должно стать глобальным приоритетом". Во время интервью в Лондоне Альтман также предложил правительствам относиться к ИИ "так же серьезно", как к ядерному оружию.
