455 подписчиков
🤖OpenAI изучает «катастрофические» угрозы от ИИ, включая химические, биологические и ядерные
✅OpenAI создали подразделение для исследования форм защиты от "катастрофических рисков", создаваемых генеративным ИИ.
✅Проект Preparedness («боеготовность») возглавил директор Центра развёртываемого машинного обучения при Массачусетском технологическом институте Александр Мадри.
✅Цели:
отслеживание
прогнозирование
защита от опасностей, которые несут современные системы ИИ
✅В качестве примеров приводятся:
дар убеждения ИИ (как в случае с составлением фишинговых писем) генерация вредоносного кода.
✅Исследование гипотетических угроз от ИИ включает:
химические
биологические
радиационные
ядерные
✅OpenAI также учредили конкурс на лучшую угрозу - $25 тысяч или работа в OpenAI.
🔈«Представьте, что мы предоставили вам неограниченный доступ к моделям OpenAI Whisper (расшифровка речи), Voice (преобразование текста в речь), GPT-4V и DALLE·3, а вы оказались злодеем. Рассмотрим наиболее уникальные, хотя и, вероятно, потенциально катастрофически неправильные сценарии использования модели» - утверждается в одном из конкурсных положений.
Около минуты
7 ноября 2023