Совет директоров OpenAI сформировал Комитет по безопасности и охране. Новый комитет отвечает за выработку рекомендаций по критическим решениям в области безопасности и защиты для всех проектов OpenAI.
28 мая 2024 года взамен распущенной Superalignment Team был сформирован Safety and Security Committee, комитет по безопасности и... На офисном русском это так и называют «секьюрностью», а по смыслу security может быть и безопасностью, и охраной, и защитой. В новостях в основном используется последняя версия, но, по-моему, «охрана» лучше. Итак, создан был «Комитет по безопасности и охране».
В прошлом году под давлением Илона Маска было приостановлено обучение GPT-5. Однако развитие уже имеющихся моделей продолжалось. Пользователям сейчас доступен GPT-4o, который имеет больше возможностей, чем GPT-4 из 2023 года. Недавно началась тренировка следующей модели. Название пока не сообщается. В OpenAI ожидают, что полученные результаты помогут в разработке AGI — Artificial General Intelligence, общего искусственного интеллекта. Параллельно с этим, из OpenAI уволилось много ключевых специалистов из старой команды безопасности.
Теперь вопросы безопасности будут решать не великие программисты, а большие начальники. Комитет состоит в основном из членов совета директоров OpenAI. Председателем комитета назначен Брет Тейлор (Bret Taylor, создатель Google Maps). Также в комитет вошли Адам Д'Анджело (Adam D'Angelo, ИИ-инвестор), Николь Селигман (Nicole Seligman, знаменитый адвокат, участвовала в делах Иран-Контрас и Билла Клинтона, вошла в совет директоров OpenAI в марте 2024), и сам Сэм Альтман (CEO OpenAI).
Первой задачей нового комитета стала оценка имеющихся процессов и мер безопасности OpenAI. По истечении 90 дней Комитет по охране и безопасности поделится своими рекомендациями по их развитию со всем Советом директоров. После полной проверки Советом директоров, OpenAI расскажет о новом видении безопасности ИИ всему миру.
Программисты и учёные из OpenAI Александр Мадри (Aleksander Madry, учёный, руководитель отдела готовности), Лилиан Венг (Lilian Weng, исследовательница ИИ, руководитель отдела систем безопасности), Джон Шульман (John Schulman, один из основателей OpenAI, создатель ключевых алгоритмов в области обучения ИИ, руководитель отдела доводки моделей), Мэтт Найт (Matt Knight, руководитель отдела безопасности) и Якуб Пачоцки (Jakub Pachocki, главный научный сотрудник и основной разработчик новых моделей) также будут присутствовать на мероприятиях комитета.
Кроме того, OpenAI будет нанимать для консультации других специалистов по безопасности ИИ, в том числе Роба Джойса (Rob Joyce, бывший директор по кибербезопасности в Агентстве национальной безопасности США) и Джона Карлина (John Carlin, эксперт в области права и национальной безопасности).
Новая концепция безопасности ИИ от OpenAI, редакция 21 мая 2024
В рамках AI Seoul Summit компания OpenAI поделилась десятью практическими принципами обеспечения безопасности ИИ. Это моя субъективная оценка, но от старой концепции, вроде, остался только пункт 2. Остальное выглядит как стандартная бюрократия или как те самые 300 правил, которые заставили Робокопа жутко тормозить во втором фильме.
1. Эмпирическое тестирование моделей. Перед выпуском новые модели подвергаются тестированию на безопасность внутри компании. Затем проходит закрытое тестирование среди добровольцев.
2. Выравнивание. Программы искусственного интеллекта должны преследовать те же цели, что и люди, которые их используют.
3. Мониторинг злоупотреблений. Моделирование противостояния злоумышленников и модераторов.
4. Систематический подход. Реализация мер безопасности на каждом этапе жизненного цикла модели, от предварительного обучения до развертывания.
5. Защита детей. Внедрение мер безопасности в ChatGPT и DALL·E для защиты детей от потенциального вреда.
6. Защита процесса выборов. Сотрудничество с правительством для предотвращения злоупотреблений с использованием сгенерированного контента на выборах.
7. Оценка воздействия на реальный мир. Учёт ограничений, связанных с использованием ядовитых, биологически-активных и радиоактивных веществ. Оценка воздействия языковых моделей на различные профессии и отрасли.
8. Меры безопасности и контроля доступа. Защита интеллектуальной собственности и персональных данных.
9. Партнерство с правительствами. Сотрудничество с правительствами по всему миру выработки эффективной и адаптируемой политики безопасности ИИ.
10. Принятие решений по безопасности под надзором со стороны совета директоров.
Автор — Александр Виноградов (aka Commander Хэлл), для «XX2 ВЕКа».
Источники: OpenAI safety update; OpenAI Board Forms Safety and Security Committee; OpenAI создала комитет по безопасности ИИ-проектов, In RoboCop 2 (1990), while new directives are being uploaded in RoboCop…
Вам также может быть интересно:
