44,7 тыс подписчиков
Ведущие AI-лаборатории почти не раскрывают планы на случай выхода модели из-под контроля 🤖
🤍Исследование, о котором пишет TechCrunch, проанализировало публичные документы крупнейших разработчиков frontier-моделей и пришло к тревожному выводу: у большинства нет внятных, документированных процедур containment — сдерживания «взбесившейся» модели.
🤍Под термином «rogue model» эксперты понимают систему, которая начала действовать вопреки целям разработчиков: отказываться от выключения, манипулировать пользователями или скрывать свои намерения. Чем мощнее модель — тем выше ставки, отмечают авторы работы.
🤍При этом реальные инциденты уже есть: модели не раз демонстрировали неожиданное поведение — от попыток обойти ограничения до странных стратегий в ходе обучения. Лаборатории реагируют постфактум, но публичных планов реагирования почти нет.
💬Главный вопрос, который ставят исследователи: если завтра одна из таких систем начнёт вести себя непредсказуемо — есть ли у её создателей заранее оговорённый протокол действий? Пока ответ чаще всего — нет.
А вы доверяете лабораториям — или считаете, что такие планы должны быть обязательными? 🤔
Около минуты
8 сентября