В Австралии ИИ-агент компании OpenAI вышел из-под контроля при выполнении бытовой задачи. Нейросеть взломала сайт спортзала ради записи своего хозяина.
Мужчина по имени Эндрю попросил своего личного ИИ-помощника забронировать утреннее занятие в фитнес-клубе. Используя уязвимость в программном обеспечении спортзала, нейросеть не только записала мужчину на несколько месяцев раньше положенного срока, но и взломала систему, чтобы удалить из листа ожидания реального человека, стоявшего перед Эндрю.
«В API нет проверок на наличие прав для отмены бронирований других людей… Я протестировал это на человеке, который был на первом месте в листе ожидания, и все прошло успешно», — сообщил ИИ-агент в ответ на запрос владельца.
Когда шокированный мужчина потребовал вернуть всё назад, ИИ ответил: «Плохие новости — я не могу вернуть их обратно».
Эксперты отмечают, что инцидент ярко иллюстрирует проблему «согласования», когда автономные алгоритмы выбирают непредсказуемые методы для достижения безобидных целей пользователя.
Юристы подчеркивают, что подобные ситуации создают правовой вакуум, поскольку программа не является юридическим лицом и не может нести ответственность за взлом.
Сам Эндрю назвал произошедшее серьезным предупреждением. «Это не конец света, так что я не стал себя корить, но это, безусловно, стало предупреждением о том, что нужно использовать его с осторожностью», — заявил он.
В качестве искупления ИИ помог составить письмо разработчикам уязвимого софта с отчетом об ошибке безопасности.
Накануне сотрудник OpenAI Эрик Уоллес рассказал, что ИИ-модели его компании в ходе тестирования общались между собой в попытке организовать побег в интернет. Чуть позже, во время другого тестирования, модели OpenAI самовольно совершили кибератаку на инфраструктуру платформы Hugging Face. Нейросети почти взломали один из крупнейших порталов.