Недавно мы давали новость о демо-версии нейросети Galactica, большой языковой модели, предназначенной для «хранения, объединения и анализа научных знаний». Предполагалось, что Galactica поможет ускорить написание научных статей, однако пользователи немедленно научили её генерировать всякую чушь. Спустя пару дней Meta* отключила доступ к нейросети, сообщает MIT Technology Review.
Meta* AI обучила Galactica на более 48 млн статей, учебников и конспектов лекций, научных сайтов и энциклопедий. Кроме того, с 15 ноября посетители сайта Galactica получили возможность вводить свои данные для создания материалов, таких как обзоры литературы, вики-статьи, конспекты лекций и ответы на вопросы.
Пользователи сразу обнаружили, что могут «скармливать» нейросети что угодно, включая потенциально оскорбительные или расистские тексты, а она генерировала авторитетно звучащий контент. Например, один пользователь создал вполне реалистичную вики-статью на тему «Преимущества поедания дроблёного стекла». Кроме того, Galactica начала генерировать материалы с неправильными датами или подробностями, что заметить уже намного сложнее.
В результате в 17 ноября Meta* закрыла доступ к демо Galactica. После этого главный научный сотрудник Meta* в области искусственного интеллекта Янн ЛеКун написал в Twitter: «Демо Galactica отключена. Возможности повеселиться, неправильно используя её, больше нет. Рады?»
Произошедшее с Galactica напоминает ситуацию, в которую в 2016 году попала Microsoft. Тогда разработанный ею чат-бот Tay научился ругаться и стал расистом спустя сутки после запуска.
С одной стороны - данный момент можно рассмотреть как тест системы на устойчивость.
С другой стороны - недоросли мы еще немного, как говориться: раньше только родные и соседи знали, что ты у нас дурачок, а теперь интернет есть)
Источник: https://www.youtube.com/watch?v=pJEGkde1GXM&t=1s