Стало известно, что ученые используют серию книг о Гарри Поттере для того, чтобы обучить ИИ забывать определенную информацию, в первую очередь, нарушающую авторское право.
Джоан Роулинг познакомила мир со своей волшебной вселенной более двух десятилетий назад, однако сегодня ее книги стремительно обретают актуальность в другой литературе — научной. Все больше исследователей используют тексты о Гарри Поттере в экспериментах с технологией искусственного интеллекта и упоминают их в целой серии научных исследований и статей.
Один из недавних примеров — статья «Кто такой Гарри Поттер?», рассказывающая о технологии, помогающей большим языковым моделям «забывать» определенную информацию, включающую проблемный контент и контент, защищенный авторским правом (использование таких учебных данных уже привело к ряду исков к разработчикам ИИ).
Авторы статьи, исследователи Microsoft Марк Руссинович и Ронен Элдан, попытались удалить информацию о существовании книг о Гарри Поттере (персонажей и сюжеты) из открытого кода языковой модели Meta Llama 2-7B.
Они разработали специальную технику, предусматривающую три шага для удаления данных из модели. Сначала модель обучили на целевых данных (на книгах о Гарри Поттере), чтобы идентифицировать связанные с ней токены и сравнить прогнозы с базовой моделью. Затем заменили уникальные выражения, взятые из «Гарри Поттера», общими аналогами и создали альтернативные прогнозы, приближенные к модели без такого обучения. И в конце концов точно настроили базовую модель на эти альтернативные прогнозы, фактически стирая оригинальный текст из памяти машины.
Внимание именно к книгам Роулинг в первую очередь обусловлено большой популярностью ее персонажей.
«Кто угодно может придумать вопросы, которые проверили бы, знает модель эти книги или нет. Даже не читавшие их люди знают элементы сюжета и основных персонажей», — говорит Руссинович, главный технический директор Microsoft Azure.
Работы Роулинг также использовались для проверки таких систем искусственного интеллекта, как одиозная ChatGPT.
Терренс Сейновски, управляющий лабораторией вычислительной нейробиологии в Институте биологических исследований Солка, утверждает, что чат-боты просто отражают интеллект и мировоззрение своих пользователей точно так же, как Зеркало Яцрес в первой книге о Гарри Поттере отображало желание стоящего перед ним человека.
👍 Ваш лайк — это лучшая благодарность за нашу работу!