OpenAI — некоммерческая исследовательская компания, которая занимается вопросами искусственного интеллекта, распознавания образов и тренировкой нейросетей. Её сформировали ещё в 2015 году, причём одним из основателей был предприниматель Илон Маск. С тех пор команда исследователей несколько раз демонстрировала любопытные результаты в области изучения ИИ — например, в 2017-м бот OpenAI победил сильнейших игроков в Dota2.
Команда учёных под руководством Алека Рэдфорда (Alec Radford) создала алгоритм GPT-2, который научился генерировать осмысленные тексты — на основе уже прочитанного материала. Исследователи собрали базу данных WebText из 40 гигабайт с восьми миллионов страниц в интернете. Авторы опирались не только на новостные заметки, а на самые разные материалы, в том числе и на заметки с Reddit. Программа рассматривала посты, собравшие больше трёх «плюсов».
После того, как обучение было завершено, исследователи обнаружили, что алгоритму можно «скормить» небольшой отрывок текста, а на выходе получить материал, основанный на первоначальной идее.
Вот такой текст показали алгоритму в одном из примеров:
Шокирующая находка — учёные нашли стадо единорогов, обитающих в удалённой, ранее не исследованной долине в Андах. Ещё большей неожиданностью стало то, что единороги разговаривают на идеальном английском.
GPT-2 сгенерировал девять абзацев. Мы перевели первые три:
Учёные назвали эту популяцию в честь выдающегося рога — единороги Овида. Эти четверорогие серебристо-белые единороги ранее не были известны науке.
Теперь, спустя почти два века, загадка возникновения этого удивительного феномена наконец-то разрешена.
Доктор Хорге Перетц, биолог-эволюционист из университета Ла-Пас, вместе с несколькими компаньонами занимались исследованием Анд, когда они обнаружили небольшую долину, где не было животных или людей. Перетц заметил нечто похожее на естественный фонтан, окружённый двумя скалистыми пиками и серебристым снегом.
Исследователи не выложили программный код обученной модели целиком, поскольку они боятся «недобросовестного использования». Вместо этого они опубликовали лишь упрощённую модель и описали проделанную работу в статье.