Компьютерные специалисты и Стэнфордского университета создали программу, способную генерировать текстовую часть мемов. Система основана на работе нейросети с долгой краткосрочной памятью и умеет создавать смешные (по крайней мере, так считают 5 добровольцев, оценивших результат) картинки.
Обучение нейросети
В Интернете полно сайтов (например, тот же Meme Generator), предлагающих создать смешные картинки с подписями (кэпшенами). Используя готовые картинки-шаблоны или загрузив собственные, текст вводится в специальное окошко и наносится на изображение. Для искусственной нейросети создание подобного мема с помощью готового шаблона выглядит задачей довольно простой: придумывать и вводить членораздельный кэпшн самостоятельно компьютеры давно умеют. Задача, однако, осложняется тем, что зачастую картинка-шаблон подразумевает и использование подписи определенного типа. Знаменитый мем с Боромиром должен начинаться с фразы «Нельзя так просто взять и…» («One does not simply…»), а мем с Брайаном-неудачником (Bad Luck Brian) — описывать ситуацию, которая начинается позитивно, а развязка неожиданным образом становится негативной.
Научить нейросеть придумывать такие мемы самостоятельно (и так, чтобы они выглядели убедительно) можно с помощью алгоритмов глубокого обучения. Этим как раз и занялись Абель Пирсон и Мелтэм Толунэй из Стэнфордского университета. Инженеры создали нейросеть и обучили ее на базе 400 тысячах изображений с сайта Meme Generator. Из этой выборки взяли 2600 уникальных шаблонов-картинок, каждому из которых соответствовало краткое описание и примеры кэпшенов.
Для создания мема система использует рекуррентную нейросеть с двумя моделями, основанными на долгой краткосрочной памяти. Программа во многом основана на алгоритме для создания подписей к изображениям Show and Tell, который в 2015 году представили разработчики Google. Нейросеть обучили создавать мемы не только получая на вход картинку-шаблон, но и шаблон вместе с соответствующим ему названием.
Примеры мемов, созданных нейросетью
Люди смогли отличить настоящие мемы от искусственных в 70% случаев
Созданные мемы исследователи попросили оценить у пяти добровольцев, каждому из которых показывали искусственные мемы и мемы из обучающей выборки, сделанные людьми. Картинки, созданные реальными людьми, получили от оценщиков 7 баллов по шкале забавности (от 1 до 10), созданные нейросетью мемы — от 6 до 6,8 баллов в зависимости от алгоритма. При этом люди отличали настоящие мемы от искусственных в 63-70 процентах случаев. Для автоматической оценки получившихся кэпшенов разработчики использовали параметр «растерянности» (perplexity), который подсчитывает обратную вероятность появления каждого последующего слова в сгенерированном тексте на основе распределения вероятностей обучающей выборки и выражается в двойке в положительной степени (чем ближе этот показатель к двум, тем точнее работает модель). Величина этого параметра для созданных мемов равнялась 2,02 и 2,68 для разных моделей.
Ознакомиться с исходным кодом алгоритма, а также примерами получившихся мемов можно в репозитории разработчиков на github.
Обсудить эту новость и другие вы можете в нашем официальном Telegram-чате Hi-News.ru