Компания Microsoft создала технологию на базе искусственного интеллекта, которая способна рисовать изображение на основе текстового описания (например, желтую птичку с черными крыльями и коротким клювом). Согласно исследованию, разработчики почти в 3 раза улучшили рекорд качества получаемых изображений.
Credit: Microsoft
В основе бота лежит технология GAN (Generative Adversarial Network). Она содержит две модели машинного обучения, одна из которых генерирует изображения по текстовому описанию, а другая отвечает за оценку их достоверности. Работая вместе, они совершенствуют качество получающихся рисунков. Ученые также разработали специальный алгоритм AttnGAN, который позволяет не обрабатывать предложение целиком, а разбивать его на отдельные слова. За счет этого технология более точно выбирает область для размещения каждой детали изображения.
При этом, помимо того, что содержится в описании, бот способен дорисовывать объекты, которые подходят к композиции по смыслу. К примеру, на большинстве фотографий птицы изображены сидящими на ветвях деревьев. Технология может добавить этот элемент, даже если он не прописан в задании.
Технология преобразования текста в изображения может применяться для помощи дизайнерам и художникам в создании эскизов. По мнению разработчиков, при возможности использования больших вычислительных мощностей, алгоритм сможет также создавать анимационные фильмы по тексту сценария.
Текст: пресс-служба Microsoft
AttnGAN: Fine-Grained Text to Image Generation with Attentional Generative Adversarial Networks
Tao Xu, Pengchuan Zhang, Qiuyuan Huang, Han Zhang, Zhe Gan, Xiaolei Huang, Xiaodong HearXiv:1711.10485Читайте материалы нашего сайта в Facebook, ВКонтакте и канале в Telegram, а также следите за новыми картинками дня в Instagram.
