Исследовательская группа Microsoft показала нейросеть, способную изображать трудные изображения на базе текстового описания. Раньше похожие методы ограничивались лишь только обычными объектами.
Сложность заключалась в том, дабы обучить нейросеть не элементарно генерировать предметы, но воспринимать их отношение приятеля к приятелю в рамках одной композиции. Дабы, к примеру, сделать иллюстрацию по описанию «Женщина в шлеме посиживает на лошади», методу светило «понять» по смыслу текстов взаимоотношение меж всеми данными объектами.
В базе лежит нейросеть ObjGAN, которая подвергает анализу слово и выделяет слова-объекты, располагая любой из их на изображении. И в случае если раньше методы делали рисунки, контролируя их качество, то данная сеть дополнительно подвергает анализу реалистичность объектов и как они соотносятся приятель к приятелю в рамках композиции на базе описания.
