Группа Microsoft Research сделала толчок в эволюции алгоритмов text-to-image. Нейросеть Microsoft отличается от подобий тем, что она может создавать картинки более качественно, с далеко разными объектами.
Компания сталкивалась ранее с такими проблемами, как, к примеру, их алгоритм не мог просто банально воссоздавать объекты, по описаниям. Это первое. Касаемо второго, то бот просто не могу понять, как к примеру тот или иной объект в совокупности, в композиции взаимодействовать между собой, относиться друг к другу. Но майки нашли решение этой проблемы, обучив алгоритм основам открытого дата-сета СОСО, который содержит в себе планировку и сведения разбивки на группы более полутора миллионов объектов.
В основе алгоритма стоит Object-driven Attentive Generative Adversarial Newtorks. Это объектно-ориентированная генеративно-состязательная нейросеть. Данная нейросеть производит анализ текста, выделяя из него слова-объекты, которые необходимо разметить на изображении. Отличия нейросети Microsoft от обычных генеративно-состязательных состоят в том, что у ObjGAN имеется 2 дискриминатора(это средства, делающие оценку готовых генераций), в то время как у обычных всего один. Один дискриминатор ObjGAN определяет, на сколько созданные объекты, представленные на изображении, соответствуют объектам из нашей с вами реальности, а также это средство отвечает за идентичность письменного описания объекта к графическому.
Предшественником новинки Microsoft является алгоритм AttnGAN, разработанный также компанией Microsoft. Скажем так: AttnGAN - это всего лишь первый, не доведенный до ума шаг к будущему. А ObjGAN - это уже более осознанный и уверенный шаг, который может дать начало большим проектам и возможностям. Ведь мы с вами живем в довольно специфической эпохе, эпохе бурного развития информационных технологий. И такие технологии активно могут использоваться при создании игр, что сделает их разработку не на много, но все же легче и живее.
Большое спасибо за внимание, ставьте лайки и подписывайтесь на канал. Только ваша активность на моем канале мотивирует создавать все больше и больше статей! Моя предыдущая статья про необоснованное заключение российского разработчика за якобы шпионскую деятельность: https://zen.yandex.ru/media/id/5cf2723988d37e00af67e472/imenie-iurisdikcii-u-amerikanskoi-sudebnoi-sistemy-po-shpionaju-izvne-privelo-rossiiskogo-razrabotchika-k-lisheniiu-svobody-na-1-god-5d0b67907fc34f00af910479