Как стало известно порталу CADELTA.RU совсем недавно группа американских ученых разработала полноценную нейросеть, которая позволяет генерировать видеоряд на основе введенного в ее интерфейс текста. Примером могут служить простые фразы: «Кот пьет молоко» или «Игра в прятки в лесу». Длина такого видео в среднем получается около 1 секунды, что составляет 32 кадра, а разрешение – 64х64 пикселя.
Как это работает?
Генерация видео происходит в два этапа. Сначала нейронная сеть определяет смысл введенного пользователем текста и на его основе создает размытую картинку с ярким пятном в том месте, где будет происходить действие короткого сюжета. А уже затем происходит создание самого видео.
Вот тут специалисты Microsoft рассказывают как нейросеть распознает текст в обычной жизни. Это по сути более простая версия обратного распознания, что предлагают ученые из Торонто .
Разработчики смогли научить нейронную сеть анализировать свою работу и на основе этого анализа постоянно поднимать качество генерируемых видео сюжетов. Суть этого анализа заключается в том, что нейросеть постоянно ищет на просторах сети Интернет различные видеоролики и добавляет их в свою базу. А затем уже сопоставляет сохраненные видео с запросом пользователя. Однако это не мешает ей создавать любые ролики по запросу пользователя, в не зависимости от того есть они в базе или нет. Так, например, ученые пробовали создавать и самые абсурдные ролики вроде «Парусного спорта на снегу» или «Игра в гольф в плавательном бассейне».
Уже можно загружать свои тексты?
Пока что нейросеть только учится и еще не доступна для публичного доступа, но ученые из Торонто утверждают, что за время проведенных испытаний система смогла правильно определить указанное действие в более чем 50% случаев. Посмотреть результаты полученных видео можно по ссылке: http://www.cs.toronto.edu/pub/cuty/Text2VideoSupp/
На взгляд нашей редакции, разработка ученых из Торонто имеет неплохие перспективы. Ведь с помощью описанной выше нейросети каждый пользователь сможет самостоятельно сделать короткое видео, которое можно использовать в качестве поздравительной Интернет открытки или слайда презентации просто введя несколько слов в интерфейс системы.
Нам очень приятно, что вы дочитали до конца. Если наша публикация пришлась вам по душе, поддержите нас подпиской и лайком, и мы сможем радовать вас ещё более интересными публикациями еще чаще. А ещё у нас есть телеграм канал.
