Программисты из компании Disney Research разработали нейросеть, которая создает анимационные ролики по реальными текстовым сценариям фильмов и театральных постановок.
Система с искусственным интеллектом делится на несколько модулей. Каждый из них выполняет определенную функцию. Благодаря работе первых двух генерируется упрощенный вариант сценария.
Так, исходное литературное произведение получает модуль, который осуществляет предварительную обработку текста. Он выделяет ключевые предложения из описания сцен. Эта информация передается компоненту ИИ-системы, который упрощает текст. Алгоритм делит предложения таким образом, чтобы в каждом содержалось по одному действию. Некоторые слова он заменяет синонимами.
В упрощенном варианте сценария ИИ-система прописывает технические данные: эмоции героев, время, когда начинается действие, и т. д. Затем очередной модуль, основываясь на полученной информации, генерирует 3D-анимацию. Нейросеть сопоставляет объекты и действия в сценарии с аналогами из библиотеки, которая содержит 92 анимированных блока.
Схема работы алгоритма
Эффективность работы искусственного интеллекта от Disney Research проверили при помощи BLEU-метода. Три человека создали анимацию по тому же принципу, что и нейросеть. Специалисты сравнили, как с этой задачей справились программа и люди. Оказалось, что качество преобразования сценария программой изменялось в зависимости от типа слов в тексте. Наибольшая схожесть с человеческой работой наблюдалась, когда ИИ-система описывала эмоции героев.
Кроме того, работу алгоритма оценили добровольцы. 45,2% участников эксперимента согласились с тем, что искусственный интеллект смог правильно визуализировать записанный в сценарии текст.
Источник: https://robo-hunter.com/news/disney-nauchila-neiroset-sozdavat-animaciy-po-tekstovomu-scenariy16919 © robo-hunter.com