Творчество, безусловно, является одним из самых увлекательных и впечатляющих видов человеческой деятельности, на воспроизведение которого также направлена робототехника. Способности роботов нового поколения все больше тестируются в танцах, в актерской игре, в живописи и в музыке (кстати, на канале уже была статья про музыкальных ботов)
Внешний вид и навыки, характерные для антропоморфных роботов, делают танцевальную область очень интересной и сложной, поскольку человеческие движения повторить, либо воспроизвести довольно непростая задача. Танец - это гармоничная композиция движений, движимых музыкальными стимулами и взаимодействием с другими предметами. Танцевальные движения следуют ритму музыки и синхронизированы с музыкальной последовательностью. Поэтому при попытке подражать человеческому танцу необходимо учитывать, как время, так и ритм выполнения движений.
Реализация танцевальных возможностей роботов не преследует исключительно развлекательные цели. Задача состоит в том, чтобы выйти за рамки заранее запрограммированного танца, выполняемого роботами. Творческий процесс должен моделировать умственные процессы, вовлеченные в творчество человека, чтобы генерировать движения и принимать во внимание различные музыкальные жанры. Восприятие роботов должно влиять на процесс выбора, а результаты процесса обучения должны привести к формированию личного художественного стиля, который может быть пересмотрен или уточнен после оценки аудитории.
Какие решения есть в настоящее время?
В различных литературных произведениях предлагаются подходы к созданию танцевальных движений. Один из них был предложен и опробован Лукой и Луизой Црнкович-Фриис. Это глубоко обучающаяся генеративная модель, использующая тип повторяющейся нейронной сети с длинной кратковременной памятью, которая используется для создания новых хореографий. Сеть обучается работе с необработанными данными о движении, состоящими из современных танцевальных движений в исполнении хореографа. Набор данных по обучению не содержит никакой информации о музыкальных особенностях.
Cochoreo - это модуль инструмента рисования эскизов под названием DanceForms, используемый для создания и анимации ключевых кадров. Модуль сочетает в себе функциональность инструмента поддержки творчества с автономно творческой системой, опирающейся на генетический алгоритм, который генерирует новые ключевые кадры для позиций тела. Кадры оцениваются в соответствии с параметризованной фитнес-функцией, которая позволяет хореографу настраивать параметры генерации в зависимости от своих личных предпочтений.
Другим примером является работа, использующая хаотическую динамику маршрутизации (CI), созданную сетью искусственных нейронов с пикамингом. Движения выбираются в режиме реального времени путем преобразования выхода нейронной сети, которая обрабатывает музыкальные удары, а затем выполняются роботом.
Творческий танец роботов с вариационным энкодером
На протяжении всей работы выражение "вариационный энкодер" используется для обозначения изменения предполагаемого использования вариационных автокодеров; в то время как внутренняя структура остается неизменной, скрытые переменные используются не для точной реконструкции, а для введения другой информации, которая проактивно изменяет процесс реконструкции, позволяя роботу выполнять другой набор движений, а также менять свой стиль танца в соответствии с предыдущими выступлениями.
Фаза обучения
В процессе обучения нейронная структура изменяется путем увеличения или уменьшения силы синаптических связей, вовлеченных в данную деятельность. Искусственные нейронные сети моделируют этот процесс, регулируя взвешенные связи между нейронами. Для нахождения удовлетворительной конфигурации может потребоваться несколько итераций, которые в совокупности называются "обучение".
Хореография в подобном роботе строится вокруг последовательностей движений. Набор совместных значений делится на два подмножества: первый будет использоваться для обучения вариационного автокодера, второй - для прогнозирования.
Роботизированные танцы
Идея состоит в том, чтобы позволить роботу выполнить одно движение в соответствии с битом. Учитывая положение удара и интервал между двумя последовательными ударами, система может выполнить одно движение за каждый обнаруженный интервал. Сеть, используя в качестве входа интенсивность и дисперсию музыкального интервала, выводит конфигурацию суставов, которая представляет собой одно единственное движение. Количество движений, которое предсказывает сеть, зависит от количества обработанных музыкальных элементов.
Заключительная часть системы фокусируется на выполнении движений роботом синхронно с музыкой. Исполнение танца состоит из сочетания движения, прогнозируемых сетью, и особенностей аудио сигнала для удержания времени
Предлагаемая система является гибкой и может адаптироваться к различным музыкальным жанрам, ведь, какой бы тип ритмической музыки ни предоставлялся в качестве входа, система может генерировать последовательности движений. Кроме того, существует возможность продолжить обучение сети с другими музыкальными жанрами, добавляя новые движения, полученные в ходе различных учебных занятий с танцорами-людьми.
Подход, основанный на глубоком изучении языка человеческого тела вместе с использованием вариационного кодировщика показала отличные результаты.
Кодер прошел обучение с помощью набора движений, «списанных» у танцоров, имеющих разную квалификацию. В результате робот смог импровизировать и выполнять танцевальные движения в соответствии с прослушанной музыкой, даже если они не были представлены ранее на этапе изучения.