Введение.
В данной статье описывается алгоритмический подход к генерации музыки.
Основная цель заключается в моделировании и изучении музыкальных стилей, а затем в создании нового музыкального контента.
Это сложно смоделировать, так как для этого требуется, чтобы функция могла в будущем воспроизводить прошлую информацию для проектирования.
Кроме того, модель должна выучить оригинальный предмет и трансформировать его.
Это первое условие памяти - необходимая и нетривиальная задача.
Вторым необходимым условием является сформированность или сплоченность. Следующая задача состоит в том, чтобы понять подструктуру, лежащую в основе работы, чтобы она выполняла ее слаженно.
Легче создать небольшие, несвязанные между собой единицы, которые не способствуют ощущению связности произведения.
Третьим ненужным, но достаточным условием является музыкальная, эстетическая ценность и новизна. Модель не должна подвергать вторичной переработке накопленный опыт статическим, необдуманным образом.
Скорее, модель должна оптимизироваться в условиях неопределенности, изучая потенциальные варианты последовательности нот и выбирая наиболее ценный путь.
В этой и следующих статьях будет представлен некоторый музыкальный язык, за которым последуют необходимые условия, а затем и достаточные условия.
Будут также представлены основные направления решений. В этой статье два разных варианта будут повторно реализованы и использованы в качестве ориентиров, также изменения будут описаны.
В последующих статьях будут рассмотрены:
- методология;
- цели и технические проблемы;
- формулирование и разработка проблем;
- осуществление;
- результаты и выводы.
Музыка как задача создания последовательности.
Одним из методов алгоритмической генерации музыки является обучение вероятностной модели. Моделировать музыку как распределение вероятностей, картирование или последовательность нот на основе вероятности появления в корпусе обучающей музыки. Эти вероятности заимствованы из входных данных без предварительной спецификации конкретных музыкальных правил.
Алгоритм выявляет паттерны только из музыки.
После обучения модели генерируется новая музыка в последовательности. Эта сгенерированная музыка происходит из выборки изученного распределения вероятностей. Такой подход усложняется структурой музыки. Структурно большинство музыки содержит мелодию или последовательность нот с одним инструментом или вокальной темой. Эта мелодия может быть монодичной, т.е. не более одной ноты за каждый шаг времени.
Мелодия также может быть полифонической, т.е. больше одной ноты за один шаг времени. В случае с хоралами Баха, у них есть полифония, или несколько голосов, производящих полифоническую мелодию. Эти мелодии также могут сопровождаться аккомпанементом. Это может быть контрапункт, состоящий из одной или нескольких мелодий или голосов.
Форма аккомпанемента может также представлять собой последовательность аккомпанементов, которые образуют связанный с ними термин - гармония.
Входные данные имеют большое значение для характера генерируемого выхода.
Эти музыкальные детали актуальны, потому что подготовка вероятностной модели осложняется многомерностью полифонической музыки. Например, в течение одного шага времени могут возникать множественные ноты, создающие гармонические интервалы.
Эти заметки также могут быть шаблонами на нескольких последовательных временных шагах. Далее, музыкальные ноты выражаются октавой, или интервалом между музыкальными нотами.
Расстояние в одну или несколько октав друг от друга по предположению музыкально эквивалентно, создавая идею круговорота высоты тона.
Поэтому угол продольного наклона рассматривается как имеющий два измерения: высоту, которая относится к абсолютной физической частоте ноты (например, 440 Гц) и класс шага, который относится к относительному положению в пределах октавы.
Поэтому, когда музыка перемещается вверх или вниз по клавише, абсолютная частота ноты отличается, но при этом сохраняется фундаментальная связь между нотами.
Это необходимая особенность модели. Чен и др. представили ранний доклад о глубоком изучении музыки с ограниченной макроструктурой всего отрывка.
Модель создавала небольшие, несвязанные между собой подразделения, которые не способствовали ощущению связности состава.
Чтобы эффективно моделировать музыку, необходимо обратить внимание на структуру музыки.
Необходимые условия: память и согласованность.
Модель музыки должна иметь возможность вспоминать прошлые детали и понимать подструктуру, лежащую в ее основе, чтобы создать целостное произведение в соответствии с музыкальной структурой.
Регулярные нейронные сети (РНС), и в частности, сети с длинной кратковременной памятью (СДКП), успешно фиксируют закономерности, возникающие с течением времени.
Чтобы отразить сложность музыкальной структуры по отношению к висгармонической и мелодической структуре, ноты на каждом этапе следует моделировать как совместное распределение вероятностей.
С музыкальной точки зрения, должно быть понимание временной подписи или количества заметок в той или иной мере. Кроме того, архитектура на основе РНС позволяет сети генерировать одинаковые заметки для каждого шага в течение неопределенного времени, что делает композиции неизменными по времени.
С использованием технологии глубокого изучения музыки РНС научились с успехом предсказывать следующую ноту в монофонической мелодии.
Для учета округлости по октавам и шагу необходим больший контекст.
Следуя архитектуре свернутой нейросети (АСН), решением является использование ядра или окна заметок и скольжение ядра или скручивание его по окружающим нотам. Конволуоральные слои имеют богатую историю, связанную с зрительной системой млекопитающих.
Например:
"глубокая свернутая сеть... использует иерархические слои черепичных сверточных фильтров для имитации эффектов рецептивных полей, возникающих на ранних стадиях развития зрительной коры".
Подобно тому, как видение требует инвариантности во многих измерениях, АСН предлагают способ развития иерархического представления функций, придавая сети инвариантность. По сути, это позволяет модели использовать преимущества "локальных пространственных корреляций" между измерениями и построением устойчивости к естественным преобразованиям.
Заключение.
С музыкальной точки зрения, ноты могут быть перенесены вверх и вниз, оставаясь при этом в основном одними и теми же. Чтобы учесть эту округлость шага, сеть должна быть примерно одинаковой для каждой ноты.
Кроме того, можно одновременно играть несколько нот, где идея полифонии и сеть должна учитывать выбор связных аккордов.
РНС инвариантны по времени, но неинвариантивность со временем не связана. Каждый отдельный выходной узел представляет собой каждую заметку.
Следовательно, при движении вверх на целый шаг получается другой результат. Для музыки, относительные отношения не абсолютные отношения являются ключевыми. Е мажор звучит больше похоже на аккорд минора Е мажор, чем на аккорд минора Е, несмотря на то, что по положению нот мажор Е мажор ближе по абсолютному сходству.
Конволуальные сети предлагают эту необходимую неизменность во многих измерениях. Вдохновленный би-аксиальной моделью Дэниела Джонсона, я описываю архитектуру нейросетей, которая генерирует музыку. Описанная вероятностная модель представляет собой сложенную повторяющуюся сеть со структурой, использующей ядро в виде свернутого ядра.
Продолжение следует...
Благодарю за внимание!