Автор: Евгений Войтенко
...
В сегодняшний век безостановочных технологических новаций бывает сложно уследить за всеми интересными событиями, происходящими вокруг. В мире с огромной скоростью возникают и исчезают стартапы, объявляются и тут же свёрстываются технические революции, мерцают интересные открытия. Особенно не просто ориентироваться в этом мире может быть музыкантам, которые и сами внутри себя содержат целый творческий мир.
В свою очередь я, как композитор и музыковед, детально остановлюсь на одном интересном феномене в современном музыкальном мире – возникновении различных музыкальных алгоритмов, основанных на технологии искусственного интеллекта.
Какую же роль искусственный интеллект уже занимает в деятельности многих музыкантов? Первая, наиболее развитая роль – звукорежиссерская. Подобные алгоритмы могут помогать в сведении, мастеринге треков. А в нотном редакторе – сделать звучание электронной партитуры намного корректнее. Алгоритм с обобщённым названием «помощник» или «поисковик» может подобрать инструментарий из библиотеки электронного музыканта, основываясь на анализе музыкального эскиза и ключевых словах. Или найти любой понравившийся автору звук, превратив его в готовый для использования семпл. Также он может подобрать схожую музыку к представленному референсу.
Как же в свою очередь может применяться искусственный интеллект в области композиции? Для ответа на этот вопрос я проанализировал новую программу для сочинения музыки на основе искусственного интеллекта, доступную для массового использования, с которой каждый может познакомиться.
Алгоритм, работающий с ладовой и тональной музыкой
Итак, алгоритм от команды Amper Music уникален своей доступностью и сферой применения. Ни один открытый алгоритм никогда ещё не работал так легко и ясно с ладовой и тональной музыкой. Именно лад и тональность были чрезвычайно сложны в понимании для любого алгоритма. Что же помогло программе понять хотя бы часть хитросплетений ладовой системы? Безусловно, это чёткая классификация составляющих музыкальной выразительности и работа с музыкой, где эти составляющие особенно ясны и регламентированы.
Программа выделяет жанр, поджанр, жанр-настроение, тональность, темп, инструментарий, звукорежиссерские характеристики тембров, характер сведения и продолжительность. Все эти характеристики чётко выделены и превращены, по сути, в рычаги управления. И главным преимуществом, но и в какой-то мере недостатком данного алгоритма является жанровая составляющая. На данный момент это разнообразная бытовая и прикладная музыка, в которой на ранней стадии создания алгоритма удалось обнаружить наиболее простые и чёткие законы функционирования.
Знакомясь с интерфейсом, мы постоянно наталкиваемся на непереводимые с английского понятия в обозначении жанров и настроений, отчасти понятных лишь русскоязычным электронным музыкантам и кинокомпозиторам. Например, возникает вопрос в трактовке обозначения «Quirky» для целого ряда жанров-настроений. «Quirky» в переводе «Причудливый» – под его обозначением мы видим такие жанры-настроения, как «Обнадеживающий», «Душевный», «Праздный», «Беззаботный», «Подлый», «Нежный», «Чудесный». Получается, в выборе нужного жанра на микроуровне мы столкнулись с интересным явлением: алгоритм классифицировал киномузыку не только на жанры и поджанры, но и на микрожанры, точнее говоря – жанры-настроения. Важно, что, воссоздав эти жанры-настроения в программе, вы сразу узнаете их, как отдалённый, услышанный неоднократно музыкальный образ в ранее увиденном американском, европейском, иногда даже и советском фильме.
После выбора жанра-настроения мы видим ещё более точную классификацию – приблизительно желаемый образ с заготовленным типом звукорежиссерского звучания. Интересно, что данная, достаточно сложная система классификации совсем не пытается быть креативной, она, наоборот, педантично систематизирует самые схематичные, условно бытовые и «наиболее нишевые» жанры.
Модель взаимодействия и ограничения алгоритма
Следующей важной чертой данного алгоритма является модель взаимодействия с пользователем. Предсказывалось, что он будет «помощником» и «советчиком» композитора-человека. Например, будет предлагать полифонические или гармонические преобразования, советовать варианты развития музыкальной формы исходя из нужного образца. Но в реальности сложилось иначе. Алгоритм предлагает высокую свободу вводных данных в виде перечисленных выше параметров, а уже в композиторской работе по сочинению отстраняет пользователя от управления. Таким образом можно подтвердить, что предпочтение в создании реального искусственного интеллекта было отдано творческой свободе машины при жёстко заданных человеком рамках. И получили мы не помощника и советчика в создании музыки, а систему, которой мы указываем важнейшие параметры и как бы «заказываем» сочинение музыки.
Касательно визуального оформления. Подчеркну, что во всех цифровых технологиях интерфейс, его визуальное и функциональное оформление является неотъемлемой частью творческого процесса. В минималистичной стилистике оформления алгоритма Amper важно не пропустить очень интересную деталь функционала программы: страница библиотеки проектов содержит в себе и функционал своеобразной социальной сети. В ней пользователи Amper могут делиться и свободно обмениваться созданными музыкальными произведениями, плейлистами и рабочими проектами. Но обмен происходит не только на уровне результатов творчества, но и на уровне вводных данных и музыкальных составляющих проектов, что является уникальным явлением для музыкальной индустрии вообще.
По структуре подобное решение отражает идею своеобразного авторского равноправия пользователей платформы, где все ценности полностью открыты, но одновременно специфически персонифицированы. Индивидуальная лицензия на распространение стоит минимальной суммы.
Работа с проектом: инструментовка, форма и рекомпозиция
Итак, после введения условной «канвы» композиции мы попадаем в зону работы над проектом, где нам открываются уже более детальные возможности. Первая из них – область инструментовки. После выбора жанра-настроения пользователь получает несколько стандартных инструментов, набор которых он может потом менять по своей воле. Далее к каждому инструменту прикрепляется вариант звукорежиссерского решения. Каждое решение обозначено уникальным, с трудом адаптируемым на русский язык английским словом. Например, «Full» означает полное, близкое по расстоянию к слушателю звучание, а «Old» делает звучание блёклым и немного несуразным, и так далее.
Общая звукорежиссерская картина складывается из миксов жанровых моделей и звукорежиссерских решений в каждом отдельном инструменте. Чтобы помочь алгоритму сделать микс с чётким звуковым результатом, лучше выбрать одинаковое звукорежиссерское решение у всех инструментов. Иначе алгоритм будет пытаться разобраться с противоречащими друг другу акустическими параметрами.
Касательно формы. Для взаимодействия нам доступно три функции формы без словесного обозначения: условная первая тема, вторая тема, часто родственная первой, и кода. Перед первой темой автоматически формируется вступление, после коды – завершение. Функции можно менять местами хаотично. Эта примитивная интеракция с формой показывает её перспективность, ведь она привязана к инструментовке и динамике.
Последним элементом, который я успею упомянуть, является рекомпозиция материала. При любом изменении проекта пользователь может пересоздать трек заново. Но тематический материал, и, в частности, мелодическое зерно, будет закреплён за проектом. При пересоздании трека можно выбрать два особых пункта переосмысления: найти новое ритмическое решение, что часто означает смену размера и ритмического паттерна, если он есть, и новое гармоническое, аккордовое решение.
Уязвимые места и перспективы развития
Резюмируя, представленный искусственный интеллект во взаимодействии с пользователем является по сути оцифрованной моделью, обобщающей композиторский опыт, но с большими возможностями для интеракции в процессе работы. Мы «заказываем» ему музыку и можем менять её в процессе. Каковы же самые уязвимые места системы? Первое – это художественная ценность и уникальность. Пускай алгоритм создаёт и инструментует условно «простую» музыку намного лучше и стабильнее начинающих музыкантов и композиторов, он всё ещё сильно включён в систему координат прикладной музыки, для которой характерна простота языка, эмоциональная лапидарность образов, примитивность формы. Хотя алгоритм при этом постоянно удивляет неожиданностью и меткостью использования доступных ему средств.
Второй недостаток – инфраструктурная громоздкость алгоритма. Он настолько велик по размерам, что работать может только на крупном серверном хранилище. Поэтому его ядро закрыто для программирования и ручного изменения пользователем – от этого страдают возможности персонализации и ручной доработки системы.
Третья особенность и даже требование – пользователь должен оценивать работу алгоритма максимально комплексно и критично. Пользователю необходим слуховой опыт, знание семантики тональной, ритмических размеров в сочетании с жанрами, а что ещё важнее – уместности или неуместности использования различных инструментов в рамках желаемого образа и звукорежиссерских характеристик звучания.
В свою очередь возможностей для улучшения системы существует множество. Повышение разнообразия музыкальных направлений и жанров, изученных программой, как и изучение различной «сложной» музыки сделало бы алгоритм намного более творчески гибким. Новым этапом для программы также стало бы открытие её кода для редактирования, например, при хранении кода на компьютере пользователя. Это многократно увеличило бы возможности для персонализации.
Звукорежиссерские алгоритмы на основе ИИ
Далее расскажу о звукорежиссерских и звукотехнических алгоритмах, основанных на применении искусственного интеллекта. Как мы знаем, авторы музыки, ставшие на путь освоения электронных музыкальных технологий, постоянно сталкиваются с необходимостью постоянного расширения своих и без того богатых музыкально-технических компетенций. Одной из таких проблем стал вопрос так называемого звукорежиссерского сведения автором своей собственной музыки. Или даже вопрос авторского сведения музыки.
Важно подчеркнуть, что многие композиторы могут мыслить очень интересно в рамках различных систем: нотных, звуковых, тембровых, мелодических, полифонических и гармонических, электроакустических, в конце концов. Но, работая с цифровыми технологиями, каждому композитору нужно уметь сочинённый и нотами, и звуками, и тембрами материал, даже воплощённый и озвученный в компьютере, оформить для адекватного слушательского восприятия. При этом необходимо учитывать возможности и ограничения приборов звукозаписи, генерации и воспроизведения аудиозаписей. И проблема самозвукорежиссуры, самослышания и самосведения для композиторов и для многих других музыкантов стоит очень остро. Можно придумать в своей фантазии прекрасный аккорд, записать его нотами, воплотить разными тембрами, оцифровать в музыкальной рабочей станции, но по звукорежиссерским или психоакустическим параметрам сделать его абсолютно неинтересным, и даже неприятным для слушания.
Неожиданным ответом на этот, казалось бы, трудноразрешимый вопрос стало появление технологий алгоритмического сведения музыкального материала на основе искусственного интеллекта. Множество компаний выпустило сначала экспериментальные, а затем и вовсе полноценные работающие модули, позволяющие провести любой аудио или midi материал через сенсоры алгоритма, избавив звук от проблем (подчёркиваю, не художественных и характерных особенностей, а именно проблем) часто возникающих при авторском сведении.
Как устроена данная технология с точки зрения музыканта или композитора, обычного пользователя? Это обыкновенный плагин (модуль) для музыкальной рабочей станции, который может применяться и автономно. После активации данного плагина пользователь может поместить в него свою аудио запись, или, в качестве дополнительного варианта, может загрузить и референс – образец сведения для программы, по которому она будет ориентироваться в сведении и интерпретации материала пользователя.
Далее автор, при помощи панели управления вручную указывает свои пожелания в сведении, либо выбирает один из множества пресетов – комплексов настроек (например hall – bright, warm, dark, natural). После достаточно быстрой обработки алгоритм передаёт пользователю результат в виде аудио трека, и часто демонстрирует визуализацию изменений, внесённых алгоритмом на спектрограмме. После получения результата процесс сведения и поисков лучшего варианта можно повторять множество раз. Единственным ограничением в данной парадигме становится степень удовлетворения автора результатом работы алгоритма.
Как можно описать архитектуру подобных звукорежиссерских алгоритмов? В основе лежит нейросеть, специфически обученная на огромном количестве музыкальных треков, где приоритетными являются популярные и успешные звукозаписи, отмеченные высоким качеством сведения, оригинальные композиции, в том числе с интерпретационной точки зрения. Полученные в результате обработки этих материалов знания и выводы нейросетевого алгоритма как обычно являются закрытыми и мало поддаются редактуре. Единственным действенным способом внесения изменений в базу знаний нейросети является дообучение, в результате которого гарантированно обретаются новые компетенции. Таким образом, даже сравнительно простой алгоритм, встроенный в бесплатную цифровую музыкальную станцию Cakewalk, справляется со своими задачами фактически всегда корректно и безошибочно, причём при работе с самой разнообразной музыкой.
Перспективы и возможности звукорежиссерских алгоритмов
Приносят ли подобные алгоритмы действительную пользу для музыкантов? Безусловно, приносят. Первая задача, которая решается в случае использования подобных алгоритмов – задача обучения и самообразования музыканта. Напомню, очень многие музыканты плохо сводят и слышат себя с точки зрения звукорежиссуры и психоакустики. Человек часто ошибается, в то время как алгоритм в своей работе фактически нет. Даже в сложной для сведения авторской музыке он может решить задачу сведения и мастеринга условно «скучно», но технически корректно и чётко. Прослушивая варианты сведения алгоритма, пользователь может воспринимать отличия алгоритмического сведения от собственного и получать уникальный слуховой опыт, даже не имея развитых психоакустических навыков перцепции. При этом отмечая для себя особенности решения алгоритмом различных звукорежиссерских задач. Итогом плодотворного взаимодействия с алгоритмами, основанными на искусственном интеллекте, может стать возникновение желания сделать своё собственное, пусть и не совершенное, но сведение, отказавшись от услуг искусственного интеллекта.
Вторая задача, эффективно решаемая искусственным алгоритмом, очевидна – от него мы фактически всегда получаем качественное, интересное, разнообразное и настраиваемое сведение. И те музыканты, кто совсем далёк от премудростей психоакустики и звукорежиссуры, и материал которых звучал бы скорее всего не выигрышно в авторском сведении, получают огромную помощь, и, часто фактически путёвку в музыкальную жизнь при помощи одного лишь звукорежиссерского алгоритма.
И последний вопрос для раскрытия этой темы заключается в методе отбора пользователем звукорежиссерских решений искусственного интеллекта. Для автора мало знакомого с каким-либо видом искусства сведения, действия звукорежиссерского алгоритма могут показаться настоящим чудом: включаешь алгоритм, и всё меняется к лучшему, музыка остаётся той же, инструменты те же, но всё звучит на порядок лучше, чем в оригинале. В таком случае не понятно, на каком вариант выбирать. Решить вопрос низкой избирательности человека может обучающая сторона алгоритма, при взаимодействии с которой любой, даже «нулевой» пользователь через соотношение «желаемого» (в своём мышлении) и «звучащего» (при взаимодействии с алгоритмом) начнёт неизбежно обретать собственные критерии и желания в сведении.
В свою очередь воплотить нестандартное, сложное звукорежиссерское решение с помощью автоматизированного алгоритма достаточно сложно. И именно для этого музыканту и звукорежиссёру, в конце концов, стоит оставить алгоритм и погрузиться в практическую науку звукорежиссуры, акустики и психоакустики самостоятельно. Для того, чтобы сделать звукорежиссуру произведений не просто технически корректной, но и необычной, а возможно и невероятной, выйдя из условной «колыбели» алгоритма к самостоятельному поиску.
Заключение
Подведём итоги. Учитывая всё разнообразие инструментов, основанных на технологиях нейросетей, уже можно говорить о том, что в их категоризации можно обращаться к делению на условные семейства. Инструменты сочинения и генерации музыки могут быть причислены к фактически автономным алгоритмам, в то время как звукорежиссерские нейросети могут быть отнесены к ассистирующим. Суммарно же все эти инструменты можно описать как абсолютные алгоритмы, которые могут демонстрировать убедительный результат с минимальным вмешательством человека.
Но также подобные инструменты можно легко вписать в исторический контекст как прямых наследников стохастических методов письма, когда идея появлялась из случайности (например, броска кубиков), которая давала толчок к размышлению или сочинению.
Всё также остаётся актуальным вопрос о том, как алгоритм, сочиняющий или обрабатывающий музыку так отчётливо понимает законы её функционирования, ведь он полностью лишён любых возможностей человеческой перцепции. Могу сделать предположение, что нейросети видят музыку как набор абсолютных алгоритмов, основанных на полностью непонятных на данный момент человеку принципах. Наблюдая за работой искусственного интеллекта, можно сделать уверенное предположение: если существует стиль, значит и существует его абсолютный алгоритм. Не просто набор законов, вариабельных обобщённых правил, но алгоритмов, объясняющих появление каждой ноты, каждого инструментального, гармонического решения в рамках любого оригинального стиля. И чем стиль более яркий и ясный, тем данный алгоритм может быть более отчётливый. И эта идея может стать толчком для дальнейших исследований в области применения искусственного интеллекта в музыке.
...
27.03.2022 (опубл. 30.04.2026)
Санкт-Петербург