Каждую осень я начинаю свой курс на стыке музыки и искусственного интеллекта с того, что спрашиваю своих студентов, беспокоит ли их роль ИИ в сочинении или производстве музыки.
До сих пор этот вопрос всегда вызывал громкое «да».
Их опасения можно выразить в одном предложении: ИИ создаст мир, в котором музыки будет много, но музыкантов будут отвергать.
В предстоящем семестре я ожидаю обсуждения Пола Маккартни, который в июне 2023 года объявил, что он и команда аудиоинженеров использовали машинное обучение, чтобы обнаружить «потерянный» вокальный трек Джона Леннона, отделив инструменты от демо.
Но возрождение голосов давно умерших артистов — это лишь верхушка айсберга с точки зрения того, что возможно и что уже делается.
В интервью Маккартни признал, что ИИ представляет собой «страшное», но «захватывающее» будущее музыки. На мой взгляд, его смесь испуга и восторга точна.
Вот три способа, которыми ИИ меняет способ создания музыки, каждый из которых может по-разному угрожать людям-музыкантам:
1. Состав песни
Многие программы уже могут генерировать музыку по простому запросу пользователя, например «Электронный танец со складским ритмом».
Полностью генеративные приложения обучают модели ИИ на обширных базах данных существующей музыки. Это позволяет им изучать музыкальные структуры, гармонии, мелодии, ритмы, динамику, тембры и формы, а также генерировать новый контент, стилистически соответствующий материалу в базе данных.
Существует множество примеров подобных приложений. Но самые успешные, такие как Boomy , позволяют немузыкантам создавать музыку, а затем публиковать результаты, созданные искусственным интеллектом, на Spotify, чтобы заработать деньги. Spotify недавно удалил многие из этих треков, созданных Boomy , заявив, что это защитит права и гонорары артистов.
Две компании быстро пришли к соглашению, которое позволило Boomy повторно загрузить треки. Но алгоритмы, лежащие в основе этих приложений, по-прежнему обладают тревожной способностью нарушать существующие авторские права , что может остаться незамеченным для большинства пользователей. В конце концов, создание новой музыки на основе набора данных существующей музыки неизбежно приведет к заметному сходству между музыкой в наборе данных и сгенерированным контентом.
Кроме того, потоковые сервисы, такие как Spotify и Amazon Music, естественным образом заинтересованы в разработке собственной технологии создания музыки с помощью искусственного интеллекта . Spotify, например, выплачивает 70% дохода от каждого потока исполнителю, который его создал. Если бы компания могла создавать эту музыку с помощью своих собственных алгоритмов, она могла бы вообще исключить людей-исполнителей из уравнения.
Со временем это может означать больше денег для гигантских потоковых сервисов, меньше денег для музыкантов и менее человечный подход к созданию музыки.
2. Сведение и мастеринг
Приложения с поддержкой машинного обучения, которые помогают музыкантам сбалансировать все инструменты и очистить звук в песне (так называемые микширование и мастеринг), являются ценными инструментами для тех, кому не хватает опыта, навыков или ресурсов для создания профессионально звучащих треков. .
За последнее десятилетие интеграция искусственного интеллекта в производство музыки произвела революцию в способах микширования и мастеринга музыки. Приложения на основе искусственного интеллекта, такие как Landr , Cryo Mix и Neutron от iZotope, могут автоматически анализировать треки, балансировать уровни звука и удалять шум.
Эти технологии оптимизируют производственный процесс, позволяя музыкантам и продюсерам сосредоточиться на творческих аспектах своей работы и оставить часть технической работы ИИ.
Хотя эти приложения, несомненно, отнимают часть работы у профессиональных микшеров и продюсеров, они также позволяют профессионалам быстро выполнять менее прибыльные работы, такие как сведение или мастеринг для местной группы , и сосредоточиться на высокооплачиваемых комиссионных, требующих большего изящества. Эти приложения также позволяют музыкантам создавать более профессионально звучащие произведения без привлечения аудиоинженера, которого они не могут себе позволить.
3. Инструментальное и вокальное воспроизведение.
Используя алгоритмы «передачи тона» с помощью таких приложений, как Mawf , музыканты могут преобразовывать звук одного инструмента в другой.
Песня тайского музыканта и инженера Ябои Ханоя « Enter Demons & Gods », которая выиграла третий международный конкурс песни AI в 2022 году, была уникальна тем, что на нее повлияла не только тайская мифология, но и звуки родных тайских музыкальных инструментов, которые имеют незападную систему интонации. Одним из наиболее технически захватывающих аспектов выступления Yaboi Hanoi было воспроизведение традиционного тайского деревянного духового инструмента – пинай , который был повторно синтезирован для исполнения трека.
Вариант этой технологии лежит в основе программного обеспечения синтеза голоса Vocaloid , которое позволяет пользователям создавать убедительно человеческие вокальные треки с заменяемыми голосами.
Неприятные применения этой техники появляются и за пределами музыкальной сферы. Например, подмена голоса ИИ использовалась для выманивания у людей денег.
Но музыканты и продюсеры уже могут использовать его для реалистичного воспроизведения звука любого инструмента или голоса, который только можно вообразить. Обратной стороной, конечно, является то, что эта технология может лишить инструменталистов возможности выступать на записанном треке.
Момент Дикого Запада ИИ
Хотя я аплодирую победе Ябоя Ханоя, мне приходится задаться вопросом, побудит ли она музыкантов использовать ИИ для имитации культурной связи там, где ее нет.
В 2021 году Capitol Music Group попала в заголовки газет, подписав контракт с «ИИ-рэпером», которому был присвоен аватар чернокожего мужчины-киборга, но на самом деле это была работа инженеров-программистов Factory New, не являющихся чернокожими. Реакция была быстрой: звукозаписывающий лейбл подвергся резкой критике за вопиющее культурное присвоение .
Но на музыкально-культурное присвоение ИИ наткнуться легче, чем вы думаете. Учитывая необычайный размер песен и сэмплов, которые составляют наборы данных, используемые такими приложениями, как Boomy (чтобы оценить масштаб, см. «Million Song Dataset» с открытым исходным кодом ), существует большая вероятность того, что пользователь может невольно загрузить недавно сгенерированный трек, который заимствованы из чужой культуры или заимствованы у художника таким образом, что слишком точно имитируют оригинал. Хуже того, не всегда будет ясно, кто виноват в правонарушении, а действующие законы США об авторском праве противоречивы и крайне неадекватны задаче регулирования этих вопросов.
Все эти темы поднимались на моем уроке, что позволило мне, по крайней мере, проинформировать своих учеников об опасностях неконтролируемого ИИ и о том, как лучше всего избежать этих ловушек.
В то же время, в конце каждого осеннего семестра я снова спрошу своих студентов, обеспокоены ли они тем, что ИИ захватит музыку. На этом этапе, имея целый семестровый опыт исследования этих технологий, большинство из них говорят, что им интересно видеть, как технология будет развиваться и куда пойдет эта область.
Некоторые темные возможности действительно ждут человечество и ИИ. Тем не менее, по крайней мере, в сфере музыкального ИИ есть повод для некоторого оптимизма – при условии, что удастся избежать ловушек.
