Система искусственного интеллекта MusicLM способна генерировать музыку, ориентируясь на текстовое описание пользователя. При этом нейросеть компании Google учитывает запрос на музыкальный стиль композиции, мастерство “музыканта” и ряд других факторов.
Разработчики компании Google представили систему MusicLM на основе ИИ. Данная нейросеть обучалась на 280 тысячах часах музыки, чтобы в результате генерировать треки, основываясь на текстовом запросе человека.
Описание требуемой композиции может быть при этом, как весьма конкретным: “мелодичное техно”, так и довольно сложным “медитативная песня, успокаивающая и успокаивающая, с флейтами и гитарами. Музыка медленная, с акцентом на создание ощущения мира и спокойствия”.
Ниже — примеры музыки, сгенерированной нейросетью MusicLM:
При этом вся композиция не обязательно будет в одном стиле. Например, если в запросе пользователь укажет временные промежутки в которых требуется создать различное настроение: “время для медитации (0:00-0:15), время просыпаться (0:15-0:30), время бежать (0:30-0:45), время выкладываться на 100% (0:45-0:60)” то нейросеть учтет пожелания и выполнит задачу.
Текстовый запрос можно задать в виде описания картины. Например, «Постоянство памяти — Сальвадор Дали» или «Крик — Эдвард Мунк«. Можно даже напеть или наиграть мотив мелодии, которую пользователь хочет получить. Сама нейросеть поет пока плохо, используя либо английский язык, либо просто набор звуков, которые ей кажутся словами песни.
MusicLM способна создавать треки с учетом уровня музыканта, который “исполняет” композицию. Помимо этого она может учитывать эпоху, в которой создается музыкальное произведение. Так, например, клубная музыка 80-х годов и клубная музыка 2000-х значительно отличаются друг от друга.
А если пользователю не требуется цельная композиция он может дать задачу нейросети создать партию отдельного музыкального инструмента, указав в запросе, каким он должен быть чтобы вписаться в общую композицию.
Google пока решили не выкладывать MusicLM в открытый доступ. Возможно, это связанно не только с техническими проблемами, но и этическими. Разработчики заметили, что около 1% композиций представляют из себя неизмененные отрывки песен, на которых обучалась нейросеть.