26 подписчиков
Tatiana Tkr обещала рассказать, как она использовала ИИ для создания музыкального клипа. Ниже ее рассказ.
Часть 1: "Столько вопросов!!! Кто писал песню? Кто пел? Кто сочинил музыку?
Обещала всем ответить. Поехали, начнем издалека. Еще в РФ мы у нас была небольшая кинокомпании и мы снимали исторические документальные сериалы для федеральных каналов и Министерства культуры РФ.
Я очень хорошо понимаю все аспекты кинопроизводства, и всегда частой проблемой была авторская музыка к фильму.
Я сотрудничала с разными композиторами, и хотя результат меня устраивал, к нему приходилось идти долгим и сложным путем.
Мы проговаривали с композитором все детали и нюансы будущего произведения. Тональность, жанр, структуру композиции, аранжировку, темпоритм, длительность, использование конкретных инструментов, мелодические особенности, настроение, которое должна вызывать музыка у зрителя и пр.
Несколько дней назад в очередной раз понадобилась музыка для очередного видео, и я решила попробовать новые ИИ инструменты. Почему бы и нет?
Ранее мы много создавали много музыки, как музыкальные продюсеры, используя семплы, биты, лупы и инструменты типа секвенсеров/ Logic Pro. Я уже создавала музыку, когда озвучивала аудио версию «Теории каст и ролей». 6 часов непрерывного звучания, на создание музыки ушло почти 8 месяцев.
Ладно. Сейчас мне будет помогать ИИ, - думала я, - . Попробую.
Попробовала. Так себе. Голос слишком механичный, явно искусственно сгенерированный. Стала скрещивать несколько разных программ для получения нужного результата. Не то. Слишком плоско и примитивно.
А что если попробовать поиграть с вокалом? В юности я получила музыкальное образование, пела и много выступала, но с чужим вокалом никогда не работала. Это был шаг в новый мир, и тут моя душа понеслась в рай.
Сначала было кисло. Поэкспериментировала раз, два, несколько. То же г…, только в разных проекциях. Использовала: Elevenlabs, Suno, Udio.
Мне важно было создать ощущение, что это голос реального человека. Передать желаемый тембр, подачу, глубину, стиль, вдохнуть душу, наконец. И я стала своим голосом искусственному интеллекту наговаривать, надиктовывать, потом петь, чтобы он меня запомнил, и «почувствовал». Сейчас у меня более низкий голос, чем в юности, с коротким диапазоном звучания. Но, ИИ уловил, хотя и не сразу.
Также попробовала скормить ему стихи, написанные любимым Иосифом Гольденбергом. Местами отредактировала текст. Хм, что-то стало получаться.
Продиралась мучительно долго, ведь приходилось на ходу осваивать новые инструменты. Самым сложным было создание аранжировок и аккомпанемента.
Описывала в промптах целые сочинения (почти что ТЗ, которые я когда-то писала для композиторов). Стиль, жанр, ритм, настроение……. Несколько десятков итераций (82 по факту), где мне приходилось в каждом новом варианте исправлять, добавлять, удалять, менять эпизоды, пока я получила то, что приблизительно хотела. На этом сотрудничество с ИИ закончилась.
Началась работа руками в audition, снова logic pro. Вокал и музыку разделила по дорожкам. На отдельных дорожках - работала с вокалом. Вытягивала тембр, выводила на чистоту и расширяла диапазон вокала. Добавила артикуляции. Расширила диапазон звучания до 3,5 октав. Добавила вокальной опоры - то есть «включила диафрагму». Включила дыхание. Мне хотелось получить юный, непорочный, девственно чистый голос. Работа с инструменталом была на другом таймлайне.
Аранжировки - отдельный сложный этап. Состоящий из десятков, а порой и сотен коротких эпизодов, которые надо упорядочить по возрастанию эмоции. 90% исходного материала не вошли в финальный трек, потому что удлинялся хронометраж. Пришлась безжалостно резать, хотя фрагменты были наикрасивейшими.
Потом сведение - балансировка, панорамирование, компрессия, эффекты. И наконец, мастеринг - завершенная финальная версия. Я называю этот этап полировкой. Над компрессией сильно не заморачивалась. Главное - хотелось услышать: что же получится на выходе?
3 минуты
16 июня 2024