Итак, моя любимая нейросеть Riffusion, о которой я написала тут пару текстов, ушла, уступив дорогу Producer. ai.
Король умер - да здравствует король!
Вот такой теперь интерфейс у Продюсера:
Что изменилось - совсем иной принцип работы!
Вместо удобных и простых инструментов создания и редактирования треков, суть которых была в выставлении нужных настроек и прописывании промптов, теперь вы общаетесь лично с нейросетью - она разговаривает с вами, как живой человек, причём чем дольше Вы работаете в студии, тем выше Ваша персонализация, тем больше Продюсер узнаёт о Вас и ваших творческих предпочтениях, меня вот стал называть по имени и с обычного "ты" перешёл на "Вы" (понял, что я человек "старосветский" и не люблю фамильярности).
Ну и усвоил, что я люблю классическую музыку, особенно старинную, блокфлейту, низкие голоса, сложные тексты, мажор предпочитаю минору, и теперь предлагает сгенерировать нечто в моём вкусе.
Для этого общения предназначено главное поле Ask Producer, в нём можно написать что угодно, загрузить аудио и картинку, а также записать аудио. Продюсер реагирует мгновенно, причём стиль общения у него занятный: он ведёт себя как послушная жена, которая хорошо изучила своего мужа, старается угадать его желания и говорит только лестные слова. Ну или как джинн из бутылки: "слушаю и повинуюсь!".
Конечно, дело тут не только в эмпатичности Продюсера: есть такой пункт в главном меню - Customize Producer, а в нём подпункт Instructions, где написано: What should Producer know about you? Instructions are auto-enabled in new sessions.
То есть можно написать нечто о себе - и это будет учитываться при общении с Продюсером. Но он и помимо этих инструкций мало-помалу влезает Вам в мозги и начинает лучше понимать, чего Вы хотите в своём творчестве.
Но хотя сам Продюсер отлично понимает Вас и пишет за Вас правильные промпты, исходя из Ваших пожеланий, не факт, что система учтёт эти пожелания и сгенерирует то, что надо. Продюсер тут выступает как посредник между Вами и нейросетью и вместе с Вами огорчается, когда нейронка зловредно выдаёт не то, что надо. Мне даже кажется иногда, что он не робот, а человек )).
Недавно был такой, например, разговор у меня с Продюсером, суть в том, что мне никак не добиться аутентичного тембра блокфлейты, вместо неё упорно генерируется оркестровая флейта Бёма, потому что в базе данных её гораздо больше, чем звуков блокфлейты. Я решила сама загружать в качестве референсов различные записи блокфлейты, чтобы приучить нейронку различать эти флейты.
Это всё очень мило и интересно, но лично мне не хватает прежних удобных инструментов редактирования треков: Cover, Replace, Extend и возможности выставить в процентах степень изменения трека при новой его генерации.
Теперь есть только один инструмент Remix, который при попытке отредактировать ошибки просто генерирует вариации, ничего общего с исходным треком не имеющие. Хотя вот нашла в сети такой скриншот, где видно, что все эти инструменты редактирования есть - но то ли это устаревшая информация, то ли такие возможности есть только в платных подписках:
Я спросила у Продюсера, куда всё это делось, и он ответил, что теперь надо общаться с ним и объяснять ему свои задумки, а если уж позарез надо сохранить максимум из понравившегося трека, то можно попросить Продюсера найти его seed (набор цифр, присваиваемый конкретному треку) и генерировать новый, учитывая этот сид и точный промпт, который был прописан именно этому треку. На своём опыте убедилась, что любое изменение промпта (а это неизбежно, если нужно внести какие-то правки) влечёт за собой порой совсем неузнаваемую вариацию этого трека, даже если сид такой же.
Ещё можно разделить трек на стемы (партии разных инструментов и вокала) и поработать отдельно над тем, что не понравилось. Например, если инструментал устраивает, а нужно поработать только над вокалом, то это шанс сохранить неизменным инструментал, и вместе с ним весь скелет трека.
В целом, крайне сложно просто исправить недостатки трека, сохранив его точную структуру - в Riffusion с этим проблем не было, если правильно вручную выставить настройки, получалась генерация почти "бит-в-бит", с минимальными изменениями, не критичными.
С Продюсером такое не получается, проще нагенерировать разных треков на одном сиде, а потом выбрать нужное и склеить целое в аудиоредакторе.
Но я надеюсь, что система будет развиваться и вернётся к возможности пользователям самим редактировать треки, без общения с Продюсером, для этого в правой части интерфейса сохранилось сильно урезанное в возможностях окно Compose, где есть минимальные настройки: можно загрузить текст и написать свой промпт, проставить темп и желаемую длительность трека.
Если Продюсер сообщит seed (сама я его нигде не нашла, хотя просила помочь мне с этим), то можно при редактировании трека вставить и его.
В общем, работать с Продюсером в чём-то проще и интереснее (живой диалог и возможность обучаться использованию сервиса, т.к. Продюсер отвечает на все вопросы, это очень удобно, не надо искать по сети гайды), но сама система пока что довольно упёртая и не очень-то Вас слушается, как ни бьётся Ваш друг Продюсер над точными промптами.
В любом случае, это очень увлекательно, море возможностей, мне эта система нравится больше, чем Suno, выше повешу пару видео - одно скомпоновано на основе генераций Продюсера, а второе имеет аудиоряд, сделанный в Продюсере, над которым я билась не один день, пытаясь добиться перегенерации выбранного трека по сиду и исправить ударения в двух местах - так и не добилась, плюнула на это и доработала трек в старой доброй Audacity.
Я пока что недолго изучаю новый сервис, всего пару недель, если что-то ещё полезное узнаю - дополню этот текст.
А пока что приглашаю в Producer.ai, он классный!