Нейронные сети захватили музыкальную индустрию. Они используются в различных областях, от создания новой музыки до улучшения качества звука. Одно из последних применений - использование нейронных сетей для замены вокала другим исполнителем. Эта технология упрощает ремикширование песен, создание кавер-версий и даже мэшапов с разными вокалистами.
Традиционный способ замены вокала в песне - использование ствола, который представляет собой отдельную звуковую дорожку, содержащую только вокал. Затем стеб удаляется или заменяется другой вокальной дорожкой. Однако этот метод не всегда успешен, поскольку инструментальная дорожка все еще слышна на заднем плане, что приводит к нечистому миксу.
Нейронные сети, с другой стороны, используют искусственный интеллект для анализа и разделения различных элементов песни, таких как вокал, инструменты и фоновый шум. Эта технология может изолировать вокал от остальной части композиции, позволяя беспрепятственно заменить его вокалом другого исполнителя.
Одной из самых популярных нейронных сетей для такого применения является Spleeter. Это инструмент с открытым исходным кодом, который позволяет отделить вокал от инструментальных дорожек в песне. Spleeter использует архитектуру глубокой нейронной сети под названием U-Net для анализа аудио и определения различных компонентов трека.
После того как Spleeter отделит вокал от инструментальной дорожки, пользователь может заменить вокал на вокал другого исполнителя. Этот процесс может быть выполнен вручную или с помощью другой нейронной сети под названием VocaNet. VocaNet использует глубокую нейронную сеть для синтеза голосов певцов, позволяя пользователю создать новый вокал, соответствующий стилю оригинального исполнителя.
Другой популярной нейронной сетью для замены вокала является Demucs. Demucs - это инструмент, который может разделить различные компоненты песни, такие как вокал, ударные и бас, с помощью глубокой нейронной сети. Было показано, что Demucs дает более качественные результаты, чем традиционные методы разделения стеблей.
Нейронные сети также используются для создания мэшапов путем смешивания различных вокальных треков из разных песен. Один из примеров - "Billie Eilish and Khalid - Lovely (Mashup)" от DylanGLC. Этот мэшап объединяет песни Billie Eilish "Ocean Eyes" и Khalid "Lovely" для создания новой песни, которая звучит как дуэт.
Нейронные сети совершают революцию в музыкальной индустрии, позволяя пользователям беспрепятственно заменять вокал и создавать новые песни, что было невозможно раньше. Spleeter, VocaNet и Demucs - лишь несколько примеров нейронных сетей, используемых в этих приложениях. Поскольку эта технология продолжает совершенствоваться, мы можем ожидать новых творческих и инновационных применений в музыкальном производстве.