AI Covers: создай собственный музыкальный хит

Хотели сделать «все в одном»

Приложение создали магистранты факультета автоматики и вычислительной техники Новосибирского государственного технического университета НЭТИ Михаил Киреенко и Данил Матвеев под руководством преподавателя кафедры автоматизированных систем управления Егора Антонянца. Оно объединяет и автоматизирует все этапы создания каверов.

В программе несколько модулей, каждый выполняет определенную задачу. Первый отвечает за разделение аудио на вокал и инструментальные партии. Второй преобразует голос с помощью нейронной сети, передавая тембр и интонации. Третий модуль соединяет вокал с минусовкой и другими компонентами трека. Четвертый модуль дает возможность обучать собственные голосовые модели, чем выгодно отличает новое приложение от уже существующих сервисов. Именно эта особенность превращает AI Covers в инструмент для собственного музыкального творчества пользователя.

«ИИ анализирует исходный вокал и воссоздаёт его с помощью различных голосовых моделей. Пользователь может не только работать с готовыми моделями, но и обучать систему на основе собственного голоса», — объясняет Егор Антонянц.

Не только удобно, но и уникально

Получается, что новую разработку отличает высокий уровень кастомизации. Это уже персональные музыкальные композиции, а не стандартизированная история. Пользователи могут генерировать уникальные вокальные партии, а также использовать технологию для обучения.

Егор Антонянц - преподаватель кафедры автоматизированных систем управления Новосибирского государственного технического университета НЭТИСуществующие решения для генерации кавер-версий музыкальных композиций, как правило, оказываются фрагментированными. Приходится использовать несколько разных сервисов, а возможности кастомизации остаются ограниченными. Именно эта проблема подтолкнула команду программистов к разработке собственного комплексного приложения, объединяющего весь цикл создания AI-каверов в едином интерфейсе

В последние годы в России наблюдается рост интереса к использованию ИИ-инструментов в музыкальной сфере, однако аналогов этому приложению пока не существует. Его появлению предшествовали многочисленные эксперименты по интеграции AI-решений в производственные процессы, к примеру, трансформеры речи в текст, голосовые ассистенты, нейросетевые обучающие платформы.

Приложение скоро станет доступным для всех желающих. Сейчас авторы стараются обеспечить поддержку большего количества форматов и создают онлайн-версию проекта.

Твой пропуск в мир музыки

«AI Covers» решает проблему фрагментированности музыкальных AI-инструментов, объединяя весь цикл создания каверов в одном приложении, добавляя возможность обучения моделей под конкретного пользователя.

Совсем скоро все желающие получат доступный инструмент для творчества и смогут генерировать уникальные вокальные партии, обучая модели на собственном голосе.

Новинку можно использовать не только для творчества и развлечения, но и в музыкальном образовании, расширяя пользовательскую базу. Приложение можно вывести на международный рынок параллельно развивая в сторону платформы, где пользователи могут делиться своими треками. Такие продукты усиливают технологический суверенитет России и повышают уровень IT-образования, а также создают крепкую базу для создания новых образовательных и развлекательных приложений.