Nvidia представила новый музыкальный искусственный интеллект под названием Fugatto, который способен генерировать звуки, ранее не существовавшие в природе. Эта модель, известная как Foundational Generative Audio Transformer Opus 1, была анонсирована 25 ноября 2024 года и предназначена для создания и модификации музыки, голосов и звуков на основе текстовых и аудио подсказок.
Ключевые особенности Fugatto
Fugatto может создавать совершенно новые звуки, такие как «мяукающий саксофон» или «труба, которая лает», что демонстрирует его способность комбинировать различные аудио характеристики.
Модель позволяет изменять уже существующие аудиофайлы, добавляя или удаляя инструменты и вокал, а также изменяя акценты и эмоциональную окраску голосов.
Fugatto ориентирован на профессионалов в области музыки, кино и видеоигр. Он может использоваться для быстрой прототипизации музыкальных идей, адаптации звуковых эффектов в реальном времени и локализации аудиоконтента для рекламных кампаний.
Технологические достижения
Fugatto использует метод, называемый ComposableART, который позволяет ему комбинировать различные аудио инструкции, полученные в процессе обучения. Это дает возможность модели выполнять задачи, для которых она не была специально обучена, что делает ее универсальным инструментом для звукорежиссеров и музыкантов.
Модель была разработана с использованием 2,5 миллиарда параметров на системах Nvidia DGX, что позволяет ей обрабатывать сложные аудиозапросы и генерировать высококачественные звуки.
Fugatto от Nvidia представляет собой значительный шаг вперед в области генерации аудио и музыки с помощью искусственного интеллекта. Его возможности по созданию уникальных звуков и модификации существующих аудиофайлов открывают новые горизонты для музыкантов и звукорежиссеров, предлагая инновационные инструменты для творчества и производства.