Riffusion – новаторский инструмент, который предлагает уникальный и увлекательный подход к созданию музыки. Генерирует звук на основе текстовых подсказок, создавая визуальное представление в виде сонограммы и преобразовывая его в аудио.
Инструмент создан на основе модели преобразования текста в изображение Stable Diffusion 1.5. Разработчики доработали модель для применения скрытой диффузии к обработке звука.
Сайт позволяет ввести свой набор слов и поэкспериментировать с ИИ-моделью. Сервис беспрерывно генерирует случайные сонограммы в режиме реального времени, которые непрерывно визуализируются в левой части страницы.
Фишка инструмента в том, что он способен обрабатывать нестандартные запросы, сочетая элементы разных жанров и стилей для получения нового оригинального звука. Например, на сайте встречаются примеры «тропикал-танцевального джаза» или «техно на скрипке».
