Совсем недавно компания HiBy представила свой новый плеер RS8 II. Это первый плеер, в котором заявлено применение искусственного интеллекта для воспроизведения музыки — технологии Sankofa AI Tone Cloning.
Зачем? Хороший вопрос. Давайте разбираться, что это за технология и как она вообще должна работать.
На данный момент информации о Sankofa крайне мало. Более того, сама компания честно заявляет:
«Функция Sankofa находится в разработке и будет добавлена в одном из будущих обновлений прошивки».
То есть даже купив плеер прямо сейчас, оценить всю «магию» ИИ не получится — придется подождать.
Что известно о Sankofa?
Из официальных материалов следует, что технология сможет клонировать и моделировать звуковые характеристики классических аудиоустройств:
виниловых проигрывателей, MiniDisc, CD-плееров, кассетных дек, катушечных магнитофонов и других трактов.
Проще говоря, пользователь сможет выбрать звучание так, будто слушает музыку не с цифрового файла, а, например, с винила или кассеты. Меняется не эквалайзер, а сам характер звука.
Идея, на самом деле, интересная. Музыку можно будет слушать с «любимыми оттенками» звучания, не привязываясь к физическому носителю. К тому же плеер построен на мощной SoC Qualcomm Dragonwing QCS8550, поэтому ИИ-алгоритмы будут выполняться аппаратно и не «убивать» производительность системы.
Как это вообще работает?
Результат работы такой функции в целом понятен. Но как создаётся подобная технология?
И главный вопрос — можно ли сделать аналог Sankofa условно «в гараже»?
Короткий ответ: да, можно.
ИИ — это не магия. Это математика. Большинство современных ИИ-технологий устроены похожим образом.
Как создать аналог Sankofa
Первый шаг — создание собственного датасета, то есть большого набора аудиофайлов. Эти файлы нужно разделить как минимум на две категории:
- оригинальные записи (без изменений);
- те же самые записи, но прошедшие через разные аудиотракты
(винил, кассета, катушка, CD и т.д.).
После сбора данных аудиофайлы необходимо программно разложить на музыкальные составляющие: тембры, гармоники, тональные искажения, шумы и прочее. Этим занимается целое направление — цифровая обработка сигналов (DSP).
В результате мы получаем большой массив подготовленных данных:
оригинальные треки и их «аналоговые версии», описанные в числовом виде.
И здесь важно подчеркнуть: качество данных — это 80% всей работы.
Обучение модели
Далее можно взять готовую нейросетевую модель, подходящую для аудиозадач (ChatGPT для этого, разумеется, не подходит). Таких моделей сейчас существует достаточно много.
Модель либо переобучается, либо дообучается на подготовленном датасете, чтобы она научилась «переводить» чистый цифровой звук в нужный характер звучания.
После обучения необходимо написать программу, которая будет прогонять трек — целиком или по частям — через модель. На выходе мы получаем тот же трек, но уже с новым, смоделированным звучанием.
Итог
На первый взгляд всё выглядит довольно просто. Но на практике возникает огромное количество нюансов и проблем: от качества исходных записей до артефактов, задержек и нагрузки на железо.
Именно поэтому получить действительно хороший и музыкально правдоподобный результат — задача совсем не тривиальная. Sankofa выглядит как интересный эксперимент, и будет особенно любопытно услышать, что в итоге покажет HiBy, когда технология наконец доберётся до релиза.