"Здравствуйте. Сегодня разберем подробнее систему рекомендаций Spotify. Будет интересно ,у меня есть чем удивить вас"
Нейросети хорошо научились работать с изображениями, видео и текстами — они распознают лица, эмоции, создают правдоподобные дипфейки, переводят онлайн, генерируют человеческую речь. Но есть область в которой глобально они бессильны — это музыка. Конечно, все пишут о магии Spotify — когда сервис советует какие-то новые неизвестные треки, которые удивительным образом нам нравятся. Как на самом деле работают алгоритмы Spotify, «Яндекс.Музыки».,Вконтакте,You Tube music и Apple Music? Могут ли они создавать новую великую музыку или даже воскрешать умерших музыкантов и продолжить писать за них?
Первое и основное, что делают все, — коллаборативная фильтрация Ее изобрел сервис LastFM. Что это такое? Алгоритм видит, что нравится вам, и видит, и что нравится другим. Он находит похожих пользователей и предлагает им как бы обменяться треками, которые они не слышали.
Представьте себе музыкальную тусовку из людей с похожими музыкальными вкусами, все они слушают тоже что слушаете и вы, и во время этой тусовки, Каждый человек делиться с другими тем, что слышал еще он.
Только в роли этой «тусовки» алгоритм ,вот и вообразите что происходит когда алгоритму известны предпочтения сотен миллионов пользователей. К тому же, как отчитываются Spotify, они каждый день получают до 5 млрд цифровых взаимодействий. Точность попадания становится практически идеальной.
Но с коллаборативной фильтрацией есть две проблемы:
Холодные пользователи. Это те, кто только что зарегистрировался в сервисе, и система о них ничего не знает;
Холодные треки. Это те, которые только появились, и о них ничего неизвестно, либо какие-то редкие песни.
Проблема с холодными пользователями решается просто — новичками после регистрации предлагают рассказать, кого они слушают. После этого система понимает, что можно предложить конкретному пользователю. А если пользователь не хочет отвечать на вопросы, ему накидывается средняя популярная музыка, и система смотрит на реакцию. Если пользователь переключает трек, алгоритм понимает — не зашло, и подбрасывает что-то из другого жанра. Своими действиями холодный пользователь обучает систему, и она уже понимает, что ему предложить, чтобы он не ушел с сервиса.
Главный принцип коллаборативной фильтрации — explore and exploit — исследовать и использовать. Использовать — пользовательскую историю, его плейлисты, поведение — прослушали ли вы песню полностью, пропустили или лайкнули. А исследуют алгоритмы информацию о других пользователях: их плейлисты и любимых исполнителей.
А что насчет холодных треков? Как алгоритмы работают с ними?
Алгоритмы в буквальном смысле гуляют по сети, анализируют тексты и таким образом видят, что пишут об исполнителях и об их треках. Нейросети следят за трендами.
А еще сервисы анализируют каждый загруженный в систему аудиофайл. Трек нарезается на фрагменты — по ним делаются спектрограммы, понятные машинам. Так нейросети обучают на «внутренностях» популярных треков, по которым много отзывов. После этого алгоритм подбирает что-то похожее по звучанию из тех холодных треков, которые мало кто слышал.
Но разложить песню на ДНК у машины до конца пока не получается — так же, как из мельчайших частей написать что-то новое.
По словам руководителя лаборатории машинного обучения «Яндекса» Александра Крайнова, генерировать текст для машины гораздо легче, чем музыку: «В тексте есть символы, есть некоторая закономерность. Символы — это уже закодированная, сжатая информация. С изображением тоже просто, просто потому что там объем данных меньше. А звук — он большой, сложный, у него очень длинные и большие временные зависимости. В звуке очень много чего может объединяться: кто-то петь начинает на заднем плане, то есть это не просто звук голоса, а слова».
Какие еще алгоритмы есть?
SPOTIFY не изобретал новые алгоритмы ,он лишь объединил лучшие из них
Думаю некоторые помнят такой сервис как Songza.
В нем, живие люди собирала плейлисты по настроению, жанрам, занятиям(например спорт-работа-учеба-прогулка)
Естественно тут вытекает сразу минус
-Субъективность сотрудников
Сервис Pandora использовал похожий метод, где каждой песне, присваивались теги
Ну и про EchoNest тоже забывать не стоит. Именно с него началась персонализация музыки. Он уже использовал не живых людей, а алгоритмы сравнивающие текст и музыку.
