Хотите узнать, как «звучат» известные картины Ван-Гога? Или цифровая фотография автомобиля? Теперь это не проблема благодаря проекту SynVAE.
В рамках реализации этого проекта была создана нейросеть, которая может превращать изображения в музыку. Специальный алгоритм соотносит визуальные ощущения со звуками и выдаёт результат — мелодию.
Алгоритм использует метод обучения без учителя, плюс задействуется 2-направленный автокодировщик. Одна часть нейросети кодирует изображение, а вторая декодирует его в музыку. Потом музыка опять преобразуется в изображение, а картинки сравниваются для повышения точности работы.
Разработчики считают, что данный проект позволит передавать информацию с картин тем людям, которые по каким-то причинам не могут воспринимать формат изображений. Опробовать нейросеть в работе можно здесь
Загляните за горизонт событий вместе с OTUS! Записывайтесь на наши курсы:
ПОСМОТРЕТЬ ПРОГРАММЫ