Нейросеть научили генерировать звуки. По изображению или видеоролику
Канадские ученые из Университета Торонто представили нейросеть See-2-Sound для генерации звуков окружения по картинке или кадрам видеоролика Разработанная исследователями модель машинного обучения не только создает подходящую дорожку, но и расставляет источники звука в пространстве для создания эффекта присутствия. See-2-Sound работает в несколько этапов. Сначала нейросеть получает изображение, анимацию или видеоролик, после чего анализирует источник. Алгоритм пытается понять, какие объекты могут...