Команда исследователей из Apple и Университета Карнеги-Меллона представила систему обучения ИИ, которая позволяет умным динамикам определять по звукам, что происходит, и предлагать пользователю варианты действий. По замыслу авторов, благодаря системе не нужно будет приобретать множество интеллектуальных устройств — достаточно будет одного умного динамика, например, HomePod.
Система под названием Listen Learner распознаёт окружающие звуки и интерпретирует их. Для этого система однократно взаимодействует с пользователем, спрашивая, что она только что услышала, и маркирует звук. Предварительно обученная модель Listen Learner также даёт системе возможность предположить, что может означать тот или иной шум. Это позволяет уменьшить взаимодействие с пользователем, сделать его менее открытым: услышав шум, система задаст уточняющий вопрос, например, «это закрылась дверь?», который потребует от пользователя только ответа «да» или «нет». CNN (сверточная нейронная сеть), которая использовалась при создании Listen Learner, была обучена на наборе данных YouTube-8M и дополнена библиотекой профессиональных звуковых эффектов.
p.s Больше такого контента у нас в Telegram