Компьютер расшифровывает человеческую речь на основе неинвазивных записей активности мозга
Исследователи разработали нейронную сеть, способную расшифровывать речь на основе неинвазивных записей активности мозга. Это революционное достижение позволяет отказаться от использования прямых мозговых имплантатов, которые ранее были необходимы для решения подобных задач.
В работе использовались записи магнитоэнцефалографии (МЭГ) и электроэнцефалографии (ЭЭГ) 175 добровольцев, слушавших рассказы и отдельные предложения. Эти записи были получены из четырех общедоступных наборов данных. Последующий анализ показал, что система способна точно идентифицировать соответствующие сегменты речи со средней точностью 41% из более чем 1000 вариантов, используя всего 3 секунды МЭГ-сигналов. Примечательно, что для некоторых участников эта точность достигала 80%.
Примечательно, что эта точность распространяется и на декодирование слов и фраз, которые отсутствовали на этапе обучения модели. Ключевыми элементами, способствующими успеху модели, являются контрастная цель, предварительно обученные речевые представления и уникальная конволюционная архитектура, обученная на нескольких участниках. Было обнаружено, что предсказания модели в основном опираются на лексические и контекстуальные семантические представления.
Это достижение имеет большое значение. Исторически получение речи из сигналов мозга требовало непосредственного вживления в мозг, в то время как неинвазивные методы, такие как ЭЭГ-шлемы, давали неточные результаты. Теперь инновационный подход открывает путь к созданию более безопасных и удобных технологий распознавания речи, интерпретирующих мозговую активность.
В сфере метавселенной такие технологии позволят повысить точность распознавания устройствами команд и желаний пользователя за счет интерпретации сигналов мозга. Это позволяет предположить, что в будущем такие коммуникационные устройства, как смарт-очки или VR-шлемы, позволят пользователям взаимодействовать, просто «думая вслух». А их производители будут продавать наши мысли для таргетинга рекламы.
Что такое метавселенная: