Ученые сделали большой шаг вперед: сегодня они могут расшифровать то, что говорит человек, просто взглянув на его мозговые волны в процессе речи.
Они настроили алгоритмы преобразования повторяющихся мозговых сигналов в предложения! Все это происходит в режиме реального времени, а частота ошибок в словах составляет всего 3%.
Исследование опубликовано в журнале Nature Neuroscience.
Ранее предпринятые усилия в этой области были способны декодировать или расшифровать только фрагменты произнесенных слов или небольшой процент слов, содержащихся в определенных фразах.
Специалист по машинному обучению доктор Джозеф Макин из Университета Калифорнии, Сан-Франциско (UCSF), США, и его коллеги работали над тем, чтобы улучшить точность передачи данных.
Они провели эксперимент, в котором четверо добровольцев читали вслух текст, в то время как электроды записывали их активность в мозге.
Данные о мозговой активности поступали в вычислительную систему, которая создавала представление о регулярно встречающихся повторений и особенностей в этих данных.
Системные ограничения
Эти паттерны (сигналы), вероятно, являются повторяющимися отрывками речи, такими как гласные и согласные.
Другая часть системы расшифровывала сигналы слово за словом, чтобы сформулировать предложения.
Тем не менее, создатели системы оговаривают допустимые пределы декодирования. Так, речь, подлежащая расшифровке, ограничена 30-50 предложениями.
«Конечно, нам бы хотелось, чтобы система самостоятельно изучала и использовала закономерности языка. Для этого требуется определить, сколько данных будет задействовано, чтобы расширить словарный запас до того английского, на котором мы все говорим», - написали исследователи в своей статье «Nature Neuroscience». ,
Они добавляют, что расшифровщик не просто классифицирует предложения на основе их структуры, так как его работы была улучшена за счет добавления предложений к обучающему набору, которые не использовались в самих тестах.
Ученые говорят, что это доказывает, что компьютерная программа идентифицирует именно отдельные слова, а не предложения. Это означает, что в будущем будет возможно декодировать предложения, которые еще не были введены в обучающий набор.
На сегодняшний день известно, что после использования программы на одном добровольце, полученные данные о его мозговой активности и речи, позволяют улучшить работу системы в процессе обработки мозговой активности следующего добровольца.
