Группа исследователей разработала новую портативную и неинвазивную систему, способную преобразовывать мысли человека в слова. Об этом сообщил Сиднейский технологический университет (Австралия).
Ученые отметили, что используемые сегодня для перевода сигналов мозга в текст другие методы требуют инвазивных операций, при которых в мозг вживляются электроды, а в некоторых случаях речь идет о дорогостоящих и громоздких аппаратах МРТ. Однако это непрактично для повседневного использования.
В исследовании, опубликованном в сервисе препринтов arXiv, были представлены результаты, полученные после использования новой программы на основе искусственного интеллекта (ИИ), получившей название DeWave. Она предназначена для преобразования мозговых волн в слова и предложения.
Ученые объяснили, что в ходе работы участники эксперимента молча читали текст в специальном шлеме, который регистрировал электрическую активность их мозга с помощью электроэнцефалограммы (ЭЭГ). Как только DeWave понимал сигналы мозга, специалисты связывали их с LLM (Большие языковые модели), аналогичные той, которую использует приложение ChatGPT.
Впоследствии и DeWave, и LLM прошли совместное обучение с целью совершенствования написания предложений на основе данных ЭЭГ. Точность результатов в настоящее время составляет около 40 % по шкале BLEU-1. Тем не менее ученые надеются улучшить этот показатель до уровня обычных программ языкового перевода или распознавания речи, который близок к 90%.
С другой стороны, специалисты предполагают, что их технология может быть использована для помощи людям, потерявшим дар речи из-за болезни, например, инсульта. Кроме того, систему можно применять в роботизированных приложениях, основанных на общении между людьми и машинами.