Ученые усовершенствовали «мозговой декодер», который с помощью искусственного интеллекта преобразует мысли в текст. Новый алгоритм преобразователя может быстро перенастроить существующий декодер на другой мозг, сообщили исследователи в недавней статье, вышедшей в Current Biology. Однажды это изобретение может помочь людям с афазией: нарушением в работе мозга, которое влияет на способности человека к коммуникации, пишет Live Science.
Мозговой декодер использует машинное обучение для перевода мыслей в текст на основе реакции мозга на услышанные истории. Однако прошлые версии требовали, чтобы участники слушали истории в аппарате МРТ на протяжении долгого времени, и эти устройства работали только для людей, на которых их обучали.
«Люди с афазией часто испытывают трудности с пониманием и формированием языка. Если это так, мы не сможем создать модели для их мозга, наблюдая, как он реагирует на истории», — говорит Александр Хат, один из авторов исследования, вычислительный нейробиолог из Техасского университета в Остине.
Сначала исследователи обучили мозговой декодер на нескольких «эталонных» участниках традиционным способом — собирая данные фМРТ, пока они слушали 10 часов радиопередач. Затем они обучили два алгоритма преобразователя также на «эталонных» участниках и на другой группе «целевых» участников: один на основе данных, собранных при 70-минутном прослушивании радиопередач, и второй — при просмотре 70 минут немых короткометражек Pixar, не связанных с радиопередачами.
Используя технику функционального выравнивания, ученые выявили реакции мозга эталонных и целевых участников на одни и те же аудио- или видеосюжеты. На основе полученной информации декодер смог работать с мозгом целевых участников без необходимости длительного сбора данных. После тренировки декодеры протестировали на коротком рассказе, который ранее никто из участников не слышал. Хотя предсказания были немного точнее для эталонных участников, слова считанные по мозговым сигналам целевых испытуемых, все равно были семантически связаны с теми, что использовались в тестовом рассказе.
«Действительно удивительно, что мы можем делать это даже без использования языковых данных. Мы можем использовать данные, собранные просто во время просмотра тихих видеороликов», — сказал Хат.
Использование видеопреобразователей для переноса существующих декодеров людям с афазией может помочь им выразить свои мысли, считают ученые. Это также показывает, что мозг представляет идеи от языка и визуальных повествований схожим образом.
Устройство для чтения мыслей: создан имплант, передающий произнесенные в уме слова
Нейросеть создала изображения, читая мысли людей
Создано устройство, позволяющее управлять роботом силой мысли
Намерения человека смогли прочесть, используя только данные мозговых волн