В Японии представили технологию, способную изменить представление о взаимодействии человека и компьютера. Учёные разработали метод, позволяющий ИИ формировать описания того, что человек видит или вспоминает, основываясь только на данных мозга.
В ходе исследования участники находились в fMRI-сканере и смотрели тысячи коротких видеороликов. Каждую реакцию мозга модель сопоставляла с абстрактными смыслами, извлечёнными из подписей к видео при помощи глубокой языковой нейросети. После обучения алгоритм смог формировать связные предложения, постепенно подбирая слова так, чтобы их семантика соответствовала сигналам мозга.
При генерации описаний новых видеоклипов система позволяла угадать правильный ролик среди 100 вариантов примерно в 50% случаев. Во время тестов на воспоминание, когда участники просто представляли ранее увиденное видео, точность доходила до 40%.
Метод работал даже при исключении классических речевых зон мозга. Сейчас технология далека от практического применения, но её потенциал в сфере нейроинтерфейсов огромен.