Ученые из Техасского университета в Остине разработали систему, которая может анализировать снимки мозга, сделанные с помощью функциональной магнитно-резонансной томографии (фМРТ), и реконструировать мысли человека. Система использует языковую модель-трансформер, подобную знаменитым системам Bard от Google или ChatGPT от OpenAI. Об этом сообщается в новой статье, опубликованной в журнале Nature Neuroscience.
Ученые из Техасского университета в Остине разработали систему, которая может анализировать снимки мозга, сделанные с помощью функциональной магнитно-резонансной томографии (фМРТ), и реконструировать мысли человека. Система использует языковую модель-трансформер, подобную знаменитым системам Bard от Google или ChatGPT от OpenAI. Об этом сообщается в новой статье, опубликованной в журнале Nature Neuroscience.
ФМРТ позволяет определять активность нейронов головного мозга по усилению тока крови, который необходим для снабжения их кислородом. Томограф получает высококачественные снимки с высоким разрешением, однако с частотой лишь около десяти секунд. За это время — вслух или мысленно — человек успевает произнести около 20 слов.
Ученые обучали нейросеть на данных МРТ трех добровольцев, активность мозга которых отслеживали по 16 часов, во время чтения аудиокниг. В результате модель смогла определять нейронные паттерны, активирующиеся в ответ на разные последовательности слов, а не каждое слово по отдельности. Иначе говоря, «семантический декодер» реконструирует скорее общий смысл мыслей, а не точное содержание, слово за словом.
Система может работать в двух режимах: пассивном и активном. В пассивном режиме она просто анализирует данные МРТ и выводит наиболее вероятный текст. В активном режиме она задает вопросы подопытному и получает ответы в виде сигналов мозга. Таким образом, система может вести диалог с человеком без использования слов.
Ученые подчеркивают, что их система не может «читать мысли» против воли человека, так как для этого необходимо его активное участие и согласие. Они также отмечают, что система имеет ограничения по словарному запасу и точности реконструкции. Однако они надеются, что в будущем их разработка поможет людям с нарушениями речи или коммуникации общаться с окружающими.