Ученые из Йельского, Дартмутского и Кембриджского университетов разработали модель MindLLM, способную преобразовывать сигналы функциональной магнитно-резонансной томографии (fMRI) в текст. В отличие от предыдущих методов, она не требует индивидуальной настройки для каждого человека.
Ранее попытки перевести мозговую активность в текст сталкивались с проблемами низкой точности, ограниченного набора задач и невозможности работы с разными людьми. Существующие модели зависели от индивидуальных особенностей мозга и плохо переносили знания на новых пользователей. MindLLM использует иной подход, основанный на обработке общих закономерностей работы мозга, что позволяет ей лучше адаптироваться к разным людям и задачам.
Модель включает два ключевых компонента: fMRI-энкодер и языковую нейросеть. Сканирование мозга делит его на крошечные трехмерные участки — воксели, количество и расположение которых варьируются у разных людей. Однако функции мозга остаются схожими, и MindLLM анализирует активность мозга, учитывая эту особенность.
Специальный механизм обработки сигналов помогает модели понимать смысл информации, а методика Brain Instruction Tuning (BIT) улучшает ее способность расшифровывать семантические данные. Это позволяет MindLLM выполнять сложные задачи, такие как создание описаний по сигналам мозга, ответы на вопросы и логические рассуждения.
В тестах модель показала на 16,4% лучшую адаптацию к новым пользователям и на 25% лучше справлялась с новыми задачами по сравнению с предыдущими решениями. MindLLM также выявила связи между активностью определенных областей мозга и когнитивными функциями, такими как восприятие и мышление.