Особенно хочу поделиться этой новостью, потому что эти "российские ученые " - мои коллеги, и я сама видела то, о чем напишу.
Группа компаний "Нейроботикс" занимается разработкой большого количества проектов, часть из них публичные, часть - нет, сейчас обсудим достаточно "открытый", направленный на реабилитацию людей после инсультов и нейротравм головы. Данный эксперимент проводили сотрудники ООО "Нейроассистивные технологии" ("дочка" ООО "Нейроботикс") и лаборатории нейроробототехники МФТИ.
Обучение нейронной сети, о которой пойдет речь, необходимо для того, чтобы расширить возможности управления различными устройствами для людей с ограниченными способностями (хотя может быть полезно и другим). И это происходит в рамках проекта "Ассистивные нейротехнологии" при поддержке NeuroNet НТИ.
Для развития методов лечения когнитивных нарушений, постинсультной реабилитации и создания устройств, управляемых мозгом, необходимо понять то, как мозг кодирует информацию. Ключевая задача для понимания принципов его работы — исследование активности мозга, возникающей при визуальном восприятии информации. Все существующие решения в области распознавания изображений по сигналам мозга используют фМРТ или анализ сигнала, получаемого непосредственно с нейронов. Особенности этих методов ограничивают их применение в клинической практике и повседневной жизни. Интерфейс мозг—компьютер, созданный командой ученых из МФТИ и «Нейроботикс», напротив, использует электроэнцефалограмму (далее ЭЭГ), снимаемую с поверхности головы, и нейросети. Эта разработка с помощью ЭЭГ в режиме реального времени реконструирует кадры из видео, которое смотрит человек.
Эксперимент состоял из двух частей. В первой части исследователи произвольно выбрали 5 разных категорий роликов с YouTube: «абстракции», «водопады», «лица людей», «скорость» — видеосъемку от первого лица гонок на снегоходах, водных мотоциклах, ралли — и «движущиеся механизмы», которые показывали испытуемым, записывая при этом ЭЭГ. Ролики длились по 10 секунд, в сумме вся сессия записей у каждого испытуемого составляла 20 минут.
В этой части эксперимента ученым удалось доказать, что частотные характеристики волновой активности (спектры) ЭЭГ для разных категорий видеороликов достоверно различаются. Это позволило анализировать реакцию мозга на видеоролики в режиме реального времени.
Для второй части эксперимента были произвольно выбраны три категории из вышеперечисленных видео. Специалисты разработали 2 нейросети, одна из которых генерировала произвольные изображения этих же категорий из «шума», а вторая — создавала похожий «шум» из ЭЭГ. Затем авторы работы обучили эти нейросети работать совместно так, чтобы по записанному сигналу ЭЭГ создавались кадры, похожие на те, которые видели люди в момент записи.
Большой соблазн назвать результат "чтением мыслей", но, конечно, неверно... хотя, возможно, это достаточно серьёзный шаг на пути к такой цели. Пожелаем ребятам успехов и продолжим следить за развитием проекта ;)
