Разработчики лаборатории VR и AR подали заявку в Фонд Бортника на создание «программно-аппаратного комплекса контроля внимания дистанционных и инклюзивных групп». ИИ-ассистент сообщит педагогу, насколько студенты сосредоточены на лекции. Для создания комплекса учёным НовГУ удалось объединить в единую систему виртуальную реальность и нейроинтерфейс — прибор для обмена информации между мозгом человека и электронным устройством. Разработка является частью большого проекта учёных НовГУ по созданию искусственного интеллекта. В зависимости от задач, он сможет обучать маленьких детей, аппаратчиков сложных станков, тренировать бойцов. На пути к созданию ИИ учёные разрабатывают игры с элементами виртуальной реальности, VR-тренажёры для производств и проводят масштабные исследования. Подробнее — в материале «Газон Медиа».
Конь Достоевского и «большой бум» на Акроне
С 2019 года Лаборатория VR и AR разрабатывает трёхмерные модели: от демонстрационных музеев до интерактивных квестов и игр. Один из проектов — виртуальный дом-музей Достоевского был продемонстрирован в бизнес-инкубаторе и получил массу положительных отзывов. В VR-музее нет заграждений и защитных стекол, поэтому его посетители могут вплотную приближаться даже к самым ценным экспонатам. В экспозиции всего одна комната, воссозданная по фотографиям. Все предметы идеально проработаны и детализированы, вплоть до игры света и тени. Несмотря на то, что виртуальный музей — лишь небольшая часть реального, в нём много увлекательного.
— Игрушечная лошадка — любимый экспонат у наших посетителей, — рассказала завлабораторией Дарья Бурцева. — Почти все пытаются её погладить или оседлать. Особенно чудо-конь полюбился школьникам из ДНР и ЛНР. Но сейчас взаимодействовать с предметами нельзя, поскольку VR музей — это прототип. Мы сделали его для демонстрации наших возможностей. При необходимости музей можно расширить и добавить опцию «брать и рассматривать экспонаты».
Виртуальные пространства, где предметы можно и даже нужно трогать, лаборатория тоже создает. Под ее руководством студенты разработали VR-модели производственных цехов на предприятиях «Лактис», «Мстинское молоко», «Медовый дом», «Крестецкая строчка». Виртуальные промзоны полностью повторяли реальные производства с поточными линиями, панелями управления и системами оповещения. Они создавались для обучения персонала и отработки внештатных ситуаций.
— VR-моделью производства заинтересовалась группа компаний «Акрон», — отметил профессор НовГУ Роман Петров. — Виртуальная реальность позволяет безопасно проработать все внештатные ситуации, включая катастрофические: куда бежать при пожаре, при утечке каких веществ прижиматься к полу, а каких — подниматься повыше, как действовать при взрыве. Конкретного технического задания от «Акрона» пока нет, идёт переговорный процесс. Но важно, что региональные компании уже знают — такой продукт могут разработать в Новгородском университете.
Двигать кубик силой мысли
Полтора года назад в лаборатории решили, что только в виртуальной реальности им уже тесно, нужен новый предмет исследований. Внимание ученых привлекли нейроинтерфейсы и технологии, способные повышать биологические возможности человека. Нейроинтерфейс — система для обмена информации между мозгом и электронным устройством. Устройство крепится к голове, считывает и расшифровывает желание человека совершить какое-то действие — оно отображается в изменениях электроэнцефалограммы. Ученые решили объединить виртуальную реальность и нейроинтерфейс в единую систему. Уже создан демонстрационный проект, позволяющий перемещать предметы силой мысли. Пока только в виртуальном пространстве.
— При помощи силы мысли мы можем взаимодействовать с виртуальным миром, эта область мало изучена, — рассказал программист лаборатории виртуальной и дополненной реальности Евгений Менделеев. — Нейроинтерфейс подключается к компьютеру по bluetooth соединению и отправляет туда данные активности мозга. На мониторе отражается уровень внимания и объекты, с которыми можно взаимодействовать: кубики, цилиндр, капсула. Если мы наведем на них камеру, то есть просто посмотрим, произойдет заранее запрограммированное действие. Например, цилиндр будет вращаться. Причем настолько быстро, насколько высоко к нему внимание. У кубика четыре диапазона внимания. Слабому соответствует зеленый цвет, среднему — желтый, высокому — красный. Если внимание максимально пристальное, то включается четвертый уровень и кубик исчезает. Эта небольшая программа доказывает, что с помощью силы мысли с предметами можно взаимодействовать, что-то вроде телекинеза. Всего нам потребовалось около трёх месяцев: основное время тратилось на изучение нейроинтерфейса и разработку модуля, который будет считывать и сохранять данные. На разработку приложения ушёл месяц.
Разработчики лаборатории создали игру, чтобы углубиться в понимание работы нейроинтерфейса и тренировку способов концентрации внимания. В игре нужно проходить лабиринт, решать загадки и при помощи интерактивных табличек узнавать факты про Новгород. Взаимодействовать с предметами можно силой мысли.
Разработка пока экспериментальная. Мы привязываем уровень внимания к определенному действию — препятствия в игре уменьшаются и исчезают. Таким образом, можно преодолеть преграду нестандартным способом — поставить что-то, дернуть рычаг, а в нашем случае — силой мысли с нейроинтерфейсом. Механика ловушек в игре завязана на концентрации. Если человек спокоен, он их преодолеет, не получив урон, — рассказал Илья Хонин, сотрудник лаборатории виртуальной и дополненной реальности.
Нейроинтерфейс — американская разработка, но учёным НовГУ по силам сделать аналог. Нужны только средства и соответствующий заказ.
— Там три электрода, которые считывают мозговые ритмы, — рассказал профессор Петров. — Тем не менее, все далеко не так просто, как выглядит. Американцы провели глубочайшие исследования, повторить которые пока никому не удалось. Но это вызов.
ИИ-ассистент
Объединение нейроинтерфейса и виртуальной реальности позволило команде ученых начать работы по созданию искусственного интеллекта. Уже сегодня они пишут программу ИИ и проводят исследования.
То, что у нас нейроинтерфейс работает в виртуальной реальности — это прорыв. Не все исследовательские группы в мире способны это сделать. Сейчас мы выясняем, как можно применить нашу разработку в медицине. С точки зрения науки мы уже подали заявку в фонд Бортника. Мы предлагаем проект программно-аппаратного комплекса контроля внимания дистанционных и инклюзивных групп. С помощью нейроинтерфейса четко видно, насколько они сконцентрировали внимание на предмете. Если внимание низкое, то лектор провел свою лекцию впустую. Пока это гипотеза. Но мы уже начали её проверять, — рассказал Роман Петров, профессор НовГУ.
Согласно гипотезе, объем запоминаемой информации больше всего зависит от внимания, а не от других факторов. Чем оно выше, тем лучше люди вникают в суть предмета и правильно выстраивают причинно-следственные связи. Для доказательства гипотезы ученые разработали специальный тест.
Тест разделен на два этапа. Я написал программу, которая отслеживает во времени все параметры, которые снимает нейрогарнитура. Можно наблюдать, когда внимание повышается, когда уменьшается. На первом этапе испытуемому предлагается прочитать стихотворение за минуту и рассказать, в чем там суть. Второй этап — выучить короткое стихотворение наизусть и пересказать его за шесть минут. Так мы формируем базу данных. Она будет исследоваться. Несмотря на простоту теста, над его концепцией мы работали полгода. Все испытуемые поставлены в одну ситуацию, но проявляют себя в ней по-разному. Опираясь на исследования, в будущем мы сможем понять отличие одного человека от другого и предсказать его поведение. Сможем оценивать эмоции и умственные способности, — поделился Евгений Менделеев, программист лаборатории виртуальной и дополненной реальности.
По словам Романа Петрова, все разработки молодых ученых являются вехами на пути к созданию искусственного интеллекта. Насколько далеко им удастся продвинутся, станет ясно через год.
— Изучив мозговые ритмы, мы можем создать ИИ, скопировав функции, которые есть у реальных людей, — рассказал Роман Петров. — Потому что живой организм характеризуется в том числе мозговыми ритмами. Попав в виртуальную реальность, вы будете общаться с компьютерными созданиями — ботами, у которых искусственный разум. Но будете ощущать, что они живые, потому что они будут наделены качествами живого организма. Искусственный разум можно использовать в игровых ситуациях для обучения. Например, детей в садике: посмотреть на Африку, погулять со слонами. Или Антарктику, с пингвинами. Или вообще на Марс улететь и ощущать другую гравитацию. С таким же успехом в виртуальной реальности можно тренировать бойцов. Это гораздо дешевле, чем строить фортификации и обучать солдат в условиях боя. Через год мы постараемся найти подходы. Образование в ИТИС — мирового уровня, наши студенты могут сделать всё это.
За рубежом искусственный интеллект уже стал частью образовательной системы. В Технологическом институте США система искусственного интеллекта читает лекции студентам, в Японии ИИ отслеживает успеваемость учеников и борется с буллингом.
Автор: Светлана Щербакова
Фото: Светлана Разумовская
