На WWDC 2023 Apple представила новый для себя тип устройства – гарнитуру смешанной реальности под названием Vision Pro. Исследователь нейротехнологических прототипов Стерлинг Криспин после дебюта новинки поделился некоторой информацией о процессе разработки.
Стерлинг Криспин проработал исследователем прототипов нейротехнологий в группе разработки технологий в Apple более трёх лет, что является самым продолжительным периодом, когда он «когда-либо работал над одним проектом». Работа Криспина заключалась в определении психического состояния пользователей на основе данных, собранных «из их тела и мозга, когда они находились в условиях «погружения» в виртуальную реальность.
Используя отслеживание взгляда, электрическую активность, сердцебиение, мышечную активность, кровяное давление, проводимость кожи и другие показатели, модели ИИ могут попытаться открыть мысли пользователя. «Модели искусственного интеллекта пытаются предсказать, испытываете ли вы любопытство, блуждаете в мыслях, боитесь, обращаете внимание, вспоминаете прошлый опыт или какое-то другое когнитивное состояние», – заявил Криспин.
Одним из самых поразительных результатов стала возможность спрогнозировать, что пользователь нажмёт до того, как он это сделал. Как пояснил Криспин, наблюдая за поведением глаз пользователя, и переделывая пользовательский интерфейс в режиме реального времени, можно создать биологическую обратную связь с его мозгом. Исследователь сравнивает это с «грубым компьютерным интерфейсом мозга через глаза».
В ходе другого эксперимента при определении состояния пользователям могут показываться визуальные эффекты или воспроизводиться звуки способами, которые они не воспринимают, а затем измерять реакцию на этот стимул. Также Стерлинг Криспин рассказал, как можно использовать машинное обучение и сигналы тела для прогнозирования концентрации внимания пользователя, расслабленности или для определения того, насколько хорошо он учится. Используя эту информацию и состояние, система может адаптировать виртуальную среду для улучшения требуемого состояния.