3872 подписчика
COGNITIVE EVENTS RECOGNITION
"...Тяжелое это дело — понимать снова мир, потерянный мною из-за ранения и болезни, уже из отдельных мельчайших кусочков собрать его в одно целое..."
А.Лурия, "Потерянный и Возвращенный мир. История одного ранения...." 1971 г.
- Что Вы видете, Донг?
- Кружочки, стрелочки, колбочки...
- Вы помните, что такое часы?
- Я помню слово "часы", но я вижу кружочки, стрелочки и палочки...
Парню сильно прилетело в голову. Мотоцикл приехал в опору на скользком повороте. Пациенту - 36 лет, а мир уже развалился на кружочки, стрелочки и палочки.
Почти 2 с половиной года мы консультируем врачей в одной из клиник Пекина. Они проводят эксперимент. Восстанавливают работу поврежденного почти на 9% мозга молодого мужчины.
Расчитывают на зеркальные нейроны, которые возьмут на себя функцию поврежденного участка. Наши системы они используют для обучения пациента в режиме обратной послойной промотки сцены.
Когда наши нейронные системы глубокого обучения распознают дорожную сцену, они из общего хаоса светотени слой за слоем выделяют определенное изображение. Медики пытаются через работу с этими слоями обучить мозг пациента, напомнить ему как он это делал до аварии.
Решая задачу распознавания сцены дорожного движения, нам в Cognitive с головой пришлось погрузиться в поразительные миры работы человеческого мозга и труды Лурии были первыми, что мы изучали, чтобы разобраться в способности человека распознавать объекты и определять их расположение в пространстве. Эта способность зависит от взаимодействия между областями мозга, отвечающими за обработку зрительной информации, формирование эпизодической памяти и умение прокладывать маршруты.
Наш мозг обрабатывает огромное количество визуальной информации, выделяя множество признаков — цвет, ориентацию, движение в пространстве, которые затем объединяются в единый образ. Такая способность называется восприятием естественных сцен (processing natural scenes).
У нас в Cognitive решена, конечно, более узкая частная задача, но из этой же серии. Мы научились распознавать СОБЫТИЯ ДОРОЖНОЙ СЦЕНЫ.
Наша трекинговая нейронная сеть в комбинации с адаптивными фильтрами Калмана производит межкадровую обработку снимков, поступающих с различных сенсоров ( на видео пример с 4d-radar), объединяя их в динамическую дорожную сцену, где можно увидеть реальное количество обьектов их динамику и то, как они взаимодействуют ( например, нет ли угрозы столкновения) - это и есть распознавание событий в C-Pilot.
Так что дорожная сцена теперь всегда для нас имеет целостный смысл, а не разрозненное перечисление обьектов - столько-то машин, столько-то пешеходов, велосипедистов и т.д.
Эксперимент с мистером Донгом длится уже несколько лет. Победы пока очень маленькие. Мотоциклисту с помощью врачей и наших нейронщиков удалось собрать и заново классифицировать порядка 40 предметов. Но ни врачи, ни пациент, ни мы не теряем надежды. Если удастся вытащить этого пациента, то откроется целый мир по работе с пораженными или "уставшими" мозгами.
2 минуты
16 мая 2024