3940 подписчиков
COGNITIVE EVENTS RECOGNITION
"...Тяжелое это дело — понимать снова мир, потерянный мною из-за ранения и болезни, уже из отдельных мельчайших кусочков собрать его в одно целое..."
А.Лурия, "Потерянный и Возвращенный мир. История одного ранения...." 1971 г.
- Что Вы видите, Донг?
- Кружочки, стрелочки, колбочки...
- Вы помните, что такое часы?
- Я помню слово "часы", но я вижу кружочки, стрелочки и палочки...
Парню сильно прилетело в голову. Мотоцикл приехал в опору на скользком повороте. Пациенту - 36 лет, а мир уже развалился на кружочки, стрелочки и палочки.
Почти 4 года мы консультируем врачей в одной из клиник Пекина. Они проводят эксперимент. Восстанавливают работу поврежденного почти на 9% мозга молодого мужчины.
Рассчитывают на зеркальные нейроны, которые возьмут на себя функцию поврежденного участка. Наши системы они используют для обучения пациента в режиме обратной послойной промотки сцены.
Когда наши нейронные системы глубокого обучения распознают дорожную сцену, они из общего хаоса светотени слой за слоем выделяют определенное изображение. Медики пытаются через работу с этими слоями обучить мозг пациента, напомнить ему как он это делал до аварии.
Решая задачу распознавания сцены дорожного движения, нам в Cognitive с головой пришлось погрузиться в поразительные миры работы человеческого мозга и труды Лурии были первыми, что мы изучали, чтобы разобраться в способности человека распознавать объекты и определять их расположение в пространстве. Эта способность зависит от взаимодействия между областями мозга, отвечающими за обработку зрительной информации, формирование эпизодической памяти и умение прокладывать маршруты.
Наш мозг обрабатывает огромное количество визуальной информации, выделяя множество признаков — цвет, ориентацию, движение в пространстве, которые затем объединяются в единый образ. Такая способность называется восприятием естественных сцен (processing natural scenes).
"Нейробиологи обнаружили, что восприятие естественных сцен обеспечивается за счет двух различных нейронных сетей, расположенных в парагиппокампальной области (PPA) — зоне мозга, которая, как известно, активируется в ответ на изображение мест. Одна из сетей включает в себя затылочную зону, а также заднюю часть PPA. Вторая состоит из нижней теменной извилины, ретросплениальной коры и передней части PPA. Она соединяется с гиппокампом и участвует в формировании эпизодической памяти и навигации."
Одновременно с победным стартом Нейронных сетей глубокого обучения, в 2012 году силами двух институтов — Массачусетского технологического института и Института медицинских исследований имени Макса Планка запускается легендарный проект EyeWire, в рамках которого усилиями сотен тысяч интернет-пользователей на примере сетчатки человека обучается искусственный интеллект, который в будущем сможет автоматически анализировать миллионы микроскопических срезов нервной ткани.
Автор проекта — бывший физик Себастьян Сеунг (Sebastian Seung), который сегодня работает в Принстонском университете.
Задача - создание карты нейронных связей человеческого мозга.
Эта система сегодня выведена в интернет в виде онлайн-игры и оба университета используют краудсорсинговую мощь людей со всего мира для обучения системы и исправления ошибок автоматического распознавания.
У нас в Cognitive решена, конечно, более узкая частная задача, но из этой же серии. Мы научились распознавать СОБЫТИЯ ДОРОЖНОЙ СЦЕНЫ.
Наша треккинговая нейронная сеть в комбинации с адаптивными фильтрами Калмана производит межкадровую обработку снимков, поступающих с различных сенсоров, объединяя их в динамическую дорожную сцену, где можно увидеть реальное количество объектов их динамику и то, как они взаимодействуют (например, нет ли угрозы столкновения) - это и есть распознавание событий в C-Pilot.
Так что дорожная сцена теперь всегда для нас имеет целостный смысл, а не разрозненное перечисление объектов - столько-то машин, столько-то пешеходов, велосипедистов и т.д.
3 минуты
9 августа 2024