Компании STMicroelectronics и Leopard Imaging представили мультимодальный модуль зрения, ориентированный на новое поколение робототехнических систем. Решение объединяет несколько типов сенсоров в единую платформу и напрямую интегрируется с экосистемой NVIDIA, что должно ускорить внедрение физических ИИ-приложений.
Интеграция сенсоров: ставка на компактность и синхронизацию
Ключевая особенность модуля — объединение сразу нескольких каналов восприятия:
- 2D-видеосенсоры (RGB-IR);
- 3D-датчики глубины (LiDAR по времени пролёта);
- инерциальные измерительные блоки (IMU) для отслеживания движения.
Все компоненты синхронизированы в рамках одного устройства, что позволяет устранить традиционные проблемы робототехники — рассогласование данных, сложную калибровку и задержки при обработке.
Передача данных осуществляется через Holoscan Sensor Bridge с использованием Ethernet, обеспечивая многогигабитный поток сенсорной информации в реальном времени на платформы NVIDIA Jetson.
Фокус на гуманоидных системах
Архитектура модуля оптимизирована под ограничения гуманоидных роботов — прежде всего по габаритам, массе и энергопотреблению (SWaP). Консолидация сенсоров в одном корпусе позволяет:
- снизить количество дискретных компонентов;
- упростить интеграцию в компактные системы;
- повысить надёжность и воспроизводимость восприятия.
Это особенно критично для задач, где требуется «человеко-подобное» восприятие окружающей среды в реальном времени — от навигации до манипуляции объектами.
Связка с экосистемой NVIDIA
Модуль изначально спроектирован для работы с платформой NVIDIA Isaac, которая включает:
- инструменты моделирования и симуляции;
- библиотеки ИИ и компьютерного зрения;
- средства обучения и развертывания моделей.
Такая интеграция решает одну из ключевых проблем отрасли — разрыв между симуляцией и реальным миром. Стандартизированные сенсорные пайплайны позволяют быстрее переносить обученные модели в физические системы.
Техническая база: мультисенсорное ядро
В основе решения лежит набор сенсоров от STMicroelectronics:
- 5,1-МП RGB-IR сенсор с поддержкой глобального и роллинг-затвора;
- 6-осевой IMU с возможностями локального машинного обучения;
- LiDAR-датчик прямого времени пролёта с глубинным картированием до 2300 зон.
LiDAR обеспечивает дальность до 9 метров, широкий угол обзора и частоту до 100 кадров в секунду, что делает систему пригодной для динамических сценариев — например, в логистике или промышленной автоматизации.
Итог
Совместная разработка STMicroelectronics и Leopard Imaging отражает важный сдвиг в робототехнике: переход от разрозненных сенсорных систем к интегрированным платформам восприятия. В сочетании с экосистемой NVIDIA это формирует базу для ускоренного внедрения гуманоидных и автономных систем, где ключевым фактором становится не только интеллект, но и качество сенсорного восприятия окружающей среды.
Больше интересного – на медиапортале https://www.cta.ru/