76 подписчиков
Слежение за объектом сквозь препятствия — TCOW (Tracking through Containers and Occluders in the Wild).
Модель может сегментировать объекты с пониманием, что они продолжают существовать, даже когда их больше не видно в кадре. Сеть обучена предсказывать маски, которые не только обозначают целевой объект, но и явно обозначают окружающий окклюдер (перегородку) или контейнер, если таковой существует.
Метод: сначала сначала используется симулятор Kubric для генерации сцен с окклюзией и нахождением объекта в контейнере. Затем на полученном датасете тренируется трансформер видео, для создания сегментационных масок для отслеживания и предсказания движения объектов.
P.S. Я думал рентгеновское зрение запатентовано за суперменом. Так, а если это внедрить в гуглгласс и пойти в казино?
Около минуты
8 мая 2023