48 подписчиков
Фундаментальные проблемы оптического трекинга
Есть такая группа технологий, называется она SLAM. Почему-то все SLAM неизменно связывают с оптикой, но по сути сам концепт — это построение карты и определение на ней устройства в реальном времени. Поэтому пост про оптический трекинг в целом, а не про SLAM. Так как у нас главная тема сегодня косвенно — технология рекламируемая снапчатом Local Lenses.
По сути в чём её принцип. У нас есть пространство. Мы берём огромный лидар и вешаем его на машину. Сканируем пространство и получаем облако точек. Точки у нас могут быть с цветом, могут быть без (думаю что без, и даже без контрастов, но знает это только снапчат в их технологии). Карта готова. Дальше мы приходим с айфоном и строим такую же карту с датчиков телефона. И дальше у нас идёт паттерн матчинг. Мы ищем в нашей базе карт похожую карту. Те кто процесс представил должны уже начать чувствовать подвох. Но отвлечёмся и поговорим про мозг. Чего нет у вашего телефона.
А как мы определяем где мы? У нас есть чит под названием — непрерывность контекста. Мы проснулись и перемещаемся по миру с нашими "оптическими датчиками" и органами чувств. Если нас подставить перед белой стеной мы помним, как мы тут оказались и весь контекст. А ваш телефон так не умеет. Представьте, что вам завязали глаза, вытащили из кровати и привезли куда-то (и вы не шерлок, чтобы определять по запаху булочек куда вы едете). Вы в белой комнате. Определите где вы? Хорошо. Задача проще. Вы увидели эфелеву башню. Где вы? В Вегасе или в Париже? Без контекста если вы никогда не видели её в живую и обзор закрыт так, что вы не видите что вокруг, достоверно ответить вы не можете.
А теперь вернёмся к телефонам. Телефону вы так же развязали глаза. И он видит форму. Не особо точную, так как точность много весит и определять паттерны по ней сложнее. Как вы думаете сколько в мире существует похожих форм? Очень много. А в чём проблема ложных срабатываний? Да в том, что у вас несколько контентов привязаны к одной и той же форме. И какой контент нужно выбрать?
Едем дальше. А форма пространства статична? В реальном мире ответ нет. Идёт дождь, выпадает снег, ездят машины, движется солнце (и это влияет в некоторой степени на оптику). И так далее. Есть очень много шумов. Которые не так просто отфильтровать. Так как "вы не знаете где вы". У вас нет главного — контекста. В паре с гео задача становится проще, нужно классифицировать какие-то множества и т.п. Но точность определения ещё зависит от точности датчиков и мощности процессора устройства.Плюс существуют удачные ракурсы — где определить просто, а существуют неудачные — где сложно. Вот и всё. Проблема на уровне физики процесса. И тут у нас следующая задача.
Для оптики по форме любое отклонение от исходной формы будут копиться в ошибке трекинга. И это будет давать смещение от реального. И так далее. А ещё есть такая штука, как пресловутая угловая ошибка. Но пост и так большой, так что это лучше послушать в моём докладе.
Если такие посты интересны, ставьте 🔥. Я могу на пальцах ещё рассказать, как работает большая часть оптических, ультразвуковых, магнитных технологий. Принцип работы GPS. Принцип трекинга зрачков. И так далее.
#мысли
2 минуты
27 января 2023