Про слово трекинг и использование трекинга в пересылках, типографике и дизайне читайте в моей предыдущей статье:
А в этой статье — про другой трекинг.
Хотите поучаствовать в призовой анимации?
Обращайтесь!
Трекинг как видеоотслеживание (video tracking) имеет множество применений, наиболее известные из которых:
- взаимодействие человека с компьютером,
- безопасность и наблюдение,
- управление дорожным движением,
- медицинская визуализация,
- видеосвязь и сжатие,
- дополненная реальность,
- монтаж (редактирование) видео,
- компоузинг (композитинг) компьютерной графики.
Системы наблюдения за человеком по его лицу или лицу/фигуре — это тоже разновидность видеоотслеживания. Распознавание — это уже алгоритмы надстройки ПО.
Формат статей на моём дзен-канале ПРИГОДИТСЯ не позволяет подробно охватить даже основные из вышепредставленных применений, а профессиональный интерес и специализация канала направляют ход статьи в пространство создания и распространения аудиовизуального контента.
- И в этом плане нам с вами будет интересно применение трекинга в кино, ТВ, анимации и гейминге.
Сначала про само определение.
ВИДЕОТРЕКИНГ. Определение
Слово "видеоотслеживание" или "отслеживание видео" — составной термин как на русском, так и на английском (video tracking). "Видеоотслеживание" как понятие — это процесс определения местоположения движущегося объекта (или нескольких объектов) с течением времени с помощью камеры и маркеров.
Об этимологии слов "видео" и трекинг" читайте мои статьи ранее или ищите в Интернете или справочниках печатной формы.
Составной термин, считающийся равнозначным — "отслеживание движения".
Видеоотслеживание может быть трудоемким процессом из-за объема данных, содержащихся в видео, и поставленной задачи.
Еще больше усложняет ситуацию возможная необходимость использования методов распознавания объектов для отслеживания, что само по себе является сложной проблемой.
ВИДЕОТРЕКИНГ. Одно понятие и два смысла
Важно отличать варианты:
- Есть системы отслеживания видео, когда идёт наблюдение за одним объектом или группой, а всё вокруг на видео, грубо говоря — не важно.
- И есть системы видеоотслеживания, когда идет наблюдение за всем изображением в совокупности и стоит задача совместить слои, тут решается задача не пассивного наблюдения, а непрерывного активного сложения объекта или группы со всем вокруг на видео.
В варианте №1 тоже могут решаться задачи сообщения команд отслеживаемому объекту (группе) куда-то двигаться и с чем-то совмещаться, но задача "обмануть" смотрящих это видео, что объект в результате таких действий становится визуально един — не ставится.
В варианте №2, который в профессиональной среде еще называется переводным термином "матч мувинг" (match moving) или "моушн трекинг" (motion tracking), ВСЕГДА ставится задача добиваться идеального совмещения слоёв по плоскостям и/или в 3D-пространстве.
ТРЕКИНГ в КОМПЬЮТЕРНОЙ ГРАФИКЕ и ВИДЕО
Для закрепления.
Видеотрекингом (или просто трекингом) называется определение местоположения движущегося объекта (нескольких объектов) во времени с помощью камеры. Алгоритм анализирует кадры видео и выдает положение движущихся целевого объекта (объектов) относительно каждого кадра.
Основная задача алгоритма трекинга — это последовательный анализ кадров видео или компьютерной графики в динамике для оценки параметров движения. Эти параметры характеризуют положение целевого объекта.
В создании единиц аудиовизуального контента целевым объектом может быть одиночный объект (например, титровая надпись) или группа (например, сборка стен и пола или стол с вазой на поверхности стола).
Основная проблема в таком трекинге экспоненциально связана со скоростью. Чем выше скорость самого объекта или чем быстрее меняется его ориентация на плоскости и в пространстве (например, сама камера двигается или вращается) - тем сложнее "тречить" объект.
А если к этому добавляется и увеличение частоты кадров — то дополнительно увеличивается и сложность (трудоемкость), и объем привлекаемых аппаратно-программных ресурсов (в первую очередь, объем памяти для хранения данных и сборного материала).
Но в любом случае, системы трекинга обычно используют модели (оценочные алгоритмы) движения, которые описывают как может изменяться изображение целевого объекта при всевозможных различных его движениях.
Примерами простых моделей движения являются:
- трекинг плоских объектов, модель движения — 2D преобразование (аффинное преобразование, которое ещё называют дурацким для наших времён термином гомография) изображения объекта (например, исходного кадра);
- когда целевым является жесткий 3D объект, тогда модель движения определяет вид в зависимости от его положении в пространстве и ориентации;
- для сжатия видео, ключевые кадры (key frames) разделяются на макроблоки (macroblocks); модель движения в этом случае представляет собой разрыв ключевых кадров, когда каждый макроблок преобразуется при помощи вектора движения, полученного из параметров движения;
- когда изображение объекта покрыто сеткой (mesh) или маркерами (markers), движение объекта задается положением вершин этой сетки или вершин каждого из маркеров (или, если системе достаточно, то основных).
В саму технологию давайте глубинно погружаться не будем. Такие понятия как "представление целевого объекта", "локализация целевого объекта", "восходящий процесс" (bottom-up process), "блоуб-трекинг" (blob tracking), "контурный трекинг" и т. д. известны соответствующим специалистам из данной области знаний и применений. Знание особенностей, плюсов и минусов вычислительной сложности различных алгоритмов видеотрекинга — это их вотчина.
Отмечу только, на мой взгляд, самое важное для общего понимания (например, не мешает это знать продюсерам кино- и ТВ контента, чтобы правильно составлять или анализировать сметы/бюджеты) — в трекинге/матчмувинге в кино в основном в системах координатных сеток программ (встроенного или прикладного ПО) применяются:
- контурный трекинг или трекинг контуров (contour tracking): идёт поиск границы объекта и по ним объект совмещается с чем-то необходимым;
- точечное слежение (point feature tracking): слежение за точечными особенностями объекта или сцены;
- визуальное согласование особенностей (feature matching): стремление к полному визуальному совмещению.
Так или иначе, решается задача соединения/наложения точных последовательностей координат проекции объекта (группы объектов) на заданные точки сцены в каждом кадре дубля (кадра).
---***---
#трекинг #матчмувинг #моушнтрекинг #видеотрекинг #трекингвидео #дизайн #эксперт #экспертиза #консультация #консалтинг #концепт #олеглубски #oleglubske #кино #ТВ #видео #анимация #компьютернаяграфика
