Найти тему
47 подписчиков

ARKit как гринскрин


Вообще оказывается тут даже есть о чём написать статью, так что как буду посвободнее может заморочусь. Сегодня я разбираюсь и тестирую аркитовский human body segmentation и он достаточно хорош. Хотя тут есть ряд "но". А как говорится если потратил на что-то больше 20 минут лучше об этом рассказать. Вдруг это кому-то сэкономит время.

1. Human Body Segmentation не работает в паре с Human Pose Estimation

Как показали тесты они не работают одновременно, а так как мне нужно было и то, и другое, я некоторое время удивлялся "где мой скелет". Из плюсов, можно просто отключить компонент который отвечает за Human Stencil Texture и Human Depth Texture и всё работает. И включать его можно тоже совершенно спокойно. Не одновременно, но хотя бы последовательно работает.

2. Не забываем про кроп фрейма аркитом

Я вспомнил почти сразу, но понимаю, что можно убить много времени удивляясь "а чё глубина так криво накладывается". Дело в том, что кадр с камеры идёт в стандартные 16x9, а айфон в свою очередь его кропает до размеров экрана. Это позволяет выводить кадр без деформаций. И поэтому применяя глубину к кадру нужно помнить, что он не размера экрана. В статье уже напишу скрипт обработчик для Raw Image чтобы обработать этот момент

Мало ли вдруг кто решит поковырять и столкнётся с такими проблемами. А работает довольно неплохо. Надо только пошаманить с глубиной (и с шейдером, и с самой текстурой)
1 минута