В Unity стандартная маска (компонент Mask) работает без альфа канала, т. е. красивые «мягкие» края сделать не получится. Особенно это актуально, если у вас маска сложной формы. Но тут нас спасет очень хорошая библиотека скриптов от Simon Jackson — Unity UI Extensions. И один из скриптов из этой библиотеки как раз и позволяет делать «soft smooth ui alpha mask». Нужно скопировать в свой проект скрипт SoftMaskScript.cs и шейдер с таким же именем...

На скорую руку собрал AR приложуху 🙂 Добавил шляпу и усы, маску сделал прозрачной. Буду тестить дальше. Вообще всё довольно быстро завелось. Мануал тут. Кстати, чтобы делать свои маски для Инсты, надо зарегиться и с помощью их программы сделать маску...