Существующие модели семантической сегментации в значительной степени полагаются на плотные пиксельные аннотации. Чтобы уменьшить нагрузку на аннотации, мы сосредоточились на сложной задаче, называемой семантической сегментацией с нулевым выстрелом, которая направлена на сегментирование невидимых объектов с нулевыми аннотациями. Это может быть достигнуто путем передачи знаний по категориям с помощью семантических встраиваний слов. В этой статье мы предлагаем новый контекстно-зависимый метод генерации функций для сегментации с нулевым выстрелом, названный CaGNet. В частности, учитывая, что пиксельная функция в значительной степени зависит от ее контекстной информации, мы вставляем контекстный модуль в сеть сегментации для захвата пиксельной контекстной информации, которая направляет процесс создания более разнообразных и контекстно-зависимых функций. от семантических вложений слов. Наш метод позволяет получить самые современные результаты на трех тестовых наборах данных для нулевой сегментации.
Github: https://github.com/bcmi/CaGNet-Zero-Shot-Semantic-Segmentation
Paper: https://arxiv.org/abs/2009.12232v1
