Составили обзор сервисов и инструментов для аннотации. Рассмотрели особенности 5 бесплатных и 5 платных сервисов для разметки. Выделили основные преимущества и недостатки.
Что делает специалист, когда не может найти open source датасет под свои задачи? Правильно — начинает искать open source ПО, в котором он сам сможет аннотировать данные. Чтобы упросить жизнь начинающим ML-инженерам, LabelMe подготовил небольшую подборку платформ, которые помогут подготовить данные перед началом работы.
Внимание: мы решили не ограничиваться только бесплатными платформами, чтобы показать возможности и потенциал всех вариантов. Поэтому всю статью мы разделили на два блока: платные и бесплатные.
Бесплатные платформы для разметки данных
1. CVAT (Computer vision annotation tool)
CVAT — это веб-платформа для аннотирования изображений и видео с открытым исходным кодом. Как можно догадаться из расшифровки названия, в основном она используется для разметки данных под задачи компьютерного зрения.
CVAT предлагает четыре основных типа аннотации: прямоугольники (BBox), многоугольники, полилинии и ключевые точки. Этого достаточно чтобы решить основные задачи контролируемого машинного обучения. А именно обнаружение объектов, классификацию изображений и сегментацию изображений.
Ключевая особенность:
— Полуавтоматическая аннотация
— Интерполяция фигур между ключевыми кадрами
— Дашборд со списком аннотированных проектов и задач
— LDAP
— Поддерживает большое количество инструментов автоматизации, включая автоматическое аннотирование с помощью TensorFlow* Object Detection API или видеоинтерполяции.
К одним из главных преимуществ CVAT можно отнести: возможность командной работы, простоту развертывания (можно установить в локальной сети с помощью Docker) наличие полуавтоматической аннотации.
Мы в LabelMe часто используем в CVAT, так как он позволяет быстро настроить работу с удаленными разметчиками. Можно сказать выбор редакции.
2. VoTT ( Visual Object Tagging Tool)
VoTT — это бесплатный инструмент с открытым исходным кодом для аннотирования изображений, разработанный Microsoft. Он обеспечивает комплексную поддержку для создания наборов данных и проверки моделей обнаружения объектов на основе видео и изображений.
Ключевая особенность:
— Возможность пометить и аннотировать каталоги изображений или отдельные видео.
— Экспорт тегов и ресурсов в формат CNTK, Tensorflow (PascalVOC) или YOLO.
— Предлагает расширяемую модель для импорта/экспорта данных из локальных и облачных хранилищ.
— Позволяет запускать и проверять обученную модель обнаружения объектов CNTK на новых видео для создания более надежных моделей.
3. LabeIimg
LabeIimg - это инструмент графического аннотирования изображений для маркировки объектов с помощью прямоугольников (Bounding Box). Он написан на Python. Размеченные данные экспортируются файлами XML в формате PASCAL VOC.
По умолчанию Labelimg предлагает только аннотацию прямоугольной формы, но с помощью один GitHub можно добавить и другие фигуры. Это, конечно, костыль, но если под вашу задачу достаточно и BBox, то можно и использовать версию “из коробки”. Интерфейс в Labelimg простой, не перегруженный и интуитивно понятный. Вы сами добавляете классы меток и изображения.
Ключевая особенность:
— Аннотации сохраняются в виде файлов XML в PASCAL VOC.
— Необходимо установить локально
— Только аннотация изображения
— Только Bounding Box
4. ImgLab
ImgLab - веб-инструмент для аннотирования изображений с открытым исходным кодом. В отличие от LabeIimg поддерживаются несколько типов разметки: ключевые точки, круги, ограничивающие прямоугольники, многоугольники. Экспортировать аннотированные данные можно в форматах dlib, XML, Pascal VOC и COCO.
Ключевая особенность:
— Имеется как локальная, так и веб-версия
— Основные функции IDE
— Поддерживает несколько типов разметки
— Основные форматы экспорта
5. Labelme
Labelme - наши тезки и онлайн-инструмент для аннотации данных, созданный Лабораторией компьютерных наук и искусственного интеллекта Массачусетского технологического института. Labelme поддерживает шесть различных типов аннотаций: многоугольники, прямоугольники, круги, линии, точки и линейные полосы.
Существенными недостатками можно назвать вырвиглазный интерфейс и экспорт разметки только в формате JSON, что накладывает определенные неудобства.
Ключевая особенность:
— Модификация контрольных точек
— Удаление сегментов и полигонов
— Шесть типов аннотации
Платные платформы для разметки данных
1. Labelbox
Labelbox — это онлайн-платформа, состоящая из трех основных уровней, которые облегчают весь процесс от разметки данных и выстраивания совместной работы до предобучения. Она была создана в 2018 году и быстро стала одним из самых популярных инструментов аннотации данных.
В функционал Labelbox входит интегрированный ИИ для упрощения процесса разметки, автоматическую аннотацию, инструменты для управления данными, мощный API для интеграции и Python SDK для расширения.
Labelbox разработан вокруг трех основных столпов: возможность аннотировать данные, диагностировать производительность модели и расставлять приоритеты на основе ваших результатов. Цикличность этих процессов улучшают работу на каждом этапе работы.
Labelbox позволяет работать по разным сценариям. Например, размечать данные параллельно, когда выполнение ложится на коллектив в компании или аутсорс команду, использующих различные редакторы. Или поручить разметку исключительно внутренним сотрудникам под руководством. Или использовать модель Labelbox Prediction API, обученную на предыдущих прогнозах, для ускорения разметки нового пакета данных.
Ключевая особенность:
— Разметка данных с помощью ИИ (модели BYO)
— Интегрированные службы разметки данных
— Инструменты QA/QC и рабочие процессы проверки меток
— Аналитика производительности разметчиков
— Настраиваемый интерфейс для упрощения задач
Стоимость: 5000 изображений бесплатно и тарифы Pro и Enterprise
2. Scale AI
Scale AI — это сын маминой подруги в мире платформ для разметки данных. Платформа позволяет аннотировать изображения, видео, тексты и даже данные с 3D-датчиков.
Scale предлагает предварительную разметку объектов на основе машинного обучения, автоматизированную систему обеспечения качества, управление наборами данных, обработку документов и аннотирование данных с помощью ИИ.
Этот инструмент аннотирования данных можно использовать для различных задач компьютерного зрения, включая обнаружение объектов, классификацию, сегментацию и распознавание текста. Scale поддерживает несколько форматов данных. Но и ценник за все эти возможности очень внушительный.
Ключевая особенность:
— Предварительная маркировка с помощью ML
— Управление набором данных Nucleus
— Автоматизированная система контроля качества
— Особенности обработки документов
— Курирование данных модели в цикле предобучения
Стоимость: от 50 000 долларов
3. SuperAnnotate
SuperAnnotate — это комплексная платформа для аннотирования изображений и видео для задач компьютерного зрения: обнаружение объектов, семантическая сегментация, аннотацию по ключевым точкам, разметку прямоугольниками, трекинг объектов и так далее.
Доступные инструменты включают векторную аннотацию (поля, многоугольники, линии, эллипсы, ключевые точки и кубоиды) и пиксельную аннотацию с использованием кисти.
Одна из киллер-фич SuperAnnotate — семантическая сегментация фотографий и видео на основе суперпикселей. Эта техника разделяет изображение на множество сегментов и присваивает каждому суперпикселю свою метку. Это ускоряет и повышает точность аннотации, а также позволяет автоматизировать часто повторяющиеся паттерны. Например, распознавание объектов, распознавание эмоций, OCR и определение позы человека.
Ключевая особенность:
— Разметка данных с помощью ИИ (модели BYO)
— Суперпиксели для семантической сегментации
— Передовые системы контроля качества
— Поддерживает различные форматы посредством преобразования изображений
Стоимость: Бесплатная 14-дневная пробная версия, а также тарифы Starter, Pro и Enterprise
4. DataLoop
DataLoop — универсальная облачная платформа для разметки со встроенными инструментами и средствами автоматизации для создания высококачественных обучающих датасетов.
Dataloop охватывает весь жизненный цикл ИИ, включая аннотацию, оценку модели и улучшение модели, используя обратную связь с человеком. В платформе вы найдете всё необходимое для решения задач по классификации объектов, обнаружения, оценки поз, сегментации. Более того, Dataloop поддерживает как изображения, так и видеоданные.
Платформа предоставляет различные инструменты для автоматизации разметки:
— ИИ-помощник, автоматически преобразующий четыре точки в многоугольник со множеством вершин
— Функции разметки при помощи модели (схожие с функциями Labelbox)
—Умное отслеживание объектов — автоматическая дупликация аннотаций между кадрами видео и сериями фотографий.
Ключевая особенность:
— Разметка с помощью интегрированной модели
— Поддержка разных видов данных
— Конвейер автоматизации и производства с использованием Python SDK и Rest API
— Расширенные возможности для настройки командной работы
— Поддержка видео
Стоимость: Бесплатная пробная версия и индивидуальные корпоративные тарифы
5. Supervise.ly
Supervise.ly — это веб-платформа для аннотирования изображений и видео со своим комьюнити. Исследователи и большие группы могут аннотировать и экспериментировать с датасетами и нейронными сетями.
Помимо основных инструментов аннотаций, таких как прямоугольники, линии, ключевые точки, многоугольники или растровых кистей, Supervise.ly предлагает инструменты для Data Transformation Language и 3D Point Cloud.
Ключевая особенность:
— Разметка данных с помощью ИИ
— Мультиформатная аннотация и управление данными
— Возможность рисовать отверстия внутри полигонов
— Возможность разрабатывать и импортировать плагины для пользовательских форматов данных
— Варианты управления проектами на разных уровнях для команд, рабочих пространств и наборов данных.
Стоимость: 100 бесплатных изображений по тарифу Community, а также тарифы Business и Enterprise
Заключение
В этой статье мы предоставили краткую сводку по самым актуальным платформам для разметки данных. Безусловно, платные варианты выглядят более впечатляюще и предлагаю более широкий функционал.
Но ведь функционал — это еще не всё. Им нужно уметь правильно воспользоваться, а для этого нужны знания и опыт в разметке. Любые ошибки на стадии подготовки обучающие данных могут повлиять на качество конечной модели. И именно поэтому мы рекомендуем не рисковать и доверять разметку данных профессионалам.
За 3 года работы в индустрии LabelMe смог собрать сильную команду и организовать собственную систему обучения разметчиков. Прежде чем приступить к работе с нами, новые разметчики проходят общий курс, составленный лично Генеральным директором Георгием Каспарьянцем.
Затем перед интеграцией в проект мы наши кураторы составляют дополнительные инструкции и тестовые задания для разметчиков по конкретной задаче. Таким образом наши исполнители постоянно повышают свою экспертность и адаптируются к новым задачам по разметке.
Заказав разметку данных в LabelMe, вы получаете безупречное качество и экономите своё личное время и время ваших программистов.
