Когда заказчику нужен персональный датасет под определенные задачи, одним из главных критериев при выборе поставщика данных становится скорость выполнения. От оперативности разметки и сдачи заказа зависит, как скоро он сможет применить полученный датасет в своем бизнесе.
Это направление конкурентной борьбы вынуждает эволюционировать весь рынок. LabelMe не стал исключением. Нам удалось добиться значительного прироста эффективности в сортировке изображений по классам. Сейчас мы расскажем, как нам это удалось.
Всё начинается с ПО
Для создания качественной нейронной сети нужны огромные объемы данных. Тысячи изображений, точно распределенных по классам. Как это сделать? Перетаскивать вручную каждую картинку в нужную папку? Конечно нет, иначе готовый датасет будут получать дети или внуки заказчика.
Мы с нуля создали собственное ПО, в котором авторизовываются разметчики и где автоматически между ними распределяются данные, требующие обработки. Так что изначальная библиотека, состоящая из тысяч файлов, распределяется между нужным числом исполнителей.
Все что происходит дальше больше похоже на конкурс, чем на работу. Разметчик видит слайд-шоу и ему нужно просто кликать на правильный ответ. Благодаря этому один специалист может разделить на классы до 30-40 изображений в минуту.
Обучение во благо производительности
И сейчас речь не об обучении разметчиков. Они уже отучились в самом начале, перед приемом на работу. Теперь уже обучается сама нейронная сеть. Как? Давай разберем на конкретном примере.
Для наглядности, мы сделали видео. Представим заказ по классификации изображений. Нужно рассортировать фрукты и овощи по классам: яблоки, морковь, капусту, бананы и так далее. В самом начале разметку достаточно определить минимум по 2 изображения каждого класса. Это первые шаги обучение встроенной нейронной сети.
На видео вверху - сортировка со встроенной обучающейся нейронной сеть, а внизу - без нее, как на большинстве бирж. Спустя несколько ответов, сеть начинает обучаться и предлагать правильный вариант.
И вверху, и внизу используется один и тот же набор из 76 картинок. Разница в скорости сортировки составила целых 25%. Спустя минуту разметчику уже не нужно даже двигать курсор.
Предвидим вопрос: раз сеть научилась определять классы, почему бы не оставить задачу на ней, а разметчика не отправить на другой заказ? Дело в том, что все равно остается небольшая погрешность. Например, может попасться фотография зеленого помидора и сеть отнесет его к “яблокам”. В дальнейшем это может привести к овощному миксу, который испортить весь датасет.
Именно поэтому наши специалисты не оставляют заказ до самого конца. Мы не готовы пустить все на полный автопилот, зная о том, что возможны возникновения ошибок и неточностей. Тем не менее, тестируя этот алгоритм мы пришли к тому, что скорость обработки значительно возрастает.
Заключение
Благодаря тому, что мы постоянно совершенствуем свое ПО, нам удается достигать одних из самых высоких показателей в скорости и качестве разметки на рынке. К тому же, заказывая датасет в LabelMe, клиент получает созданную в процессе сортировки данных нейронную.
Так что помимо готового датасате он получает полностью исправный инструмент, который позволит расширить базу данных. Это упростит процесс последующего машинного обучения и сэкономит немало средств на ее доработку.
