Мы распознаем документы и делаем это хорошо. Потому что вместе работают люди и нейросетки. Последние многому научились, о чем мы и хотим рассказать. Собрали фичи, которыми уже пользуются клиенты, а Ваня, наш дизайнер нарисовал, чтобы вы сразу могли представить как это работает.
Алгоритмы научились распознавать штампы прописок из паспорта РФ, в том числе рукописные
Со штампами всегда было сложно. Потому что в большинстве своём это неунифицированные документы. У них разные поля, рукописный или печатный текст, разные места. Чтобы обучить детектор, нужна разметка, но структурировано разметить штампы, было почти нереально. Нашли решение там, где не искали — end to end модель. Как она работает мы и сами не понимаем. Шутка. Или нет.
Ваня, ML Engineer
Обучили детектор отфотошопленных паспортов РФ
Чтобы вы представили, почему это так важно, расскажем, как проверка паспортов проходит сейчас во многих компаниях. Допустим, что вы верификатор. Кроме переноса данных, вам нужно внимательно посмотреть на фото паспорта и решить: фотошоп или нет. Первый документ отсмотрели внимательно. Ничего странного не увидели. Десятый документ ещё сосредоточенно, но времени потратили больше. Тысячный паспорт уже на автомате. Глаза устали, спина болит. И так каждый день. Может быть, спустя время у вас появятся дополнительные инструменты, приложения и сайты. Но вероятность человеческой ошибки всё равно высокая.
Бывают случаи, когда отфотошопленный документ видно сразу. Над таким улыбаешься в первое время. А если работал профессионал и определить подделку можно только по шуму оригинальной фотографии и вставленных кусочков?
Нейросети не устают, взгляд не замыливается, не отвлекаются. Она видит, что паспорт отредактирован, когда человек не справляется. Мы проверяли. Иногда играем в игру, когда всей командой отгадываем «фрод или не фрод».
Нейросети стабильно выдают результаты на 20% точнее, чем человек. Вот несколько вариантов того, что сеть пометит как отредактированный документ:
- Текст набран поверх «пустой» картинки паспорта и шрифт не совпадает с оригиналом.
- Шумы части изображения не совпадают с шумами самого изображения. Например, на фото, сделанное на один тип камеры наложили кусок с фото, сделанного на другую камеру.
- Не совпадает степень jpeg сжатия части изображения. Аналогично, когда вставляют части из другого изображения, количество и степень jpeg-сжатий может отличаться от того изображения, куда вставляют.
- На изображении виден сплайсинг — это когда, например, цифру из серии поменяли на цифру из номера паспорта.
И на десерт:
Рукописный текст
С рукописным текстом начали работать в 2020 году. К началу 2022 года добились качества посимвольного распознавания — 89%. Сейчас — 98%. И это не рост на 9% — это уменьшение ошибок в 5 раз.
Создали онлайн модель контроля качества съемки
Теперь можно следить за качеством фотографии в режиме съёмки. В реальном времени отслеживаем 5 параметров:
- Тип изображения. Например, паспорт.
- Размытость. Если на камере есть пыль или вы снимаете документ в движении.
- Засветы. Например, вы снимаете на солнце, и блик закрывает данные.
- Удалённость. Важно, чтобы документ вместился весь, а не только его часть.
- Полнота. Не закрыта ни одна часть изображения. Вашими пальцами, например.
Составили уникальный словарь соответствия кода подразделения и места выдачи в паспорте РФ
За счёт нормализации по этому словарю у нас получилось поднять качество распознавания поля «Кем выдано».
Зачем вообще создавать словарь? Нас не устраивала нормализация места выдачи к обобщённому виду, нужна была посимвольная точность. Сейчас алгоритм работает так: он смотрит на распознанный код и место выдачи с первой страницы паспорта, затем на код подразделения из машиночитаемой зоны, сверяет полученные данные с нашим словарём, затем предлагает вариант поля «кем выдано». Дальше алгоритм смотрит "похожесть" распознанных данных и словаря и берет лучший ответ.
Артём, Team Lead Project Management
Научились распознавать больше 100 новых типов документов
Бухгалтерская первичка, электронные ПТС, разные формы клиентов, уставы, приказы и много чего ещё.
Вместо итогов
Если у вас есть кейс или задачка с распознаванием документов, над которой вы ломаете голову, помните, мы готовы помочь. Пока только с извлечением данных, но тёплый привет и энергию тоже можем передать.
В общем, пишите нам на hello@dbrain.io или заполняйте заявку на сайте. Поговорим, потестим, проведём пилотный проект.
P.S. Если кейсов нет, а ИИ всё равно любите, заглядывайте на канал нашего CTO Алексея Хахунова.