Недавно в Яндекс Браузере для десктопа появилась новая функция — распознавание QR-кодов в видео. Она работает автоматически: просто наведите на QR-код курсор и нажмите, чтобы открыть встроенную в него ссылку в новом окне.
По нашим данным, до 10% пользователей видеоплатформ ежедневно встречают QR-коды в видео. Работать с ними с ноутбука или десктопа неудобно: нужно ставить ролик на паузу, доставать смартфон, сканировать код, а затем копировать ссылку и пересылать её на компьютер. Новая функция Браузера сокращает этот путь и экономит время пользователей.
Как это работает
Чтобы распознать QR-код в видео, Яндекс Браузер каждую секунду делает скриншот ролика. Если разрешение высокое (например, 4К или 8К), то изображения сжимаются до размера Full HD. Это нужно исключительно для того, чтобы Браузер мог «увидеть» QR и мгновенно на него среагировать, при этом данные не передаются и не сохраняются на сервере. После этого в том же месте, где находится код, он создаёт рамку и кнопку, на которую пользователь может кликнуть.
Просмотр видео не замедляется: на распознавание кода уходит от 10 до 25 миллисекунд, а точность остаётся столь же высокой. Поэтому достаточно мощности самых простых пользовательских компьютеров.
Технология построена на базе открытой библиотеки ZXing, но в исходном виде она обеспечивала распознавание лишь 70% QR-кодов. Разработчики Браузера добавили в неё несколько собственных улучшений, которые увеличили точность до 98%. Гарантировать абсолютную точность не сможет никто, потому что не все видео качественные и не все QR-коды в них идеальные.
Своё решение на основе усовершенствованной библиотеки мы сравнивали с другими системами распознавания QR-кодов. Качественные QR-коды распознаются в 100% случаев. При испытании нестандартных QR максимально низкого качества системы распознают тоже одинаковое количество кодов.
Управлять функцией распознавания QR-кодов можно в настройках инструментов для видео. Там же, где вы управляете переводом, кратким пересказом и субтитрами.
Что дальше
Яндекс Браузер каждый день распознаёт 1,2 миллиона QR-кодов в видео, и мы внимательно следим за отзывами пользователей о новой функции. Например, команда Браузера уже сейчас работает над тем, чтобы минимизировать количество случайных срабатываний. Пример такой ситуации: вы смотрите фильм, а в нём герой идёт по улице, где на стене висит объявление с QR. Очевидно, что сканировать его и переходить по ссылке никому не нужно — хочется просто насладиться контентом.
Если вы пользовались распознаванием QR-кодов в Браузере, будем рады узнать о ваших впечатлениях в комментариях. А ещё в них можно делиться своими идеями о дальнейшем развитии функции — разработчики обязательно их увидят.