Российская компания предложила методологию для ускорения распознавания объектов нейросетями
Ее разработал отдел перспективных исследований российской ИТ-компании «Криптонит» (входит в «ИКС Холдинг»)
В отличие от классических механизмов, новый подход не предусматривает пропорционального увеличения требуемого объема памяти при росте числа классов, что позволяет реализовать недостижимые ранее сценарии внедрения систем компьютерного зрения
Эффективность методологии получила экспериментальное подтверждение в тестах с базами данных, содержащих от 5 до 100 млн типов объектов. Она способна улучшить рекомендательные системы в ритейле и соцсетях, сделать доступнее медицинскую диагностику, приблизить интеллектуальную видеоаналитику к режиму реального времени
До недавнего времени расширение перечня распознаваемых объектов для нейросети неизбежно вело к пропорциональному росту числа классов и, как следствие, повышению требований к объёму памяти. Например, при работе с 30 млн типов товаров на маркетплейсе или медицинских записей модель с классификационным слоем просто не помещается в память одной видеокарты (даже профессионального ускорителя) и требует запуска на кластере
Новая методология коренным образом меняет подход. Вместо того, чтобы хранить вес многомиллионного классификационного слоя (как огромную телефонную книгу, которую надо каждый раз пролистывать целиком), исследователи предлагают заранее сконфигурировать так называемое «скрытое пространство» нейросети, разместив в нём векторы-прототипы меток
Подобный подход работает с любым числом классов, позволяя использовать экстремально большие базы данных без закупки дорогостоящего оборудования. При этом в отличие от большинства других способов ускорения, LSC (Latent Space Configuration) не жертвует точностью
LSC также позволяет сократить время, требуемое на присвоение метки, используя новый алгоритм поиска по векторам-прототипам, сложность которого не зависит от числа типов объектов. Эксперименты показали, что при 30 млн классов в память GPU можно поместить одновременно и модель, и классификационный слой, только выбрав малый размер группы данных. В этих условиях новый метод демонстрирует ускорение в 11,57 раза
