Вот сколько заявок на товары отдаем магазинам каждый день. Проект poisk.im. Хз что там дальше происходит "на той стороне" :) - достижение целей.
А сейчас уходим в алгоритмический матчинг. Мы сделали алгоритм векторизации, добавили вектора в Manticore Search, теперь можно делать кластеры очень схожих товаров и с помощью ИИ делать матчинг между собой.
Читая заявки на парсинг я вижу, что матчинг - это самая большая потребность и одновременно самый большой вызов. Руками не вариант, а вот ИИ, теоретический, на каждую пару товаров (схожих) может вернуть вам % схожести и что выше 85% - товар идентичен.
Что сдерживает? Только цена на токены :) Я попозже напишу итоги, сейчас QWEN модель пробуем на эту тему. Кидаем на вход в ИИ два товара со всеми "потрохами" и просим вернуть % вероятности схожести. Самое главное - "потроха" :) без них будет ерунда.
