Для создания эмбендингов (векторов) нам посоветовали (спасибо) вот эту ИИ. На русском языке показывает отличные результаты по точности. И бесплатно.
Если коротко - это компактная и быстрая модель эмбеддингов из библиотеки Sentence-Transformers, обученная распознавать смысловое сходство между текстами на многих языках...
Преобразует фразы в векторы фиксированной длины, которые можно сравнивать по сходству: близкие значения означают, что тексты похожи по смыслу.
Подходит для семантического поиска, поиска дубликатов/перефразов, кластеризации и рекомендаций. За счёт MiniLM (12 слоёв) даёт хороший баланс скорость/качество и низкие требования к ресурсам.
Иными словами - вы собрали информацию о товарах, сделали векторизацию и дальше пытаетесь найти схожие товары между собой опираясь на близость векторов :)
