Как сжимать индексы в ANN без потери точности: новые идеи и технологии
Часто, когда речь заходит о создании систем поиска ближайших соседей по вектору (Approximate Nearest Neighbor Search, ANNS), мы фокусируемся на сжатии самих векторных представлений (embeddings). Действительно, методам квантования (Product Quantization, нейросетевые кодировщики и пр.) посвящено множество исследований. Но, как показывают последние наработки инженеров и исследователей, огромный пласт памяти и пропускной способности «съедается» не только кодами векторов, но и идентификаторами (IDs), а также связями (edges) в графовых структурах...