Искать пищу на свалках и греться на теплотрассе | Вектор
Turbovec: Rust-версия Google TurboQuant обгоняет FAISS в поиске векторов
Разработчик, выступающий на Hacker News под ником fittingopposite, опубликовал turbovec, открытую библиотеку векторного поиска на Rust с обвязкой для Python. В её основе лежит TurboQuant, алгоритм квантования векторов, разработанный Google Research: он не привязан к конкретным данным (data-oblivious), даёт почти оптимальные искажения и не требует отдельного этапа обучения индекса. Заявленный результат из README: корпус в 10 млн документов, который в формате float32 занимает 31 ГБ оперативной памяти, в turbovec умещается в 4 ГБ, и при этом ищется быстрее, чем в FAISS...