Найти в Дзене
Павлин Шарит

S3 превратили в векторное хранилище

В ответ на пост S3 превратили в векторное хранилище Продолжая тему RAG-ов, Amazon выкатили Amazon S3 Vectors — первое облачное хранилище с нативной поддержкой векторов. И это действительно интересно Раньше для хранения векторных эмбеддингов приходилось использовать специализированные векторные базы данных вроде Qdrant или PGvector Теперь Amazon встроили векторную поддержку прямо в S3 и обещают снижение затрат до 90%. Работает это через новый тип бакетов — vector buckets, где можно создавать до 10,000 векторных индексов, каждый из которых может хранить десятки миллионов векторов # Создание и запрос векторов стало совсем простым s3vectors = boto3.client('s3vectors', region_name='us-west-2') # Вставка векторов с метаданными s3vectors.put_vectors( vectorBucketName="my-vectors", indexName="documents-index", vectors=[{ "key": "doc1", "data": {"float32": embedding}, "metadata": {"category": "technical", "date": "2025-01-15"} }] ) # Поиск с фильтрацией results = s3vectors.query_vectors(

В ответ на пост

S3 превратили в векторное хранилище

Продолжая тему RAG-ов, Amazon выкатили Amazon S3 Vectors — первое облачное хранилище с нативной поддержкой векторов. И это действительно интересно

Раньше для хранения векторных эмбеддингов приходилось использовать специализированные векторные базы данных вроде Qdrant или PGvector

Теперь Amazon встроили векторную поддержку прямо в S3 и обещают снижение затрат до 90%. Работает это через новый тип бакетов — vector buckets, где можно создавать до 10,000 векторных индексов, каждый из которых может хранить десятки миллионов векторов

# Создание и запрос векторов стало совсем простым

s3vectors = boto3.client('s3vectors', region_name='us-west-2')

# Вставка векторов с метаданными

s3vectors.put_vectors(

vectorBucketName="my-vectors",

indexName="documents-index",

vectors=[{

"key": "doc1",

"data": {"float32": embedding},

"metadata": {"category": "technical", "date": "2025-01-15"}

}]

)

# Поиск с фильтрацией

results = s3vectors.query_vectors(

vectorBucketName="my-vectors",

indexName="documents-index",

queryVector={"float32": query_embedding},

topK=10,

filter={"category": "technical"}

)

Пока только в preview в нескольких регионах, но направление задано, все облака будут переосмысливать себя в эпоху ИИ