Кеширование на уровне Django ORM - где оно стреляет в ногу

Кеширование на уровне Django ORM - где оно стреляет в ногу

У каждого QuerySet есть встроенный кеш результатов - _result_cache.

QuerySet ленивый - в БД не идет, пока его не начнут вызывать. При первой полной итерации запрос выполняется, результат складывается в кеш инстанса. Вторая итерация того же инстанса - уже из памяти

Один и тот же запрос дважды это два разных QuerySet

# два запроса в БД

print([e.headline for e in Entry.objects.all()])

print([e.pub_date for e in Entry.objects.all()])

# один запрос

entries = Entry.objects.all()

print([e.headline for e in entries])

print([e.pub_date for e in entries])

Кеш живет на инстансе QuerySet, не на запросе. Каждый вызов .all() создает новый инстанс с пустым кешем - даже если SQL идентичный

Не все обращения заполняют кеш

qs = Entry.objects.all()

print(qs) # __repr__ - НЕ кеширует

print(qs[5]) # SELECT с LIMIT/OFFSET - запрос

print(qs[5]) # еще один запрос

Заполняют кеш:

[entry for entry in qs] # полная итерация

list(qs) # материализация

bool(qs) # if qs:

entry in qs # проверка вхождения

print(qs) дергает repr, который берет первые 20 + 1 элемент (REPR_OUTPUT_SIZE + 1, в SQL это LIMIT 21) и не считает это полной оценкой. Кеш пустой

С индексацией - пока QuerySet не выполнен, qs[5] идет в БД с LIMIT/OFFSET. После list() - из кеша

Связанные объекты в кеш не попадают сами

entries = Entry.objects.all()

for e in entries:

print(e.blog.name) # +1 запрос на каждую запись, N+1

entries = Entry.objects.select_related('blog')

for entry in entries:

print(entry.blog.name) # из join

Базовый кеш тянет только поля самой модели. FK кешируется на инстансе после первого обращения - e.blog второй раз для того же entry уже из памяти. Для другого entry - снова запрос. Решается select_related для FK/OneToOne и prefetch_related для M2M и обратных связей

cached_property + QuerySet работает не как ожидаешь

class User(models.Model):

@cached_property

def followers(self):

return User.objects.filter(followed_by=self)

cached_property запоминает то, что вернула функция - один и тот же инстанс QuerySet на все обращения. Полная итерация - заполнит кеш QuerySet, второй проход уже из памяти. Это работает

Ломается на чейнинге и индексации:

user.followers[0] # запрос

user.followers[0] # еще запрос

user.followers.filter(active=True) # новый QuerySet

Любая .filter(), .order_by() создает новый QuerySet с пустым кешем. Хочешь кешировать именно данные - оборачивай в list()

@cached_property

def followers(self):

return list(User.objects.filter(followed_by=self))

iterator() кеш отключает совсем

qs.iterator(chunk_size=2000) - стрим без кеша. Повторная итерация = повторный запрос. By design, но забыть легко

Что вынести

- Сохрани QuerySet в переменную если используешь больше одного раза

- На связанные объекты - select_related/prefetch_related

- В cached_property оборачивай в list() если хочешь данные, а не запрос

- Перед оптимизацией смотри реальные SQL - django-debug-toolbar и connection.queries полезнее интуиции

Это встроенный кеш на уровне инстанса - живет в рамках одного запроса. Шарить между запросами и процессами - это уже Redis и совершенно другая история

Поддержать на Boosty

Посмотреть на Youtube