Разбираемся в смысле заголовка Last-modified: что с ним делать веб-мастеру? Last-modified — это http-заголовок с датой и временем последнего изменения страницы по мнению сервера. Шаблон такой: Last-Modified: <день недели>, <число> <название месяца> <год> <час>:<минута>:<секунда> GMT К примеру: Last-Modified: Wed, 21 Oct 2020 09:48:00 GMT Это необязательный для заполнения заголовок. Но боты смотрят на заголовок Last-modified, когда индексируют страницу, чтобы понимать, есть ли смысл посещать ее повторно...

Если вы хоть раз запускали парсинг, вы знаете, как легко перейти грань между «поддерживаем свежесть» и «тратим в пустоту». Частота обновления — самый недооценённый рычаг экономики потока. Сделаете слишком редко — потеряете актуальность, позиции и деньги. Слишком часто — утонете в счетах за прокси и вычисления, а ценности не прибавится. В этой статье мы разберёмся, как найти баланс: где обновлять «всегда сегодня», а где достаточно «раз в неделю», как построить адаптивные частоты, чем полезна событийная модель и какие метрики подкрутить, чтобы платить только за изменения...