SEO-инженер

У меня накопилось триста беклинков — гостевые посты, крауд, пара сеток. Все на чужих доменах. Search Console для них бесполезен: он работает только с сайтами, права на которые я подтвердил. Indexing API — то же самое, плюс он официально вообще про вакансии. А ссылки висят, и Google про половину из них просто не знает. Решение оказалось скучным до обидного: Telegram-бот, в который кидаешь список — и всё. Ни кабинета, ни подтверждения прав, ни настройки API. Расскажу, как я выстроил из него регулярный процесс, а не разовую отправку, и на какие грабли можно не наступать...

Полвечера я писал Worker, который пингует IndexNow при каждой публикации. Гордился. Показал знакомому админу — он молча открыл дашборд Cloudflare и поставил одну галочку, которая делает то же самое. Штатно. Бесплатно и без кода. Так я узнал, что тема «Workers для индексации» состоит из трёх слоёв: то, что уже встроено в Cloudflare; то, ради чего Worker правда стоит писать; и то, что не сработает никогда, сколько ни кодь. Разложу все три — на своих шишках. Функция называется Crawler Hints, живёт в разделе кэширования...

Плагин рапортовал зелёными галочками: «отправлено», «отправлено», «отправлено». А страницы доползали до индекса Яндекса за неделю — как будто никакого IndexNow нет. Классическая ситуация: интерфейс говорит одно, реальность — другое. Рассудить их могут только логи. Хорошая новость: диагностика занимает минут десять и не требует админских суперспособностей. Нужен доступ к логу плагина, к access.log сервера и к Яндекс Вебмастеру. Разберу цепочку по звеньям — на примере своего сайта, где «работающий» плагин полгода отправлял страницы в пустоту...

Мой антирекорд: карточка товара провисела вне индекса Яндекса девять дней. Девять. Акция к тому моменту закончилась, страница стала никому не нужна — а робот только пришёл знакомиться. После того случая я сел и за вечер настроил IndexNow. Теперь о новых URL Яндекс и Bing узнают через секунды после публикации. IndexNow — открытый протокол: вместо ожидания краулера вы сами стучитесь к поисковику и говорите «вот новый URL, забирай». Настройка занимает минут пятнадцать, и дальше я покажу её без плагинов — руками, чтобы было понятно, что происходит под капотом...

Мой скрипт отправки URL упал в три часа ночи. В логах — стена одинаковых строк: 429 Too Many Requests, RESOURCE_EXHAUSTED. Утром я сделал то, что делает каждый второй вебмастер: добавил ретраи. Скрипт стал падать красивее. Индексация не сдвинулась ни на страницу. Потому что я лечил не ту болезнь. Код 429 в Indexing API — это две совершенно разные ошибки, которые Google выдаёт под одной вывеской. И лечатся они противоположными способами. Разберу обе — на своих логах и своих потерянных сутках. У Indexing API три лимита по умолчанию...