Джон Мюллер (John Mueller) из Google недавно объяснил, что коды ответа HTTP-это первое, что проверяет Google при обходе сайтов.
Дискуссия возникла во время Google Webmaster Central Hangout 18 октября. Вот вопрос, который был поднят:
"Интересно, если Google проверяет коды ответа страницы, то в каком случае он не будет её индексировать?”
В ответ Мюллер подтвердил, что Google проверяет коды ответа перед отображением или индексированием контента.
В частности, робот Google проверит код страницы "200", прежде чем продолжит сканирование. Код состояния 200 указывает Google, что он просматривает действительную страницу, и на ней может быть контент, который стоит индексировать.
С другой стороны, если робот обнаруживает ошибку 400 или 500 или перенаправление, то он не будет продолжать визуализацию контента для индексации.
Мюллер специально указывает, что Google не видит никаких 404 страниц. Поэтому, если вы разрабатываете причудливую, красивую страницу 404 для своего сайта, имейте в виду, что ее увидят только люди.