Что такое ошибка 404 (not found)?

Когда пользователь попадает на страницу сайта, которой не существует, например, кликнув по ссылке, то сервер и движок сайта должны ему отдать информацию о том, что этой страницы нет и написать пользователю «страница не найдена» или что-то подобное, либо перекинуть его на какую-то ещё страницу.

Но, кроме того, что сайт проинформирует пользователя о том, что страница не найдена, важно чтобы он отдал поисковой системе правильный ответ сервера для того, чтобы поисковая система знала, что этой страницы нет и как именно ее нет. В том числе для этого существует ответ сервера «404» или «страница не найдена – not found». Выглядит для пользователей эта страница по-разному, например, вот так, то есть как-то обыгрывается то, что этой страницы нет, и предлагаются какие-то действия. Часто здесь просто ссылка на главную как здесь, либо меню сайта в каком-то виде развернутом, чтобы пользователь мог по навигации пройти в какой-то из интересующих его раздел.

Когда поисковая система при попытке открыть страницу вместо 404 получает ответ «200 oкей», а страницы на самом деле нет, то это может создать проблемы для индексации сайта и как следствие для позиции продвижения сайта. Почему? Потому что поисковая система будет получать большое количество однотипных и в целом одинаковых страниц по содержанию вот таких, но с ответом сервера, что как будто эта страница есть на самом деле. И уже робот поисковой системы и поисковая система будет решать, индексировать эту страницу или нет. И первые страницы, скорее всего, проиндексирует, а потом начнет задумываться, что на сайте очень много одинаковых страниц. И когда робот-зеркальщик будет подклеивать эти страницы, то есть удалять из индекса все эти дубли, не всегда поисковые системы отрабатывают корректно, и могут под раздачу попасть нормальные страницы сайта и вылить из индекса.

Кроме этого, некоторый уровень доверия поисковой системы к сайту снижается, когда на сайте много вот таких запутывающих робота страниц. Поэтому проверяйте, чтобы несуществующие страницы вашего сайта отдавали не только пользователю корректное сообщение об ошибке, но и роботам поисковых систем отдавали корректный ответ сервера 404 – not found.