Почему страница 404 попадает в индекс и появляется в поиске? Причина в том, что сервер отдаёт её с кодом 200 вместо 404, либо на битый адрес ведут внешние ссылки, а сама страница не закрыта от индексации. Поисковик видит обычную HTML-страницу с контентом и ставит её в очередь на обход наравне с рабочими разделами. Проверьте реальный код ответа: в Яндекс.Вебмастере откройте раздел «Диагностика» → «Страницы ответов сервера», в Google Search Console — «Индексирование» → «Страницы». Там же есть инструмент...

Страница 404, которая возвращает код 200, сообщает браузеру и поисковой системе противоречивые данные: текст говорит «не найдено», а сервер — «успешно». Такое состояние называют soft 404, если поисковик сам распознаёт отсутствие полезного документа. Исправление состоит не в удалении красивого шаблона, а в корректном HTTP-статусе. Пользователь может видеть навигацию и поиск, а сервер должен вернуть 404. Откройте заведомо несуществующий URL и посмотрите заголовки через инструменты разработчика, curl или сервис проверки...