Привет! В прошлый раз мы начали разбираться, как подготовиться к SEO-аудиту сайта и собрать нужные данные для оптимизации и продвижения. Сегодня поговорим о важном — техническом аудите и о том, как проверить индексацию сайта без дорогостоящих инструментов.
Пять ошибок, которые сводят на нет ваше SEO продвижение
Начну с личного опыта. Недавно я анализировал сайт клиента и обнаружил классическую проблему: robots.txt говорил одно, meta-robots — другое.
Угадайте, что сделал Гугл?
Правильно — просто проигнорировал оба и проиндексировал то, что ему вздумалось. Это подводит нас к первой критической ошибке.
1️⃣ Война директив. Продвижение в условиях хаоса
Представьте, что вы даете указания своим сотрудникам по одной и той же работе в компании, но каждый из них получает разные инструкции. Хаос, верно? То же самое происходит, когда у вас есть конфликты между:
- robots.txt,
- meta robots,
- X-Robots-Tag HTTP заголовками,
- Sitemap.xml,
- canonical тегами.
Поисковые системы в такой ситуации могут повести себя непредсказуемо. Проверьте согласованность всех этих SEO-элементов.
2️⃣ Клонирование сайта. Лабиринт для продвижения
Я часто вижу такую картину: один и тот же сайт доступен по четырем разным адресам. Это как если бы у вас было четыре паспорта с разными фамилиями:
- http://site.ru
- https://site.ru
- http://www.site.ru
- https://www.site.ru
Поисковые роботы такого не любят. Настройте 301-редиректы на основной домен. Проверить можно с помощью простой команды curl -I.
3️⃣ Тяжелые картинки. Продвижение с тормозами
Расскажу случай из практики. На одном проекте мы просто оптимизировали изображения, и скорость загрузки выросла на 40%. Вот что нужно сделать:
- Используйте WebP (но оставьте JPEG как запасной вариант).
- Включите отложенную загрузку (loading="lazy") — изображения будут загружаться только тогда, когда пользователь до них дойдет.
- Указывайте правильные размеры в width/height.
- Не забывайте про alt-теги с ключевыми словами.
4️⃣ Продвижение без мертвых страниц
Классика жанра: захожу на несуществующую страницу, а сервер говорит: «Все хорошо, код 200». В результате поисковый робот тратит время и краулинговый бюджет на индексацию разделов-призраков.
Проверьте:
- Код ответа сервера.
- Настройку ошибки 404.
- Правильность редиректов.
5️⃣ Мобильное продвижение
Google и Яндекс сейчас в первую очередь смотрят на мобильную версию. Это как собеседование — первое впечатление самое главное. Проверьте:
- Одинаковый ли контент на desktop и mobile.
- Можно ли нормально кликать по всем кнопкам.
- Нет ли горизонтальной прокрутки.
Как проверить индексацию без дорогих инструментов
Чтобы ваш сайт взлетел в ТОП, поисковые системы должны сначала «прочитать» каждую его страницу. От того, насколько правильно вы организуете этот процесс, зависит весь успех вашего SEO-продвижения.
Гугл любит команды
Вот несколько магических операторов для аудита сайта на этой платформе:
- site:сайт.ru — покажет все, что на сайте в индексе,
- site:сайт.ru inurl:catalog — проверит индексацию каталога (особенно полезно для интернет-магазина)
- site:сайт.ru intitle:ключевое слово — найдет разделы с нужными словами в заголовке,
- cache:сайт.ru — данные о том, когда бот последний раз заходил на страницу,
- iinfo:сайт.ru — выдаст общую информацию, включая наличие сайта в индексе и некоторые базовые характеристики.
Search Console — ваш лучший друг
Бесплатный инструмент от Гугла, который покажет такие данные:
- Что у сайта в индексе (Indexing → Pages),
- Где есть проблемы (Coverage),
- Как часто и глубоко робот Google заходит на сайт (Crawl Stats),
- Что происходит с конкретными URL (URL Inspection).
Инструменты разработчика Chrome
А знаете, что в Chrome спрятан целый набор инструментов для SEO-специалиста? Достаточно нажать F12, и перед вами откроется настоящая лаборатория для исследования сайта. Здесь можно найти следующие данные:
- отключить кэш и увидеть сайт глазами нового посетителя («Disable cache» в панели Network),
- найти «мертвый» код, который тормозит ваши страницы (Coverage tab),
- посмотреть, как сайт выглядит на разных мобильных устройствах (Mobile simulator),
- «подглядеть» через консоль, правильно ли прописаны важные мета-теги (с командой document.querySelector).
И весь этот анализ – без установки дополнительных программ!
Альтернатива от Яндекс
У российского поисковика свой набор операторов:
- site:сайт.ru – аналогично Google, показывает все проиндексированные страницы.
- site:сайт.ru/раздел – быстрый аудит индексации конкретного раздела.
- site:сайт.ru && title:"текст"– поиск по заголовкам страниц.
- site:сайт.ru && body:"текст" – поиск по тексту.
- mime:pdf site:сайт.ru – поиск PDF-документов на сайте.
Вебмастер
Настоящий пульт сбора данных для анализа сайта:
- Индексирование → Страницы в поиске – полная картина того, сколько разделов сайта Яндекс считает достойными показа пользователям,
- Индексирование → Важные страницы помогает отслеживать индексацию ключевых страниц (главная, категории, популярные товары),
- Диагностика → Проверка URL позволяет изучить конкретные адреса,
- История изменений показывает, как менялась индексация со временем, это медицинская карта вашего сайта, где записана вся история его «здоровья».
Технический аудит для продвинутых
Если вы дружите с командной строкой, вот полезные команды от специалистов PRAGMATIX:
1. Аудит через HTTP-заголовки
Использование curl для проверки ответов сервера:
Для Googlebot:
curl -I -H "User-Agent: Googlebot" http://site.ru
Для Яндекс:
curl -I -H "User-Agent: Yandexbot" http://site.ru
Эти команды показывают, как сервер отвечает поисковым роботам.
2. Проверка мобильного робота
curl -I -H "User-Agent: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" http://site.ru
Это помогает убедиться, что мобильный робот правильно видит ваш сайт.
3. Автоматизация анализа битых ссылок
Python-скрипт для поиска проблемных ссылок:
import requests
from bs4 import BeautifulSoup
from urllib.parse import urljoin
def check_links(url):
try:
headers = {
'User-Agent': 'Googlebot/2.1 (+http://www.google.com/bot.html)'
}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
broken_links = []
for link in soup.find_all('a'):
href = link.get('href')
if href:
full_url = urljoin(url, href)
try:
r = requests.head(full_url)
if r.status_code >= 400:
broken_links.append(full_url)
except:
broken_links.append(full_url)
return broken_links
except Exception as e:
return f"Ошибка: {str(e)}"
Что делать дальше?
✅ Регулярно проверяйте индексацию в обоих поисковых системах, так как они могут по-разному обрабатывать ваш сайт.
✅ Если заметили разницу между индексацией в Google и Яндекс — копайте глубже. Это может указывать на технические ошибки.
✅ Используйте разные методы аудита для получения полной картины.
✅ Нашли проблему с индексацией – решайте ее сразу.
✅ Ведите учет всех изменений в индексации – это поможет отслеживать прогресс и выявлять закономерности.
Регулярная аудит индексации – важная часть SEO-оптимизации. Помните, что разные поисковые системы могут по-разному индексировать ваш сайт, поэтому важно проводить анализ для каждой системы отдельно.
А что вызывает у вас больше всего проблем с индексацией? Делитесь в комментариях! 👇
В следующих статьях мы подробно разберем методы:
- аудита текстов и юзабилити,
- анализа внутренней перелинковки и ссылочной массы,
- работы с поведенческими и коммерческими факторами,
а также поговорим, как правильно структурировать веб-ресурс для улучшения его позиций в поисковой выдаче.
Продолжение следует…
📌 Подписывайтесь на наш канал по SEO-продвижению.
Вы узнаете, как обойти конкурентов, и получите доступ к инсайдерским стратегиям, проверенным экспертами.
Мы научим вас превращать клики в клиентов!
Не упустите шанс стать мастером SEO — ваше цифровое будущее начинается здесь!