User-Agent — это строка, которую браузер или приложение отправляет сайту. В ней содержится информация о браузере, операционной системе и типе устройства. Сайт использует эти данные, чтобы определить, какую версию страницы показать: мобильную, десктопную или, например, для планшета.
Можно сказать, что User-Agent — это краткая справка о вашем устройстве, которую сайт читает при каждом визите. Хотя выглядит она как странный набор слов и символов, для сайта это чёткий сигнал, как правильно себя вести.
Где используется User-Agent
Допустим, вы владелец интернет-магазина и хотите, чтобы сайт корректно открывался на любых устройствах и браузерах. Это можно реализовать через User-Agent. Вот где эта строка особенно важна:
- Поддержка разных браузеров. Страница адаптируется под конкретный браузер, чтобы элементы не съезжали и всё выглядело корректно.
- Определение устройства. User-Agent сообщает, мобильное у вас устройство или нет — и сайт подстраивается.
- Защита от ботов. По этим строкам можно отследить подозрительную активность и блокировать злоумышленников.
- Аналитика. Системы статистики определяют, чем пользуются ваши посетители: смартфоном, компьютером или планшетом.
- Автоматизация. Программы-парсеры могут подставлять нужный User-Agent, чтобы сайт считал их обычными пользователями.
Как User-Agent используется в файле robots.txt
Если вы не хотите, чтобы поисковики индексировали определённые разделы сайта — например, черновики или личный кабинет — это настраивается через файл robots.txt.
С помощью него можно дать поисковым роботам инструкции, какие страницы можно сканировать, а какие нет. В этом файле обязательно указывается User-Agent — то есть, для какого именно робота применяются правила.
Примеры агентов:
- Для Яндекса: YandexBot, YandexImages, YandexMobileBot и другие.
- Для Google: Googlebot, Googlebot-Image, AdsBot-Google и т.д.
- Чтобы правило действовало для всех: User-agent: *
Важно: Один User-agent может охватывать сразу нескольких роботов (например, Googlebot применим и к Googlebot-Image, если не указаны отдельно).
Правила Disallow и Allow прописываются сразу после указания агента, без пустых строк.
Пример:
User-agent: *
Disallow: /search
Disallow: /%D0%BA%D0%BE%D1%80%D0%B7%D0%B8%D0%BD%D0%B0
User-agent: Yandex
Disallow: /search
Disallow: /%D0%BA%D0%BE%D1%80%D0%B7%D0%B8%D0%BD%D0%B0
User-agent: Googlebot
Disallow: /search
Disallow: /%D0%BA%D0%BE%D1%80%D0%B7%D0%B8%D0%BD%D0%B0
Sitemap: http://xn--80aswg.xn--p1ai/sitemap.xml
Подробнее — в справках:
В robots.txt можно объединять несколько краулеров в одном блоке, повторяя директиву User-agent перед общими правилами. Это удобно, если вы хотите задать одинаковые инструкции для, например, Googlebot и AdsBot-Google:
# Example 1: Block only Googlebot
User-agent: Googlebot
Disallow: /
# Example 2: Block Googlebot and Adsbot
User-agent: Googlebot
User-agent: AdsBot-Google
Disallow: /
# Example 3: Block all crawlers except AdsBot (AdsBot crawlers must be named explicitly)
User-agent: *
Disallow: /
Если вы не укажете подтип явно (например, AdsBot-Google), он будет следовать правилам, заданным для основного Googlebot, при условии, что собственного блока для него нет. Это важно учитывать, когда нужно раздельно управлять доступом для текстового и медиа-контента. Подробнее в источнике.
Как узнать и изменить User-Agent
Если вы тестируете сайт и хотите увидеть, как он выглядит в разных условиях — например, в старом Safari или мобильном Chrome — можно подменить User-Agent.
Вот как это сделать:
- Посмотреть строку User-Agent можно в логах сервера — файлы access.log или error.log.
- Изменить строку можно:
- через расширения в браузере (например, User-Agent Switcher);
- в инструментах разработчика Chrome (F12 → More tools → Network conditions);
- в Firefox — через настройки или сторонние инструкции.
Зачем менять User-Agent
Работая над адаптивной версткой или проверяя настройки robots.txt, удобно видеть сайт глазами разных устройств или ботов. Именно для этого и нужно менять User-Agent.
Это может пригодиться, если вы:
- проверяете отображение сайта под разные браузеры и устройства;
- тестируете, как поисковики видят ваш сайт;
- хотите получить доступ к сайту, который работает только с определёнными браузерами;
- эмулируете поведение поисковых роботов.
Вывод
User-Agent — это незаметная, но важная часть общения между браузером и сайтом. Благодаря ей сайты подстраиваются под пользователя, защищаются от вредоносных сканеров и становятся удобнее. А зная, как работает User-Agent, вы можете точнее управлять тем, как ваш сайт видят другие.