SEO-кухня 28.11.2025
ИИ-агенты могут поднять ссылку на сайт и улучшить его метрики, а могут — украсть уникальные тексты и отобрать аудиторию. В этой статье рассказали, как ограничить запросы нейросетей в robots.txt и зачем это нужно.
Своим опытом поделился Дмитрий Дамарнацкий, частный SEO‑специалист, автор телеграм‑канала «Продвигатель» и призёр Кейс‑чемпионата 2025.
Зачем ограничивать запросы ИИ‑агентов
На сайт в любом случае будут заходить боты. Некоторые, например краулеры, помогают странице: роботы индексируют сайт и добавляют его в выдачу. Другие боты создают избыточную нагрузку на сервер, имитируют поведение пользователя, а иногда и атакуют ваш сайт.
К ИИ‑агентам SEO‑специалисты относятся по‑разному. Иногда они делают всё возможное, чтобы их сайт попал в нейровыдачу — так ссылка на сайт и информация с него попадает на высокие позиции, поскольку ИИ‑блоки обычно находятся выше всех сайтов.
Но некоторые специалисты считают, что искусственный интеллект ворует клики: пользователь получает всю необходимую информацию на странице выдачи и не переходит на сайт, что плохо сказывается на позициях и конверсии.
Кроме того, ИИ‑агенты используют уникальные материалы со страниц без разрешения правообладателя. Из‑за этого в 2023 году газета New York Times подала в суд на OpenAI за использование её статей для обучения нейросетей. Представители газеты считают, что это поможет ИИ писать конкурентные статьи, и в будущем ChatGPT будет отбирать у газеты аудиторию.
Какие команды есть
Базовая директива в robots.txt для запрета сканировать тексты на сайте выглядит так:
User‑agent: имя робота Disallow: /
Если в строчке «User‑agent» прописать звездочку, вы заблокируете любым роботам сканировать страницу или сайт. Так владельцы защищают, например, внутреннюю документацию. Слеш в этой директиве означает запрет сканировать весь сайт или аккаунт.
Чтобы заблокировать ИИ‑агентов ChatGPT и Claude, нужно вставить в файл эту команду:
User‑agent: GPTBot Disallow: / User‑agent: ChatGPT‑User Disallow: / User‑agent: Google‑Extended Disallow: / User‑agent: ClaudeBot Disallow: / User‑agent: Claude‑Web Disallow: /
Это не единственный способ заблокировать ботов. Аналогичные инструменты предоставляют сервисы веб‑аналитики, похожие возможности есть в файле .htaccess.
Ещё о работе нейросетей в поиске 👇
ChatGPT не сможет заменить Google, но он расширяет возможности поиска
Как ИИ‑режим Google подбирает информацию для показа пользователю
Полное руководство по ранжированию в ИИ‑поиске для SEO‑специалистов, маркетологов и владельцев сайтов
page.data.article.count_comments = countComments" >
Оригинал записи на нашем сайте: Как в robots ограничить запросы со стороны ИИ-агентов?