У сайта может быть пул адресов, в которых используется кириллица. Найти ее очень легко: каждый символ для URL кодируется сначала в системе Unicode, a затем – в UTF-8. Во второй системе кириллическим символам присваиваются коды D0 и D1.
Видеоинструкция
Как заблокировать URL с кириллическими символами через robts.txt
Заблокировать кириллицу можно достаточно быстро – для этого можно использовать анализатор файла robots.txt в Яндекс.Вебмастер:
https://webmaster.yandex.ru/tools/robotstxt/
Открываем нужное поле и вводим URL сайта в верхнюю строку.
Уточняем разрешение к индексации для интересующих нас URL – для этого копируем их в соответствующее поле и проверяем возможность сканирования.
В поле под адресом сайта вверху в строках Disallow вводим коды кириллических символов, которые хотим заблокировать:
- Disallow: *D0*
- Disallow: *D1*
Повторяем операцию для всех ботов в списке, собранном robots.txt.
После проверки увидим, что страницы с кириллицей заблокированы.
Готово.
Источник: https://seopulses.ru/kak-zablokirovat-indeksaciyu-url-s-kirillicheskimi-simvolami-cherez-robots-txt/