Вы открываете файл, а вместо нормального текста видите что-то вроде «РџСЂРёРІРµС‚». Или загружаете CSV в Excel — и русские буквы внезапно превращаются в набор непонятных символов. На первый взгляд кажется, что файл повреждён, но чаще всего данные никуда не исчезли. Проблема в том, что программа прочитала сохраненные байты не той кодировкой. Такие искаженные символы называют «кракозябрами», а в англоязычной технической литературе — mojibake. Возникают они при несовпадении кодировки, в которой данные были записаны, и той, которую использует программа при чтении...

Откройте новую вкладку и допишите к адресу своего сайта /robots.txt. Прямо сейчас, до того как дочитаете этот абзац. Посмотрите, что открылось, и запомните картинку — дальше она нам понадобится. Большинство людей на этом месте видят несколько строк текста, кивают и закрывают вкладку. Файл есть, значит всё в порядке. Я сам так делал лет пятнадцать назад, пока не наступил на историю, после которой проверяю этот файл совсем иначе. То, что вы видите в браузере, и то, что получает поисковый робот, — не всегда одно и то же...