Блог RU-CENTER Поисковые системы ранжируют страницы согласно заданным параметрам. Если не прописать условия ранжирования с помощью специальных инструментов, в топ выдачи попадут ненужные страницы, а нужные — останутся в тени. Чтобы этого избежать, необходимо настроить robots.txt. Что такое файл robots.txt, для чего он нужен и за что отвечает Robots.txt — простой, но важный файл для SEO-продвижения. Он содержит команды и инструкции по индексации сайта. Правильный robots.txt позволит закрыть от индексации, например, технические страницы...

В 2019 году мы  подготовили и опубликовали robots.txt для сайтов на 1С-Битрикс. Сегодня мы предлагаем обновленный в 2022 году файл правильного robots.txt, который учитывает особенности Битрикс последних версий, а также особенности robots.txt для популярных решений Aspro Next, Сотбит, Deluxe, Nextype Magnit и решений корпоративных сайтов Aspro. При подготовке помимо рекомендаций поисковых сиcтем и анализа демо сайтов на решениях мы изучили индексацию реальных сайтов и попадание страниц в исключенные...