В интернете можно найти много вариантов файла robots.txt. для сайтов на 1С-Битрикс, но некоторые уже устарели, а другие имеют ошибки. Предлагаем актуальный в 2019 году правильный вариант robots.txt, который учитывает особенности Битрикс последних версий, а также особенности robots.txt для популярных решений Aspro Next, Deluxe, Nextype Magnit и решений корпоративных сайтов Aspro. При подготовке помимо рекомендаций поисковых сиcтем и анализа демо сайтов на решениях мы изучили индексацию реальных сайтов и попадание страниц в исключенные...

В 2019 году мы  подготовили и опубликовали robots.txt для сайтов на 1С-Битрикс. Сегодня мы предлагаем обновленный в 2022 году файл правильного robots.txt, который учитывает особенности Битрикс последних версий, а также особенности robots.txt для популярных решений Aspro Next, Сотбит, Deluxe, Nextype Magnit и решений корпоративных сайтов Aspro. При подготовке помимо рекомендаций поисковых сиcтем и анализа демо сайтов на решениях мы изучили индексацию реальных сайтов и попадание страниц в исключенные...