После создания сайта наполнения его контентом, прописывание meta тэгов, следует проверить сайт на предмет дублей страниц, правильности meta тэгов, верно ли прописан файл robots.txt. Проходить сайт вручную, если это каталог интернет-магазина то проверять все вручную не очень хочет, и здесь на помощь придет библиотека python для написания роботов по сбору данных scrapy. Для написания простейшего...