Robots.txt позволяет управлять сканированием страниц сайта и сканированием ресурсов (картинки, javascript, css). Robots.txt может понадобиться даже для одностраничного сайта, если вам нужно ограничить сканирование ресурсов вашего лендинга. Он не всегда полезен, но порой может понадобиться.
Sitemap нужен для индексации страниц. Для одностраничного сайта, которому не нужно индексировать одну страницу, Sitemap бесполезен. Его суть – в индексации большого количества вновь появляющихся документов. Сайтам от 1000 до 2000 страниц нет смысла его использовать, так как поисковик в состоянии просканировать все самостоятельно.
Более подробно в других статьях, которые есть на нашем сайте
