Свободная программа для создания карты сайта в форматах xml, html, csv, список. Она не имеет ограничений по количеству веб-страниц, поэтому по результату сканирования выдаст все найденные url-адреса.
При запуске программы видим пустое окно, и выделенная вкладка html-карты сайта. Шестерёнка в правом верхнем углу это настройки.
В настройках можно задать шрифт программы, расширения для игнорирования при сканировании и составлении карты сайта, а также так называемый user-agent или под каким браузером Вас будут видеть.
Доменные имена на русском и с русскими буквами в урл обрабатывает без проблем. Единственное, нужно задать адрес в пуникоде, а не на русском. К слову, владельцы таких сайтов уже хорошо знакомы с этим, ведь даже платные программы для создания карт сайтов понимают адреса только в пуникоде.
Программа не понимает перенаправления через htaccess, поэтому откройте в браузере основную страницу сайта, скопируйте урл и вставьте в программу. Дам пример, указал http, хотя сайт был на https, он не нашел веб-страниц, или другой, сайт переадресует с без www на www, и соответственно, если указать без www он не находит веб-страниц, но как только укажешь с www находит абсолютно все и без ошибок.
Также покажу файл sitemap.xml на выходе.
Указанный пример имеет всего сотню с лишним страниц, но у программы нет ограничений по количеству веб-страниц! Был взят именно этот сайт, так как программа сканирует значительно дольше своих конкурентов - разработчик в 2017 году (тогда с ним общался) говорил, что не хочет делать множество потоков, чтобы не создавать нагрузку на сайт, которую можно расценить или использовать для атак на сайты. Я с ним не согласен, но это его право.
Общался с разработчиком, так как тогда обнаружил пару ошибок, и он с радостью их исправил, при чем очень оперативно. Английский язык знаю плохо, поэтому говорили при помощи Google переводчика и отлично друг друга поняли.
Лично проверял программу на проекте с ~2000 веб-страниц, и она выдала в xml карту сайта их все.
На мой личный взгляд, это одна из лучших программ для создания карты сайта (скачать можно тут), хотя бы потому, что она полностью свободна (лицензия BSD) и не имеет ограничений по количеству урлов.