Найти в Дзене
2020 подписчиков

WebPalm - это мощный инструмент командной строки на GO для создания карт веб-сайтов и веб-скреппинга. Благодаря рекурсивному подходу он может создать полное дерево всех веб-страниц и ссылок на них на сайте.


Он также может извлекать данные из тела каждой страницы с помощью регулярных выражений, что делает его идеальным инструментом для веб-скрейпинга и извлечения данных.

go install github.com/XORbit01/webpalm@latest

Github

Около минуты