В широком понимании веб-скрапинг — это сбор данных с различных интернет-ресурсов. Общий принцип его работы можно объяснить следующим образом: некий автоматизированный код выполняет GET-запросы на целевой сайт и получая ответ, парсит HTML-документ, ищет данные и преобразует их в заданный формат.
Существует масса решений для скрпаинга веб-сайтов. Среди них:
Полная информация о статье на нашем телеграм канале @coderoll
В широком понимании веб-скрапинг — это сбор данных с различных интернет-ресурсов. Общий принцип его работы можно объяснить следующим образом: некий автоматизированный код выполняет GET-запросы на целевой сайт и получая ответ, парсит HTML-документ, ищет данные и преобразует их в заданный формат.
Существует масса решений для скрпаинга веб-сайтов. Среди них:
- Отдельные сервисы, которые работают через API или имеют веб-интерфейс (Embedly, DiffBot и др.).
- Проекты с открытым кодом, на разных языках программирования (Goose, Scrapy — Python; Goutte — PHP; Readability, Morph — Ruby ).
Полная информация о статье на нашем телеграм канале @coderoll