Когда в разговоре айтишников или маркетологов проскакивает фраза «я вчера парсил сайт конкурента», человек без технического бэкграунда может растеряться. Звучит сложно и даже немного противозаконно. На самом деле, всё гораздо проще. Если говорить простым языком, парсил — это значит, что кто-то настроил специальную программу (скрипт или робота) для автоматического сбора общедоступной информации с веб-страниц. Представьте, что вам нужно выписать цены на 100 товаров из интернет-магазина в таблицу Excel...

Парсинг сайтов — задача, к которой нужно подходить ответственно, — чтобы парсинг не оказывал негативного влияния на целевые сайты. Веб-сканеры, или автоматические сборщики данных во Всемирной паутине, могут извлекать данные гораздо быстрее и тщательнее людей, поэтому плохие методы парсинга могут в некоторой степени влиять на производительность сканируемого сайта. Хотя у большинства сайтов могут отсутствовать средства защиты от парсинга, некоторые из сайтов используют меры, препятствующие ему,...