1294 подписчика

Хороший, практический совет тем, кто думает зарабатывать на парсинге:

"Про парсеры сам думал, была идея saas сделать но по факту это такой геморрой, потому что парсеры постоянно ломаются если парсят более менее серьезный сайт и все это нужно поддерживать. Можно конечно сделать некий менеджер парсеров, но это как раз таки уже не так сложно и думаю такие решения уже существуют. Хотя в целом представляю себе гипотетически некий конструктор парсеров в котором предусмотрены компоненты которые часто используются для написания парсера, но опять же, слабо верится что можно будет добиться эффекта швейцарского ножа. Все равно придется писать кастомный код и накручивать костыли.

Я писал парсер объявлений с Яндекс.Услуг. 3 месяца проработало, а потом сломалось. Хотя парсил с таймаутом по 2 секунды между запросом и 30 минут между обходом всех страниц в выдаче, чтобы не наглеть. В итоге тот еще геморрой был. Периодически меняется api, блочат по ip, усложняют каптчу и так далее. Как будто специально хотят усложнить парсинг. Потом чтобы они меня по ip не банили перевел парсинг запросы на их же лямду. Ежемесячного бесплатного гранта хватало на парсинг))"

Около минуты

24 мая 2023