1357 подписчиков
В продолжении поста выше про парсинг сайтов за очень дешево (на дешевых VPS). На картинке наши текущие сервера для парсинга и цена на них в месяц. Это, правда, еще не самый бросовый вариант - есть и дешевле, но этот стабильнее.
Итак, за ~250 р. в месяц (оплата по безналу) вы получаете сервер, откуда можно парсить + выделенный IP адрес (v4). Мы поднимаем массу таких серверов и дальше есть некий сервис, который раскидывает запросы на парсинг одного между ними... Это я сильно упрощаю, ведь "под капотом" много сделано для обхода защит, но базово работает именно так.
У нас сейчас в основном Windows - сервера и они дорогие (от 7 000 р. за штуку в месяц). А новый подход к распределенному парсингу позволит поднимать где угодно UNIX- сервера (за копейки) и распределять сбор данных. Ключевое - сервера могут быть в разных дата-центрах, чтобы запросы шли из разных подсетей.
Простите, что пост технический, но подумал - будет интересно узнать как у нас устроено.
Около минуты
30 апреля 2024