Когда речь заходит о настройке инфраструктуры для сбора данных, один из первых технических вопросов — через какой протокол гнать трафик. SOCKS5 и HTTP(S) — два основных варианта, и путаница между ними возникает не потому, что тема сложная, а потому что оба протокола работают, оба используются для схожих задач, но в принципиально разных ситуациях дают разный результат. Разберём, как устроен каждый из них, в чём ключевые отличия и как это влияет на практику скрейпинга. Прокси (proxy — посредник) — это промежуточный сервер, через который проходят ваши запросы к целевому сайту...
Washanse
Как сайты детектируют прокси и как это обойти — fingerprinting, TLS-жабы, поведенческие паттерны
Детекция прокси давно вышла за рамки простой проверки по базам данных IP-адресов. Современные антибот-системы — Cloudflare, DataDome, PerimeterX, Akamai Bot Manager — строят многоуровневые профили клиента, сверяя десятки сигналов одновременно. Понимание этих механизмов полезно с двух сторон: разработчикам, которые строят защиту, и тем, кто легально тестирует собственные системы или работает с публичными данными в рамках допустимых сценариев. Статья разбирает технический стек детекции: от IP-репутации и TLS-фингерпринта до поведенческого анализа и WebRTC-утечек...
Rotating vs Sticky Session: когда менять IP при каждом запросе, а когда держать один адрес
Два режима работы прокси — ротация IP и фиксированная сессия — решают противоположные задачи. Путаница возникает из-за того, что оба варианта используются в скрейпинге, но в неправильном контексте каждый из них либо не даёт результата, либо напрямую вызывает блокировку. При ротации каждый новый запрос уходит через другой IP-адрес из пула. Прокси-сервер автоматически переключает адрес — либо при каждом соединении, либо через заданный интервал времени. С точки зрения целевого сайта запросы выглядят как трафик от множества разных пользователей...
