Лучшие практики раборы с прокси

Примерное время прочтения: 12 мин.

Эта статья поможет Вам выжать максимум из Airsocks Proxy Manager. Здесь мы собрали лучший опыт работы с прокси Airsocks.

Общие советы

Это базовые рекомендации, которые помогут Вам использовать прокси Airsocks наиболее эффективно, какой бы ни была Ваша задача.

Тайм-аут запроса

Увеличьте в запросе период тайм-аута от супер-прокси (в заголовке) либо от нужного сайта (в https). Так Вы сможете увеличить количество IP, с которых отправляете запрос, соответственно изменению времени ожидания. Таким образом, скорость отправки запросов останется прежней.

Избегайте блокировки или подмены

• Страна IP: По возможности осуществляйте выбор страны IP в пользу той страны, в которой расположен нужный Вам сайт. Так Ваш запрос будет больше похож на человеческий, а это в ряде случаев поможет избежать бана.
• IP Города: выбор страны IP – это хорошо, но можно ещё лучше. Установите IP-адрес того города, который является Вашей целью. Так Ваши действия будут ещё больше похожи на действия реального пользователя.
• Ограничение количества запросов: бывает, что требуется отправлять несколько запросов на один и тот же сайт, не используя переключение IP. Обращайте внимание, чтобы таких запросов было не более десяти за сутки. Это ещё один способ снизить вероятность бана.

Добавьте заголовки и файлы cookies в Ваши запросы http / https

Бывает, что целевые сайты распознают пользователей как ботов либо краулеров. Это можно использовать. Добавляйте заголовки и куки в запросы https/http, и Ваши действия будут больше напоминать действия настоящего пользователя.

Случаи использования

Человеческие ресурсы

Используя прокси для краулинга, Вы можете наткнуться на ошибку, после чего JavaScript перенаправит Вас на страницу с установкой Cookies. Результат ожидаем – бан IP на несколько часов минимум, после чего Вы снова попадёте на страницу авторизации. Вот как с помощью прокси Airsocks можно избегать попадания в эту ловушку:

• Пользуйтесь GIPs
• Осуществляйте переключение IP как можно чаще
• Делайте Ваши запросы ‘человекоподобными’. Несколько способов мы давали выше. Это же касается поведения куков. Кроме того, просматривайте страницы так же, как это делал бы настоящий человек
• Чаще меняйте User Agent
• Не жадничайте и регулярно снижайте число запросов
• Используйте мобильные IP. Плюсы мобильных IP в том, что их используют миллионы реальных пользователей, и банить такие IP себе дороже.
• Будьте внимательны со ссылками-ловушками
• Используя прокси для краулинга, пользуйтесь заголовком запроса Referer в соответствии со своим шаблоном. И шаблоны меняйте почаще
• Используйте удаленный DNS
• Пользуйтесь безголовым браузером. Одна из частых причин обнаружения и бана – несоответствие между браузером и User Agent.
• Пользуйтесь Airsocks Proxy Manager и отслеживайте статистику успешности своих запросов
• Не стесняйтесь проконсультироваться у персонального менеджера о максимально эффективном использовании Airsocks Proxy Manager

Сравнение цен

Когда Вы используете прокси для краулинга с конкретной целью проверять цены в Интернете, то можете получить искажённые результаты – продавцам прекрасно известна эта технология, и они ей противодействуют. Чтобы увеличить шансы на успех, во-первых, используйте удаленный DNS, а во-вторых, не забывайте про максимально частое переключение IP.

Релиз продукта

Если Вам нужно использовать прокси для краулинга с целью купить товар на релизе, Вам нужно осуществлять множественные одновременные запросы за минимальное время, при этом не задействуя переключение IP в течение сеанса каждого запроса. Для этого, используя Airsocks Proxy Manager, создайте множество параллельных запросов, для каждого из них используя параметр ‘длинный одиночный сеанс (IP)’. Если Вы сталкиваетесь с банами, первое, что Вы можете сделать – использовать удаленный DNS. Запросы будут медленнее, но надёжнее. Если это не помогло, зайдите в панель управления, выберите вкладку ‘Зоны’ и в разрешениях выберите город. В списке прокси отредактируйте порт, после этого во вкладке ‘Таргетинг’ осуществите выбор страны IP, региона и города. Это дороже, но надёжнее.

Ещё хороший совет: создайте такие настройки заранее, и сделайте автоматическое переключение на них при ошибках со стандартными запросами. Это сэкономит Вам и время, и деньги. Для этого, используя API, осуществите выбор страны IP, указав двухбуквенный код.

Вот пример. В примере мы рассмотрим США – код US. Установите каждому запросу свои идентификаторы сеанса, пронумеровав их. Найдите близлежащие быстрые супер-прокси, введя в командной строке: nslookup servercountry-US.zproxy.lum-superproxy.io . Теперь чередуйте найденные супер-прокси, меняя их с каждым запросом.

А вот как это выглядит:

• curl --proxy 159.203.123.237:22225 --proxy-user lum-customer-somecompany-zone-somezone-country-us-session-0001:s0m3passw0rd " http://lumtest.com/myip.json"
• curl --proxy 198.211.100.16:22225 --proxy-user lum-customer-somecompany-zone-somezone-country-us-session-0002:s0m3passw0rd " http://lumtest.com/myip.json"
• curl --proxy 104.131.165.185:22225 --proxy-user lum-customer-somecompany-zone-somezone-country-us-session-0003:s0m3passw0rd " http://lumtest.com/myip.json"
• curl --proxy 159.203.123.237:22225 --proxy-user lum-customer-somecompany-zone-somezone-country-us-session-0004:s0m3passw0rd " http://lumtest.com/myip.json"

Несколько аккаунтов

Если Вам нужно создать несколько учётных записей (например, при использовании прокси для постинга), необходимо, чтобы каждая из них вела себя таким образом, будто ей управляет один пользователь. Вот что можно сделать, чтобы это выглядело именно так.

• Делайте длинные одиночные сеансы в Airsocks Proxy Manager, не используя переключение IP в течение сеанса
• Для бота в Airsocks Proxy Manager можно создать порт и увеличивать его столько раз, сколько это потребуется.

Если Вы работаете с чувствительными сайтами:

• Задействуйте удаленный DNS
• Настраивайте таргетинг по городам в настройках зоны
• Применяйте мобильные IP, используя прокси для постинга

И используйте ПО, проверенное множеством наших пользователей. Однозначно в топе рейтинга пользователей прокси Airsocks – Multilogin и Insomniac. Об обоих приложениях Вы можете почитать в документации интеграции с Airsocks Proxy Manager.

Мобильная настройка

В силу особенностей архитектуры мобильных сетей мобильные IP вращаются между множеством пользователей – это переключение IP заложено в самой структуре. Как мы уже говорили, это Вам в плюс – поскольку банить такой IP, которым пользуется множество реальных людей, себе дороже. У Airsocks есть мобильные IP, которыми Вы можете пользоваться, применяя прокси для постинга, краулинга или любых других задач. Самый простой алгоритм эффективной работы с мобильными IP – создайте новую зону в СР с мобильными разрешениями, затем в Airsocks Proxy Managerувеличьте число портов на группе IP (gIP), и используйте переключение IP через каждые десять-двадцать запросов.

Проверка объявления

Если Вы размещаете объявления, Вам нужно посмотреть их анонимно с разных устройств, чтобы удостовериться, что другие люди видят их так, как бы хотелось Вам. Вот шаги, которые нужно для этого сделать.

• Посчитайте количество переадресаций до финальной страницы. Исходя из этого, настройте максимум запросов на IP.
• Не используйте переключение IP в течение сеанса. Это всё та же настройка ‘Длинный одиночный сеанс (IP)’ в Airsocks Proxy Manager, о которой мы рассказывали выше.
• Проверив финальную страницу, осуществите переключение IP и пройдите весь путь снова. В Airsocks Proxy Manager создайте порт для каждого сеанса, и распишите правило: каждый следующий порт запускается, как только завершён последний тест у предыдущего.
• Применяйте удаленный DNS, выполняя разрешение DNS на прокси-сервере
• Разные юзер-агенты дают разный результат. Поэтому не стоит, используя все юзер-агенты в тестировании, затем рассылать множество запросов с одного юзер-агента. Так легко нарваться на бан. 

Руководство

Как подражать поведению человека в Сети

Включайте все заголовки и поведение cookies. Вот пример с bash с применением Airsocks Proxy Manager: 

curl --proxy http://127.0.0.1:PORT_NUM " http://lumtest.com/myip.json" -H 'pragma: no-cache' -H 'accept-encoding : gzip, deflate, br '-H' accept-language: en-US, en; q = 0.8 '-H' upgrade-insecure-запросы: 1 '-H' user-agent: Mozilla / 5.0 (Windows NT 10.0; Win64; x64) AppleWebKit / 537.36 (KHTML, как Gecko) Chrome / 61.0.3163.100 Safari / 537.36 '-H' accept: text / html, application / xhtml + xml, application / xml; q = 0,9, image / webp, image /apng,*/*;q=0.8 '-H' cache-control: no-cache '-H' cookie: bcookie = "v = somekindofcookiexxx"; ' -v

Используйте переключение IP между максимальным числом доступных адресов

Получили ошибку? Переключение IP сразу же. И дайте IP отдохнуть хотя бы несколько часов.

Используйте Airsocks gIP. Есть два способа эффективного применения Airsocks gIP.

• Применяйте наш API, управляя переключением IP:
• Используя gIP (группы IP-адресов), берите все возможные gIP в каждой зоне: / api / get_route_vips curl " https://luminati.io/api/get_route_vips?" \ -H "X-Hola-Auth: lum-customer-lum_qa-zone-static-key-s6u19zy0zrys"
• Пользуйтесь одним IP, пока не дойдёте до ошибки или пока не повторите цикл десять раз. Затем – переключение IP
• Ведите лог блокировок, указывая IP-адрес и точное время, когда была получена ошибка. Эта статистика Вам поможет.

Повторите с другим IP, который не выдавал ошибку хотя бы несколько часов.

• Проверьте IP через идентификатор сессии в API
• Посмотрите в лог, о котором мы писали выше. Когда этот IP получил ошибку?

Сделайте это столько раз, сколько Вам нужно.

2. Пользуйтесь Airsocks Proxy Manager. Для этого достаточно установить правило:

• Зайдите в раздел ‘Изменить Прокси’, затем в ‘Правила’. В ‘Тип правила’ выберите ‘Код состояния’. В строке статуса кода для сканирования определите статус кода при блокировке запроса, или создайте его самостоятельно (пользовательский). Затем в ‘Тип действия’ назначьте ‘повторить запрос с новым IP’ (это и будет автоматизированное переключение IP). Теперь Вам осталось только указать количество повторных попыток с теми же настройками, но после переключения IP. 

Правила порта

Они нужны для того, чтобы прописать конкретное действие под конкретный ответ на запрос. Это позволяет автоматизировать переключение портов так же, как переключение IP.

Удаленный DNS

Удаленный DNS предоставляет так называемый Resolve-server – аналог сервера-посредника. Это нужно, чтобы Ваш запрос выглядел правдоподобнее – такие сервера, как правило, расположены близко к IP-адресу. Если же не использовать удаленный DNS, resolve-server будет являться одним из супер-прокси, расположенных в другом государстве.

Для того, чтобы пользоваться удаленным DNS, сделайте следующее. Откройте диспетчер прокси -> Прокси -> Изменить прокси -> Скорость запроса. В ‘DNS Lookup’ выставьте ‘Удаленно – разрешено узлом’. Теперь в API добавьте удаленный DNS в строку имения пользователя, например, lum-customer- [ACCOUNTID] -zone- [VIPZONE] -dns-remote

И создайте нужное количество копий порта в Airsocks Proxy Manager.

Создайте нужное количество дубликатов прокси в Airsocks Proxy Manager

Выберите ‘Изменить’ на созданном Вами прокси. После этого зайдите в ‘Общие’ -> ‘Умножить’. Там введите нужное число копий Вашего прокси. Сделав это, Вы сможете скачать себе полный список Ваших прокси с IP-адресами и портами, нажав по соответствующей кнопке вверху списка.

Источник статьи: https://airsocks.in/ru/blog/post/airsocks-luchshie-praktiki