Найти в Дзене
1330 подписчиков

Ферма серверов для парсинга. См. картинку.


Ну как ферма - скорее фермочка :) Но мы постепенно количество серверов увеличиваем. Нам нужен выделенный IP- адрес + самый простой сервер под unix. Каждый запрос на парсинг данных раскидывается случайно между серверами, а дальше все записывается в базу данных.

Причем такие дешевые сервера мы будем арендовать у разных провайдеров, чтобы пул IP был из разны[ подсетей. Делюсь небольшой изнанкой, а то вижу, иногда пишут, что я не работаю, а превращаюсь в инфоцыганенка :)

Ферма серверов для парсинга. См. картинку.  Ну как ферма - скорее фермочка :) Но мы постепенно количество серверов увеличиваем. Нам нужен выделенный IP- адрес + самый простой сервер под unix.
Около минуты