1330 подписчиков
Ферма серверов для парсинга. См. картинку.
Ну как ферма - скорее фермочка :) Но мы постепенно количество серверов увеличиваем. Нам нужен выделенный IP- адрес + самый простой сервер под unix. Каждый запрос на парсинг данных раскидывается случайно между серверами, а дальше все записывается в базу данных.
Причем такие дешевые сервера мы будем арендовать у разных провайдеров, чтобы пул IP был из разны[ подсетей. Делюсь небольшой изнанкой, а то вижу, иногда пишут, что я не работаю, а превращаюсь в инфоцыганенка :)
Около минуты
3 июня 2024