Вчера ребята мне писали, что наш проект poisk.im стали страшно парсить из ... Вьетнама.
Цитирую:
"Скорее всего, первая "проба" была в четверг, когда бекенд стал захлебываться запросами от сайта из-за превышения исходящих запросов. Сегодня вечером стал перегружен уже весь сайт, страницы открывались по 3 минуты, а иногда вообще отдавалась 504 ошибка.
Я добавил детальное логирование запросов к страницам товаров, и обнаружил нескончаемый поток запросов - за 10 секунд более 60 запросов, практически все с разных айпишников (на ~60 запросов максимум 3-4 повтора), все идут на /p/..., у всех пустой accept, а user-agent замаскирован под реальный браузер."
В общем такие пироги :) с котятами. Для начала добавим капчу на все запросы не из РФ (не забывая про поисковых роботов), а дальше будем думать. Причем это не просто умный парсинг, а похоже на ddos, но кому и зачем это надо - не ясно. А еще долбят из Сингапура.
