Последнее время значительно возросла активность web-ботов, индексирующих сайты
Помимо корректно работающих ботов распространение получили "неистовые" боты, игнорирующие правила индексирования robots.txt, лезущие с десятков тысяч разных IP, притворяющиеся легитимными пользователями и не придерживающиеся разумной политики интенсивности отправки запросов
Данные боты создают огромную паразитную нагрузку на серверы, нарушают нормальную работоспособность систем и отнимают время администраторов
Активность подобных ботов воспринимается многими как вредоносные действия
В качестве меры для замедления работы подобных ботов, а также ботов, сканирующих неисправленные уязвимости в типовых web-приложениях, один из администраторов предложил метод "zip-бомбы"
Суть метода в том, что web-боту в ответ на запрос страницы передаётся содержимое, эффективно сжатое методом "deflate", размер которого при распаковке многократно превышает размер переданных по сети данных. Например, при использовании метода "deflate" содержимое из /dev/zero, упакованное в 10 МБ, при распаковке потребует 1 ГБ дискового пространства
При использовании метода сжатия "brotli" удалось добиться уровня, при котором передача 81 МБ приводит к распаковке 100 ТБ данных
Активировать подобную защиту можно через создание ловушек, которые доступны по невидимым ссылкам, отмечены флагом 'rel="nofollow"', исключены из индексации через robots.txt и срабатывают при достаточно высоком уровне рекурсии для ботов, пытающихся притворяться обычными пользователями
На практике предложенный метод применять не рекомендуется, так как сайт может быть занесён Google в чёрный список и начнёт помечаться вредоносным в браузере Chrome с включённым режимом "Safe Browsing"
@imaxai Подписаться
