Найти в Дзене
1322 подписчика

Чтобы сделать базу компаний, которые дают рекламу в Яндекс.Директ стали парсить ДЗЕН и собирать там рекламные блоки РСЯ (мы НЕ кликаем на них, только собираем информацию о рекламодателе). Если кому-то интересно, то вот скорость:


"парсер дзена умер вскоре после того как я вчера ушёл - надо доработать
но за 20 минут он нашёл и пропарсил 65 разных реклам
это получается 195/час и 4680/сутки"

Это мне Никита, наш разработчик пишет. Умер - подчинит, а скорость останется. Я слышал, что в Яндекс.Директ порядка 500к рекламодателей. То есть нам теоретически нужно 3 месяца :) чтобы собрать всю базу... Но это не точно :)
Около минуты