1120 подписчиков
Сделали фильтр по дате обновления на tapki.com - теперь сайты можно фильтровать, чтобы убрать совсем старые записи.
Но проблема в том, что мы не очень быстро обновляем информацию. За сутки наши роботы обходят 40 000 доменов, а всего в России 6 млн. доменов. Причем, к сожалению, даже если на домене нет сайта, там есть парковка от регистратора ...
Если вам интересно, то количество сайтов (не доменов) около 2.5 млн. Иными словами, ~50% доменов имеют какие-то рабочие сайты. На сегодня в зоне .ru 5 626 928 доменов, а новых с начала месяца: +132 518. В зоне .рф 770 000 доменов...
Вот и получается, что мы топчемся на месте. А почему? Серверных мощностей не хватает. На днях арендовал еще один сервер в Selectel... Жаба душит :)
Около минуты
27 апреля