1275 подписчиков
Незаметно мы подошли к ежедневному парсингу 1212 сайтов на xmldatafeed.com. Сам не могу поверить, но это факт :)
У нас нет сложной системы аналитики, команда просто получает отчет как на картинке... В отчете сравнение скорости парсинга, условно, "вчера и сегодня". И если есть существенные отличия - ставится задача на корректировку команде программистов. Проще пареной репы.
Но есть сайты, которые не даются. Например Яндекс.Маркет с своей мудреной капчей, которая вываливается даже обычным пользователям. И кстати, в бизнесе на парсинге, самое ценное именно умение парсить сложные, неподатливые сайты. Делать это регулярно, в больших объемах... Тогда у вас будет ощутимое конкурентное преимущество.
Вы только не забывайте - это проектная работа. Вот, беру менеджера на поддержку (будет 4й уже). Обсуждаем детали.
p.s. а в Питере опять снег, который уже просто достал :) Хочу в Сочи, гулять по Имеретинке с латте в руках и ноутом за спиной...
Около минуты
14 февраля 2024