iDatica

Мы сделали простое и бесплатное расширение для сбора данных с сайтов. Постарались сделать его простым и функциональным. Начну, как водится, издалека. Я работаю в компании, которая занимается сбором данных в «промышленных масштабах», это миллионы собираемых данных, парсинг приложений и динамическое содержимое, прокси, постобработка, обход капчи, мониторинг качества, бэкапы, вот это вот все. И да, для масштабных задач все еще не придумали универсальный инструмент, не стандартные требования = кастомная разработка...

Для начала разберемся, что такое парсинг — это автоматизированный сбор данных из различных источников в интернет. Парсинг, калька с английского "to parse" – разбирать и это определение отражает суть процесса той работы, которая происходит при парсинге...

Парсинг как инструмент развития бизнеса становится все более популярен. Этому способствует появление новых инструментов для работы с большими данными, BI-сервисы, и желание компаний внедрять новые эффективные методологии для развития бизнеса...