Поступила задача собрать организации по выбранным категориям с Яндекс.карт. Что из себя представляет процесс? Идем в Яндекс карты, ставим минимальный зум, чтобы вся территория РФ уместилась на экране, в поиске вбиваем нужную категорию и пишем робота который идёт по списку.
Был написан парсер по этому принципу, но оказалось что есть подводные камни. В список не загружается более 1000 организаций, а надо спарсить 10к... Пришлось вручную выбирать области парсинга, получился полуавтоматический процесс...
Это конечно выход, но во-первых, куча времени, во вторых, оказалось ещё и не все организации почему-то попадают в список, при повторном прогоне одной и той же области всплывают новые организации... В итоге пришлось заставить робота, перемещаться по карте, плюс делать 3 прогона...
Поля для сбора: название организации, адрес, телефон, сайт, ссылка на объект на яндекс картах, количество отзывов, количество фото, рейтинг, координаты.
Не ожидал, но в итоге сделал, хоть и оплата не предполагала таких приключений. Парсинг по одной категории - 10тыр, обращайтесь.
