Поступила задача собрать организации по выбранным категориям с Яндекс.карт. Что из себя представляет процесс? Идем в Яндекс карты, ставим минимальный зум, чтобы вся территория РФ уместилась на экране, в поиске вбиваем нужную категорию и пишем робота который идёт по списку. Был написан парсер по этому принципу, но оказалось что есть подводные камни. В список не загружается более 1000 организаций, а надо спарсить 10к... Пришлось вручную выбирать области парсинга, получился полуавтоматический процесс... Это конечно выход, но во-первых, куча времени, во вторых, оказалось ещё и не все организации почему-то попадают в список, при повторном прогоне одной и той же области всплывают новые организации... В итоге пришлось заставить робота, перемещаться по карте, плюс делать 3 прогона... Поля для сбора: название организации, адрес, телефон, сайт, ссылка на объект на яндекс картах, количество отзывов, количество фото, рейтинг, координаты. Не ожидал, но в итоге сделал, хоть и оплата не предполага
Парсинг Яндекс.карт получение списка организаций по категории
10 июля 202210 июл 2022
453
~1 мин