Когда крупная сеть аптек из Москвы и Санкт-Петербурга обратилась к нам с задачей мониторинга цен и наличия товаров у своего основного онлайн-конкурента (apteka.ru), мы понимали, что перед нами стоит непростая задача. Клиенту необходимо было получить данные по ключевым для него категориям товаров: биологически активным добавкам (БАДам), витаминам, средствам для похудения и жиросжигателям.
Целью проекта было получение конкурентного преимущества за счет анализа ценообразования, наличия товаров у конкурента и корректировок в своей ценовой политике.
Начало проекта
Работа началась с изучения структуры сайта и API-конкурента. Данные по категориям товаров формировались с помощью обращений к API: https://api.apteka.ru/Search/CategoryUrl. Пример запроса выглядел следующим образом:
Для изменения города, при каждом запросе отправлялся PUT-запрос на https://api.apteka.ru/City/UserCity с указанием ID города в теле запроса.
Столкнулись со сложностями
Проект оказался сложнее, чем мы предполагали. apteka.ru активно блокировала любые попытки автоматизированного сбора данных. Запросы, отправляемые с открытыми devtools, немедленно блокировались, и частая смена прокси-серверов не давала стабильных результатов.
Поиск решения
Для преодоления этих сложностей мы разработали новый полумануальный метод сбора данных. Наш подход включал следующие шаги:
- Открытие необходимой категории на сайте.
- Нажатие кнопки "Собрать", запускающей автоматический сбор данных со страницы.
- Автоматический переход на следующие страницы категории и сбор данных.
Этот метод позволил обойти блокировки, так как процесс имитировал поведение реального пользователя. После завершения сбора данных формировался и скачивался Excel-файл с необходимой информацией.
Результаты
Наша команда успешно реализовала проект, предоставив клиенту данные по ценам и наличию товаров у конкурента. Полученная информация позволила заказчику не только оптимизировать свои цены, но и улучшить ассортимент. В конечном итоге это привело к увеличению продаж и доли рынка.
Вместо вывода
Этот кейс показал, что даже в условиях жесткой блокировки и сложностей с автоматизацией, можно найти эффективные решения. Полумануальный метод сбора данных доказал свою эффективность и позволил достичь поставленных целей. Мы уверены, что наш опыт поможет другим компаниям в решении подобных задач.
Команда ParsingMaster готова к вашим заказам. Если вам нужен аналогичный проект, свяжитесь с нами. Ознакомьтесь с другими кейсами и нашими услугами на parsingmaster.com. Мы с радостью поможем вам достичь успеха в вашем бизнесе!
Десятилетний опыт работы нашей команды позволяет нам эффективно решать практические задачи бизнеса и успешно достигать поставленных целей. Посетите наши ресурсы, чтобы узнать больше о предлагаемых услугах или задать вопрос. Если вас интересует возможность сотрудничества, не стесняйтесь обращаться к нам.
Если вы нуждаетесь в услугах парсинга, свяжитесь с нами — мы обязательно поможем решить вашу задачу.
Контактная информация:
Email parsing_master@mail.ru
Телефон: +7 920 909 36 72
Также рекомендуем прочитать: