Введение: За гранью витрины – как победить в гонке вооружений e-commerce с помощью данных
Российский рынок электронной коммерции переживает эпоху беспрецедентного роста, локомотивами которого стали три титана: Wildberries, Ozon и Яндекс.Маркет. Совокупно они аккумулируют львиную долю онлайн-продаж в стране, привлекая сотни тысяч продавцов и десятки миллионов покупателей.1 Эта концентрация рынка создала уникальную среду — гиперконкурентную арену, где успех или провал бизнеса решаются за считанные недели, а иногда и дни.
В таких условиях многие продавцы попадают в ловушку интуитивной торговли и реактивного ценообразования. Они снижают цены в ответ на действия конкурентов, запускают акции без понимания их эффективности и вкладывают бюджеты в продвижение, не имея четких ориентиров. Этот подход, основанный на поверхностном наблюдении и догадках, неизбежно ведет к ценовым войнам, эрозии маржинальности и, в конечном счете, к стагнации или уходу с рынка. Большинство селлеров либо вовсе не анализируют конкурентную среду, либо ограничиваются бессистемным мониторингом цен, упуская из виду более глубокие и значимые рычаги роста.3
Ключ к устойчивому росту и лидерству на маркетплейсах лежит в переходе от интуиции к системной, глубокой аналитике. Побеждает не тот, кто продает дешевле всех, а тот, кто лучше всех понимает рынок, знает сильные и слабые стороны своих оппонентов и принимает решения, основанные на точных и актуальных данных. Конкурентная разведка перестала быть опцией для избранных и превратилась в фундаментальную бизнес-дисциплину, обязательную для каждого амбициозного продавца.
Данное руководство представляет собой не просто набор советов, а исчерпывающую дорожную карту по созданию полноценной системы конкурентной аналитики. Оно проведет читателя через все этапы этого сложного, но жизненно важного процесса: от постановки стратегических целей и определения ключевых метрик до технических аспектов сбора данных, включая написание собственных программ-парсеров и выбор оптимального сервиса аналитики из десятков представленных на рынке.
Структура документа выстроена таким образом, чтобы последовательно погрузить читателя в тему, начиная с фундаментальных стратегических основ и заканчивая практическими инструментами и реальным кейсом. В первой главе будет заложен стратегический фундамент: что именно нужно отслеживать и зачем. Вторая и третья главы раскроют методологии сбора данных, включая официальные, но ограниченные возможности API маркетплейсов. Четвертая глава станет глубоким техническим погружением в мир веб-скрейпинга (парсинга) — самого мощного, но и самого сложного инструмента для получения данных. Пятая глава представит исчерпывающий обзор экосистемы готовых сервисов аналитики, помогая сделать осознанный выбор. Наконец, шестая глава на реальном примере покажет, как превратить собранные данные в конкретные управленческие решения и измеримый рост прибыли. Это руководство призвано стать настольной книгой для каждого продавца, который стремится не просто выживать, а доминировать на высококонкурентном поле российских маркетплейсов.
Глава 1: Стратегическая основа мониторинга конкурентов
Прежде чем погружаться в технические детали сбора данных, необходимо заложить прочный стратегический фундамент. Без четкого понимания того, какие данные нужны и как они будут использоваться для принятия решений, любая аналитика превращается в бессмысленное накопление цифр. Цель этой главы — определить ключевые метрики, очертить конкурентное поле и разработать график мониторинга, превратив сбор данных из хаотичного процесса в отлаженную систему бизнес-разведки.
Успешный анализ конкурентов — это не разовый аудит, а создание непрерывной системы получения информации о рынке. Это фундаментальный сдвиг от реактивного ответа на действия оппонентов к проактивному формированию собственной стратегии. Информация о том, что конкурент снизил цену, полезна, но информация о том, почему он это сделал, какие у него складские остатки и как это повлияло на его продажи, — бесценна. Именно такой подход позволяет не просто копировать чужие шаги, а опережать их, находя и используя рыночные неэффективности в свою пользу.4
1.1. Ключевые метрики для мониторинга (KPIs)
Эффективная система мониторинга должна фокусироваться на наборе ключевых показателей, каждый из которых раскрывает определенный аспект стратегии конкурента.
- Цена и динамика скидок. Это самый очевидный, но и самый многогранный показатель. Важно отслеживать не просто текущую цену, а ее историю. Резкое снижение может говорить о распродаже остатков, а планомерное повышение — о росте уверенности в продукте или проблемах с логистикой. Анализ участия в акциях и размера скидок помогает понять ценовую стратегию конкурента: работает ли он на высокой марже или на обороте.3
- Объем и скорость продаж (Sales Velocity). Это важнейший показатель реального спроса на товар. Прямые данные о продажах конкурентов являются коммерческой тайной, но сервисы аналитики научились оценивать их с высокой точностью на основе косвенных признаков. Понимание, сколько единиц товара продает конкурент в день или неделю, позволяет оценить емкость ниши и собственную долю в ней.6
- Остатки на складах (Stock Depth). Информация о количестве товара у конкурента на складах — это мощный инструмент для стратегического планирования. Если у лидера ниши заканчивается товар (ситуация out-of-stock), это открывает «окно возможностей» для перехвата его продаж. Анализ динамики остатков также позволяет понять, насколько хорошо конкурент планирует поставки и выявить его «упущенную выгоду» — потенциальный доход, который он не получил из-за отсутствия товара. Эту выгоду можно и нужно забирать себе.6
- Позиции в поиске и категориях (SEO-позиционирование). Большинство покупок на маркетплейсах начинается с поискового запроса. Отслеживание позиций конкурента по ключевым словам («кроссовки мужские», «сковорода антипригарная») показывает его видимость для покупателей. Высокие позиции — результат грамотной SEO-оптимизации карточки, и это повод детально изучить ее на предмет использования ключевых слов в названии, описании и характеристиках.9
- Работа с отзывами и вопросами. Отзывы — это кладезь информации не только о качестве товара, но и о слабых местах конкурента. Покупатели часто пишут о проблемах с упаковкой, несоответствии цвета, медленной доставке. Анализ негативных отзывов позволяет выявить «боли» клиентов и предложить продукт или сервис, лишенный этих недостатков. Скорость и качество ответов продавца на вопросы и отзывы также являются важным показателем уровня его клиентского сервиса.3
- Визуальный контент и оформление карточки. В онлайн-торговле «встречают по одежке». Качество фотографий, наличие информативной инфографики и видео напрямую влияют на конверсию в покупку. Анализ «фотоворонки» конкурента — набора изображений, которые последовательно демонстрируют товар и его преимущества, — позволяет понять, насколько эффективно он презентует свой продукт. Сравнение визуального контента помогает найти точки роста для улучшения собственных карточек.4
- Рекламная активность. Мониторинг участия конкурентов в официальных акциях маркетплейса и использование ими внутренних рекламных инструментов (реклама в поиске, в карточках товаров) дает представление об их маркетинговом бюджете и стратегии продвижения.
1.2. Определение конкурентного поля
Чтобы анализ был сфокусированным, необходимо четко определить, за кем именно следить.
- Прямые конкуренты. Это продавцы, предлагающие аналогичный товар в той же ценовой категории и для той же целевой аудитории. Самый простой способ их найти — ввести в поисковую строку маркетплейса основной запрос, характеризующий ваш товар (например, «термос для еды»). Продавцы, чьи товары занимают первые 1-2 страницы выдачи, и есть ваши ближайшие конкуренты. Специализированные сервисы аналитики также позволяют найти всех продавцов в конкретной нише и отсортировать их по объему выручки.6
- Косвенные и потенциальные конкуренты. Это компании, продающие товары-заменители (например, для продавца кофе в зернах косвенным конкурентом будет продавец молотого или капсульного кофе) или новые игроки, которые только выходят на рынок. Их мониторинг важен для долгосрочного стратегического планирования и своевременного выявления новых угроз и трендов.
1.3. Периодичность анализа
Регулярность — залог эффективности мониторинга. Разные метрики требуют разной частоты отслеживания.
- Ежедневно: Необходимо отслеживать наиболее динамичные показатели по самым важным товарам (флагманам ассортимента). К ним относятся цены, остатки на складах и рекламные ставки. Рынок может меняться в течение нескольких часов, и своевременная реакция на действия конкурента может предотвратить потерю продаж.5
- Ежемесячно: Раз в месяц проводится более глубокий стратегический анализ. Оценивается общая динамика доли рынка (растете вы быстрее или медленнее конкурентов), анализируется ассортиментная матрица конкурентов (появление новых товаров, вывод старых) и отслеживается появление новых значимых игроков в нише.
Создание такой структурированной системы мониторинга превращает анализ конкурентов из разовой акции в постоянно действующий радар, который подсвечивает рыночные возможности и угрозы, позволяя принимать взвешенные и своевременные управленческие решения.
Глава 2: Методологии сбора данных: от ручного труда до полной автоматизации
Определив стратегические цели и ключевые метрики, продавец сталкивается со следующим вопросом: как именно получить необходимые данные? Существует целый спектр методов, от простого ручного аудита до сложных автоматизированных систем. Выбор конкретного подхода зависит от масштаба бизнеса, глубины требуемого анализа, технических компетенций и, конечно, бюджета. В этой главе рассматриваются основные методологии сбора данных, их преимущества, недостатки и области применения.
2.1. Ручной подход: структурированный аудит
Для начинающих продавцов или тех, кто работает в узкой нише с 1-3 явными конкурентами, ручной анализ может быть вполне достаточным на начальном этапе. Этот метод не требует финансовых вложений и специальных технических знаний, но требует системности и дисциплины.
Процесс заключается в регулярном посещении карточек товаров конкурентов и ручном занесении ключевых показателей в заранее подготовленную таблицу (например, в Google Sheets или Excel). Чтобы этот процесс был эффективным, а не хаотичным, необходимо использовать структурированный чек-лист, основанный на KPI из предыдущей главы.3
Примерный чек-лист для ручного анализа:
- Остатки (косвенная оценка): Доступное количество для добавления в корзину (многие маркетплейсы ограничивают это число, но иногда можно увидеть точный остаток, если он небольшой).
- Бесплатно: Не требует никаких финансовых затрат, кроме времени.
Недостатки:
- Трудоемкость: Отслеживание даже 5-10 товаров у 3 конкурентов превращается в рутинную работу на несколько часов в неделю.
- Немасштабируемость: Метод абсолютно не подходит для широкого ассортимента или большого количества конкурентов.
- Низкая частота: Ежедневный ручной мониторинг практически невозможен, что не позволяет отслеживать быстрые изменения цен и остатков.
2.2. Автоматизированный подход: два столпа автоматизации
Когда бизнес вырастает за пределы возможностей ручного анализа, наступает время автоматизации. Здесь существует два фундаментальных пути, которые можно условно назвать «Купить» (Buy) или «Создать» (Build).
Столп 1: Готовые сервисы аналитики (SaaS-решения)
Это самый популярный и доступный путь для большинства продавцов. Концепция проста: специализированные компании (такие как MPSTATS, Moneyplace.io и десятки других) уже проделали всю техническую работу по сбору и обработке данных с маркетплейсов. Пользователь платит ежемесячную абонентскую плату и получает доступ к удобному веб-интерфейсу с готовыми отчетами, графиками и инструментами для анализа. Эти сервисы собирают данные по миллионам товаров, предоставляя как общую картину по нишам, так и детализированную информацию по конкретным конкурентам.
Столп 2: Собственные решения (In-house)
Этот путь предполагает самостоятельную разработку и поддержку программного обеспечения для сбора данных. Технически это реализуется двумя способами: через официальные API маркетплейсов или с помощью парсинга (веб-скрейпинга). Этот подход требует наличия в команде квалифицированных разработчиков или привлечения их на аутсорсе. Он обеспечивает максимальную гибкость, но сопряжен со значительными затратами и техническими сложностями.
Ключевой выбор: «Build vs. Buy»
Выбор между покупкой подписки на готовый сервис и созданием собственного решения — это стратегическое решение, которое зависит от множества факторов.
- Стоимость: На первый взгляд, подписка на сервис (от 5 000 до 30 000 рублей в месяц для среднего тарифа) может показаться дорогой. Однако разработка и, что важнее, постоянная поддержка собственного парсера может обойтись значительно дороже, учитывая зарплату разработчика и затраты на инфраструктуру (прокси, серверы).
- Гибкость: Собственное решение дает 100% гибкость. Можно собирать любые данные, в любом формате и с любой частотой, создавая кастомные отчеты, идеально подходящие под конкретные бизнес-процессы. SaaS-сервисы ограничены тем набором функций, который предлагает разработчик.
- Скорость внедрения: Готовый сервис можно начать использовать в течение одного дня. Разработка собственного решения с нуля займет от нескольких недель до нескольких месяцев.
- Требования к компетенциям: Для работы с SaaS-сервисом достаточно навыков аналитика или менеджера маркетплейсов. In-house разработка требует глубоких знаний в программировании, работе с сетями и обходе блокировок.
Для подавляющего большинства продавцов малого и среднего бизнеса выбор очевиден в пользу готовых SaaS-решений. Они предоставляют 80% необходимого функционала за разумные деньги, снимая с предпринимателя всю техническую головную боль. Путь собственной разработки оправдан лишь для очень крупных игроков с уникальными требованиями к данным или для технологических компаний, для которых аналитика является частью основного продукта.
В следующих главах эти автоматизированные подходы будут рассмотрены максимально подробно.
Глава 3: Официальный канал: работа с API маркетплейсов
В мире автоматизации сбора данных существует официальный, легитимный и поддерживаемый самими площадками канал взаимодействия — API (Application Programming Interface). Для многих начинающих продавцов этот термин звучит сложно, но по своей сути API — это просто стандартизированный способ, с помощью которого одна компьютерная программа может общаться с другой. Маркетплейсы предоставляют API в первую очередь для того, чтобы продавцы могли автоматизировать управление собственными магазинами.12
Однако в контексте конкурентной разведки вокруг API существует много заблуждений. Распространен миф, что с помощью API можно легко «подключиться» к маркетплейсу и получить всю подноготную о любом конкуренте. Цель этой главы — объяснить реальное предназначение API, предоставить практические инструкции по получению доступа и, что самое важное, четко очертить границы возможного, развеяв миф о всесильности этого инструмента для шпионажа.
Понимание ограничений официальных API является ключевым. Именно неспособность этого инструмента удовлетворить острую потребность продавцов в данных о конкурентах породила весь многомиллиардный рынок сторонних сервисов аналитики и сделала парсинг (веб-скрейпинг) практически безальтернативным методом для глубокого анализа. Документация по API всех крупных площадок ясно показывает, что их методы ориентированы на задачи продавца: «управлять ассортиментом и ценами, обрабатывать заказы, обновлять остатки».12 В ней отсутствуют функции вроде
getCompetitorSales(article). Этот «вакуум данных» и стал той рыночной нишей, которую заполнили внешние разработчики, использующие более сложные и неофициальные методы сбора информации.
3.1. Что такое API и зачем он нужен продавцу?
Представьте, что вы хотите интегрировать свой магазин на Ozon с вашей внутренней системой складского учета (например, 1С). Вместо того чтобы каждый день вручную переносить данные об остатках из 1С в личный кабинет Ozon, вы можете «попросить» вашего программиста написать скрипт, который будет делать это автоматически. Этот скрипт будет отправлять запросы к API Ozon, используя специальный язык команд, и сообщать: «Для товара с артикулом X остаток теперь равен Y». Точно так же через API можно автоматически получать информацию о новых заказах, менять цены на товары, создавать новые карточки и многое другое. Основная цель API — автоматизация и устранение ручного труда в управлении магазином.
3.2. Практическое руководство по получению API-ключей
Для того чтобы ваша программа могла отправлять запросы к API, ей нужен своего рода «электронный пропуск» — API-ключ (или токен). Это уникальная секретная строка символов, которая подтверждает, что запросы отправляете именно вы. Процесс получения ключей на разных площадках немного отличается.
Wildberries
- Зайдите в личный кабинет продавца на портале seller.wildberries.ru.
- Перейдите на вкладку «Доступ к API».
- Нажмите кнопку «Создать новый токен». Вы можете дать ему название (например, «Моя система учета») и выбрать тип токена. Для большинства задач подойдет тип «Стандартный».
- Система сгенерирует токен, который нужно скопировать и сохранить в надежном месте. Этот токен будет использоваться во всех ваших запросах к API Wildberries.12
Ozon
Ozon предоставляет несколько типов API. Для управления магазином используется Seller API, а для управления рекламой — Performance API. Ключи для них генерируются в одном разделе.
- Нажмите на иконку профиля в правом верхнем углу и выберите «Настройки».
- В меню слева перейдите в раздел «API ключи».
- На этой странице вы увидите ваш Client Id — это ваш уникальный идентификатор продавца. Он понадобится для всех запросов.
- Для создания ключа нажмите кнопку «Сгенерировать ключ». Придумайте ему название и выберите тип. Тип «Администратор» дает полный доступ, а «Только чтение» (Read only) позволяет только получать данные, но не изменять их. Для интеграции с сервисами аналитики часто достаточно ключа «Только чтение».15
- После генерации скопируйте API Key. Важно: ключ показывается только один раз, поэтому его нужно сразу же сохранить.13
Яндекс.Маркет
- Зайдите в личный кабинет продавца на Яндекс.Маркете.
- Процесс получения доступа к API здесь более формализован и подробно описан в официальной документации «API Яндекс.Маркета для продавцов».
- Как правило, для авторизации используется OAuth-токен, который ваше приложение получает после того, как вы даете ему разрешение на доступ к данным вашего магазина.
- В личном кабинете также можно настроить API-уведомления (push-notifications), чтобы Маркет сам отправлял вам информацию о важных событиях (например, о новом заказе или возврате), избавляя от необходимости постоянно «опрашивать» API.14
3.3. Границы возможного: какую информацию о конкурентах можно (и нельзя) получить через API?
Это самый важный аспект для понимания роли API в конкурентной разведке.
Что можно получить (в некоторых случаях):
- Данные по рекламным ставкам. API для управления рекламой (например, Ozon Performance API) позволяют получать информацию о текущих ставках в рекламных аукционах. Это дает возможность косвенно анализировать рекламную активность конкурентов, видя, какие ставки они готовы платить за показы.
- Общедоступная информация о товаре. Через API можно запросить ту же информацию, которая видна любому пользователю на сайте: название, описание, характеристики, текущую цену. Однако это неэффективно, так как требует знания идентификатора товара конкурента и не дает никаких эксклюзивных данных.
Что категорически нельзя получить:
- Объем продаж конкурента. Ни один маркетплейс не предоставляет через публичный API метод, который бы по артикулу товара вернул информацию о количестве его продаж за период. Это является строжайшей коммерческой тайной.
- Складские остатки конкурента. Аналогично продажам, точное количество товара на складах другого продавца через API узнать невозможно.
- Финансовые показатели конкурента. Выручка, прибыль, маржинальность и другие финансовые метрики недоступны.
- Внутренняя статистика конкурента. Данные о конверсии карточки, количестве просмотров, CTR (кликабельности) и прочая внутренняя аналитика доступны только владельцу магазина.
Таким образом, официальные API являются мощным инструментом для автоматизации собственного бизнеса, но практически бесполезны для прямого анализа ключевых показателей конкурентов. Они не являются альтернативой парсингу, а скорее, служат катализатором его развития, создавая информационный голод, который продавцы вынуждены утолять с помощью других, более изощренных технологий.
Глава 4: Техническое погружение: Веб-скрейпинг (парсинг) для сбора данных
Поскольку официальные API не дают ответа на главный вопрос — «как продают мои конкуренты?», — продавцы и разработчики обращаются к другому, гораздо более мощному методу сбора данных: веб-скрейпингу, или парсингу. Парсинг — это процесс автоматического извлечения данных непосредственно с веб-страниц. Программа-парсер (или скрейпер) имитирует поведение пользователя: заходит на страницу товара, «читает» ее HTML-код и вытаскивает из него нужную информацию — цену, название, количество отзывов, а иногда и складские остатки.
Этот метод позволяет получить практически любые данные, которые видны обычному посетителю сайта. Однако его использование сопряжено с целым рядом технических, правовых и этических сложностей. Маркетплейсы активно защищаются от парсеров, так как массовые автоматические запросы могут создавать избыточную нагрузку на их серверы и раскрывать данные, которые они предпочитают не афишировать.
Решение о создании собственного парсера — это не просто написание одного скрипта. Это стратегическое решение о вступлении в постоянную технологическую «игру в кошки-мышки» с IT-отделами гигантских корпораций.20 Парсер, который идеально работал сегодня, может перестать функционировать завтра из-за малейшего изменения в верстке сайта или внедрения новой системы защиты. Поэтому владелец бизнеса, выбирающий этот путь, должен быть готов выделять ресурсы на постоянную поддержку и адаптацию своего инструмента. Для 95% продавцов аутсорсинг этой «головной боли» через покупку подписки на готовый сервис является более рациональным решением. Тем не менее, понимание принципов работы парсинга необходимо каждому, кто хочет глубоко разбираться в источниках данных для аналитики.
4.1. Правовые и этические границы: можно ли парсить?
Прежде чем писать первую строчку кода, необходимо разобраться в юридической стороне вопроса.
Российское законодательство
В целом, парсинг общедоступной информации в России законен.21 Если данные находятся в открытом доступе на сайте и их может увидеть любой пользователь без регистрации и пароля, то их автоматизированный сбор не является нарушением. Однако существует несколько критически важных «красных линий», пересекать которые нельзя:
- Создание DDoS-атаки. Если парсер отправляет слишком много запросов за короткий промежуток времени, это может привести к перегрузке и неработоспособности сайта. Такие действия могут быть квалифицированы как разновидность DDoS-атаки, за которую предусмотрена уголовная ответственность.21
- Нарушение авторских прав. Нельзя парсить контент (фотографии, описания, статьи) для его прямого копирования и использования на своем ресурсе (плагиат). Это прямое нарушение авторских прав.21
- Сбор персональных данных. Категорически запрещено парсить и использовать персональные данные пользователей (например, ФИО и телефоны из отзывов, если они там есть).
- Неправомерный доступ к информации. Запрещено пытаться получить доступ к данным, защищенным логином и паролем, или к информации, составляющей коммерческую тайну, путем обхода систем защиты.22
Договоры-оферты маркетплейсов
Помимо общего законодательства, существуют правила, установленные самими площадками. В своих договорах-офертах (пользовательских соглашениях) маркетплейсы практически всегда прописывают пункты, запрещающие или ограничивающие использование автоматизированных систем для сбора данных. Принимая оферту (например, регистрируясь на сайте), пользователь юридически соглашается с этими правилами.
Нарушение этих пунктов, как правило, не влечет за собой судебных исков (если не были пересечены «красные линии» из законодательства), но может привести к блокировке IP-адреса парсера или, в теории, даже аккаунта пользователя.
Маркетплейс Ссылка на документ/Раздел Краткое содержание пункта Интерпретация и оценка риска Wildberries Оферта для продавцов (размещается на портале seller.wildberries.ru) 23 Обычно содержит общие формулировки о запрете действий, которые могут нарушить нормальное функционирование сайта, включая использование автоматизированных скриптов. Wildberries оставляет за собой право в одностороннем порядке менять условия оферты.24 Риск: Высокий. Wildberries известен своей жесткой политикой и активной борьбой с парсерами. Основной риск — блокировка IP-адресов. Риск блокировки аккаунта продавца минимален, если не удается доказать прямую связь. Ozon Договор для продавцов на Ozon (размещается на портале seller.ozon.ru) 26 Аналогично Wildberries, оферта содержит пункты, запрещающие использование программных средств, которые могут повлиять на работоспособность инфраструктуры Ozon. Риск: Средний. Ozon также применяет анти-бот системы, но исторически считается чуть менее агрессивным в этом вопросе по сравнению с Wildberries. Основной риск — блокировка IP и необходимость решения CAPTCHA. Яндекс.Маркет Условия использования сервиса Яндекс.Маркет, Правила размещения 28 Правила Яндекса традиционно содержат строгие ограничения на автоматизированный доступ к своим сервисам без официального разрешения (API). Риск: Высокий. Яндекс обладает одними из самых продвинутых технологий для обнаружения и блокировки ботов. Парсинг Яндекса требует наиболее изощренных методов маскировки.
Вывод: Парсинг находится в «серой» юридической зоне. Пока вы собираете общедоступные данные, не создаете чрезмерной нагрузки и не воруете контент, риск серьезных юридических последствий минимален. Основной риск носит технический характер — быть заблокированным и потерять источник данных.
4.2. Инструментарий парсера: Python, Requests и BeautifulSoup
Для задач веб-скрейпинга язык программирования Python стал стандартом де-факто благодаря своей простоте и огромному количеству готовых библиотек. Двумя основными инструментами для простого парсинга являются:
- Requests: Библиотека для отправки HTTP-запросов. Она позволяет программе «запросить» у сервера веб-страницу точно так же, как это делает браузер, и получить в ответ ее HTML-код.
- BeautifulSoup: Библиотека для разбора HTML-кода. Она превращает полученную текстовую «кашу» из HTML-тегов в удобный объект, по которому можно легко навигировать и извлекать нужные данные (например, «найди мне текст внутри тегас классом product-title»).
Пример кода 1: Парсинг статической страницы товара на Ozon
Предположим, наша задача — получить название и цену товара со страницы Ozon.
# Импортируем необходимые библиотеки
import requests
from bs4 import BeautifulSoup
import fake_useragent # Библиотека для генерации случайных User-Agent
# URL страницы товара, который мы хотим спарсить
url = 'https://www.ozon.ru/product/smartfon-apple-iphone-15-pro-max-256-gb-naturalnyy-titan-1189332200/'
# Создаем объект User-Agent для маскировки под реальный браузер
user = fake_useragent.UserAgent().random
# Заголовки запроса. User-Agent - самый важный из них.
headers = {
'User-Agent': user
}
try:
# Отправляем GET-запрос на указанный URL с нашими заголовками
response = requests.get(url, headers=headers)
# Проверяем, успешен ли запрос (код ответа 200)
response.raise_for_status()
# Создаем объект BeautifulSoup для парсинга HTML-кода страницы
soup = BeautifulSoup(response.text, 'lxml')
# Находим название товара. Селектор нужно подбирать, изучая код страницы в браузере.
# В данном случае, название находится в теге