Для проекта потребовалось спарсить с сайта coinmarketcap.com информацию о криптовалютах.
Приготовился усердно работать с библиотекой 'BeautifusSoup4' и столкнулся с трудностями в виде постепенной загрузки данных только после прокручивания страницы. Решить задачу можно было бы пакетом 'Selenium', но все оказалось еще проще. Сайт возвращает данные в формате json, которые содержат все необходимое. Но вот найти его не так просто. А просто, когда знаешь где его искать. Я знаю. Сейчас расскажу.
Перейдем на сайт.
Запустим Инструменты разработчика как на фото ниже, или ПКМ (т.е. клик правой клавишей мышки, далее - ПКМ) на любом месте страницы, далее ЛКМ на Исследовать элемент.
Далее. На открывшейся панели находим закладку Network, делам ЛКМ. Слева вдоль закладок видим две иконки: в форме стрелки в квадрате и в виде двух прямоугольников. Если навести мышку на последнюю иконку то появиться ее название - Toggke device toolbar (можно нажать Ctrl+Shift+M). Иконка должна изменить цвет, у меня чуть синяя. Изображение сайта чуть измениться для отображения на сотовом.
Смотрим две строчки ниже закладки Network, находим Fetch/XHR, жмем ЛКМ. Двигаемся ниже.
Видим столбик с заголовком Name. Справа проверьте в столбике активна закладка Response.
Возвращаемся мышкой на активную часть нашего сайта и листаем до списка доступных страниц, жмем ЛКМ любую неактивную (т.е. не выделенную синим цветом), например 2.
Смотрим в столбик с заголовком Name. Появилась запись с названием 'listing&start=...' и т.д. Жмём по ней ЛКМ. В закладе Response справа появилась строчка, она очень длинная.
Копируем ее Ctrl+C.
Открываем любой JSON parser online, вставляем Ctrl+V.
И видим наши данные в виде дерево. Пользуйтесь на здоровье.
Получить данные с сайта подобным образом можно редко. Вы можете обратиться ко мне если нужно спарсить данные с сайта, оплата за результат.
Вот и все
Спасибо за чтение.
Статья была полезна? Лайк и репост будут лучшей благодарностью.
Читайте меня на ВКонтакте.