1 год назад
​Методы обхода защиты от автоматизированного ПО в браузере Chrome под управлением Selenium в Python При парсинге данных возникают ситуации, когда нужно получить доступ к сайту с помощью драйвера selenium. Так как на странице сайта в коде выполняются скрипты, которые добавляют в код данные, доступ к которым с помощью обычных запросов получить просто не получиться. Но, все может быть немного печальнее. К примеру, страница может находиться за CDN, такой как Cloudflare, с включенной проверкой браузера. В этом случае обычный драйвер selenium доступ к странице не получит, так как будет определено, что используется автоматизированное тестовое ПО. Но, даже в этих случаях выход есть. Давайте посмотрим, как можно обойти данную проверку с помощью отключения определенных опций в браузере, а также рассмотрим уже модифицированную версию драйвера для Chrome, в которой уже из коробки отключены данные опции. Но, обо всем по порядку. 📌 Читать далее #programming #python #parsing
4 года назад
Selenium. Автоматизация действий в браузере.
Всем ку! Сегодня мы познакомимся с такой штукой как Selenium, с помощью этого инструмента автоматизируют действия в веб браузере, используют для тестирования веб приложений, пишут парсеры там где другие либы не справляются. Мы будем использовать библиотеку для python3 и браузер Chromium. Для начала подготовим окружение для работы. Установим сам браузер: Создадим изолированную среду c python3.7 и и пакетом Selenium, другие библиотеки будем устанавливать по ходу надобности. Далее нам нужно установить...
1 месяц назад
Автоматизация веб-браузера с помощью Selenium и Python(Начало)
В современном мире автоматизация становится ключевым элементом эффективной работы в различных областях, включая тестирование веб-приложений, сбор данных и многие другие задачи. Одним из мощных инструментов для автоматизации веб-браузеров является Selenium. В этой статье мы рассмотрим, как с помощью Selenium и Python можно открыть браузер Chrome и перейти на определенную веб-страницу. Что такое Selenium? Selenium — это открытый инструмент для автоматизации действий в веб-браузерах. Selenium предоставляет...
4 года назад
Python: Selenium WebDriver
Всем привет, сегодня я вам расскажу как использовать Selenium в python для парсинга страниц. Selenium WebDriver – это программная библиотека для управления браузерами. WebDriver представляет собой драйверы для различных браузеров и клиентские библиотеки на разных языках программирования, предназначенные для управления этими драйверами. По сути своей программа с использованием Selenium это бот который выполняет всю ручную работу с браузером автоматически. Иногда могут возникать проблемы с работой...