1533 читали · 5 лет назад
Библиотека requests в Python. Обработка ошибок, подготовка к парсингу
Всем привет на моем канале Old Programmer . Тематическое оглавление его найдете здесь. А здесь все мои материалы о языке программирования Python. См. мой новый канал Продолжаем работать с библиотекой requests. Сегодня рассмотрим обработку ошибок, ну подготовку к самому главному - парсингу...
814 читали · 5 лет назад
Авторизация на сайте с python-reuests.
Всем привет, сегодня мы обучимся основам программирования requests модуля. Модуль requests- в основном им пользуются для парсинга сайтов(Более продвинутые пользуются с BeautifulSoup+requests) Итак мы сегодня попробуем авторизоваться на vktarget.ru , методом post() у requests :(это не реклама сайта!) Начали! Сначала установим модуль: pip install requests Теперь приступим к написанию кода: Создаём новый питон файл и импортируем requests: import requests Создаём сессию: session = requests.Session()...
156 читали · 3 года назад
Библиотека Requests: эффективные и простые HTTP-запросы в Python
1. Основные возможности библиотеки Requests Модуль разработан с учетом потребностей современных web-разработчиков и актуальных технологий. Многие операции автоматизированы, а ручные настройки сведены к минимуму. Для понимания инструментария библиотеки перечислим ее основные возможности: – поддержка постоянного HTTP-соединения и его повторное использование; – применение международных и национальных доменов; – использование Cookie: передача и получение значений в формате ключ: значение; – автоматическое...
2 месяца назад
Парсинг сайтов на Python
bash pip install requests beautifulsoup4 selenium scrapy lxml python import requests from bs4 import BeautifulSoup import time # Базовый парсинг с заголовками headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36' } try: response = requests.get('https://example.com', headers=headers, timeout=10) response.raise_for_status() # Проверка на ошибки soup = BeautifulSoup(response.text, 'html.parser') # Поиск элементов titles = soup.find_all('h1') links = soup.find_all('a', class_='some-class') text = soup.find('div', id='content')...