В этой статье создадим веб-парсер на Python, который будет парсить страницы Википедии. Парсер перейдет на страницу Википедии, считает заголовок и перейдет по случайной ссылке на следующую страницу Википедии...

Статья подготовлена для студентов курса «Разработчик Python» в образовательном проекте OTUS. Рано или поздно любой Python-программист сталкивается с задачей скопировать какой-нибудь материал с сайта. Так как страниц на нём достаточно много, терять время на ручное копирование — не самый лучший выход. К тому же, языки программирования затем и нужны, чтобы избавлять нас от рутинной работы, автоматизируя решение различных задач. Если же говорить о работе с HTML, то в Python есть отличные библиотеки для этого...

Задача данного пресета — показать производительность A-Parser и собрать максимально тематические дроп-домены в любой нише. Где же искать дропы, чтобы максимально попадать в тематику? Наша гипотеза такова: нужно пропарсить бэклинки с сайтов-участников бирж ссылок. Заходим на Миралинкс, выбираем нужную нам тематику (в нашем случае — “SEO и маркетинг”), задаем нужные параметры по фильтрам (обязательно выбираем, чтобы площадка не принимала нетематику). В результате получилось 107 сайтов, а без учета скрытых — 102...