Здравствуй 😊. Постараюсь без лишних строчек и акцентируя внимание на нюансах. Опишу два способа, которыми я пользуюсь. На их основе можно делать в скрапинге сайтов всё что угодно для рядового пользователя. Первым буду описывать BeautifulSoup , второй - Selenium. Формат описания способов парсинга в этой статье следующий: BeautifulSoup. Это модуль из каталога пакетов Python Package Index, ссылка на каталог ---> pypi.org. Как устанавливать пакеты(модули) в Python ---> тут. BeautifulSoup - это парсер для синтаксического разбора файлов HTML/XML...

Источник: Nuances of Programming Данные есть везде, на каждом посещенном вами сайте. Чаще всего они уже представлены в читаемом текстовом формате, пригодном для использования в новом проекте, однако, несмотря на то, что нужный текст всегда можно скопировать и вставить прямо со страницы сайта, когда речь заходит о больших данных  —  о тексте с десятка тысяч веб-сайтов  —  скрейпинг приходит на помощь. Обучаться веб-скрейпингу (web-scraping) поначалу сложно, однако если вы начнете своё знакомство с большими данными, используя правильные инструменты, то предстоящий вам путь существенно облегчится...