Здравствуйте. Пишу пост для архива, и просто рассказать как я распарсил и скачал фильмы для телефона с сайта
В общем история такова что знакомому надо было забить две флешки по 128 гигабайт фильмами, что-бы в дальнейшем смотреть их на смартфоне через OTG. Был найден сайт, скачан Python и пошло дело
Данным кодом я загружал каждую страницу по отдельности, находил теги <article> - именно они и разделяли каждый фильм
Дальше необходимо было регулярным выражением из второго тега <span> ( в первом теге была дата фильма, а во втором его рейтинг ) взять рейтинг. И если он был больше 7 то ссылка на страницу с фильмом сохранялась в текстовый файл.
Тем самым получаем текстовый файл с ссылками на сайт.
Дальше необходимо было скачать фильмы с этих ссылок и был написал следующий код
Данный код действовал уже по принципу: открывался файл с ссылками, бралась первая строка, открывался браузер Chrome через Selenium, кликалась кнопка Скачать, ожидание скачки и закрытие.
В начале хотел прямые ссылки сохранить и загрузить их в какой либо менеджер закачек но там НО прямые ссылки не работали по причине перенаправления на другой линк. Поэтому сделал селениум так как других способов быстрых не увидел решить эту проблему. После открытия сайта, нажатия кнопки на скачивание запускается цикл while в котором выполняется скрипт который "читает" менеджер загрузок в хроме скриптом. Пока в процессе скачивания - цикл не завершается. Как только скачался то программа выходит из цикла, и закрывается окно браузера для следующего скачивания файлов