{"draftJsState":{"blocks":[{"data":{"image":{"id":"6161f10963541b56f6779bd1"}},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"","type":"atomic:image","key":"507c0"},{"data":{},"depth":0,"entityRanges":[{"key":0,"length":22,"offset":10}],"inlineStyleRanges":[],"text":"Источник: Nuances of Programming","type":"unstyled","key":"3k7hp"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":17,"offset":0,"style":"BOLD"}],"text":"Данные есть везде, на каждом посещенном вами сайте. Чаще всего они уже представлены в читаемом текстовом формате, пригодном для использования в новом проекте, однако, несмотря на то, что нужный текст всегда можно скопировать и вставить прямо со страницы сайта, когда речь заходит о больших данных — о тексте с десятка тысяч веб-сайтов — скрейпинг приходит на помощь.","type":"unstyled","key":"2n7k4"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Обучаться веб-скрейпингу (web-scraping) поначалу сложно, однако если вы начнете своё знакомство с большими данными, используя правильные инструменты, то предстоящий вам путь существенно облегчится.","type":"unstyled","key":"8n7rk"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":14,"offset":158,"style":"BOLD"}],"text":"В пошаговом руководстве вы узнаете, как сделать скрейпинг нескольких страниц веб-сайта с помощью самой простой и популярной библиотеки Python для скрейпинга: Beautiful Soup.","type":"unstyled","key":"7hmlg"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Руководство состоит из двух разделов. В первом разделе речь пойдет о том, как осуществить скрейпинг одной страницы, а во втором — о том, как скрейпить сразу нескольких страниц с помощью примера кода, из первого раздела.","type":"unstyled","key":"36prj"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Список рассматриваемых в руководстве тем:","type":"unstyled","key":"fip0r"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Что нужно для начала веб-скрейпинга?","type":"unordered-list-item","key":"7t2b"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":1,"offset":62,"style":"BOLD"}],"text":"Установка, запуск и настройка Python-библиотеки Beautiful Soup.","type":"unordered-list-item","key":"f2hdg"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":1,"offset":220,"style":"BOLD"}],"text":"Раздел 1: cкрапинг одной страницы:\n — Импорт библиотек.\n — Получение HTML-содержимого веб-сайта.\n — Анализ веб-сайта и его HTML-разметки.\n — Одновременное нахождение нескольких HTML-элементов с помощью Beautiful Soup.\n — Экспорт данных в txt-файл.","type":"unordered-list-item","key":"6iuen"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":1,"offset":128,"style":"BOLD"}],"text":"Раздел 2: cкрапинг нескольких страниц:\n — Получение атрибута href.\n — Нахождение нескольких элементов с помощью Beautiful Soup.\n — Переход по каждой из необходимых ссылок.","type":"unordered-list-item","key":"cgnsg"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Что нужно для начала веб-скрейпинга?","type":"header-three","key":"d10m6"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":14,"offset":0,"style":"BOLD"},{"length":49,"offset":420,"style":"BOLD"}],"text":"Beautiful Soup: это пакет Python для анализа веб-сайтов, построенных на технологиях HTML и CSS, то есть, без использования JavaScript-фреймворков вроде React, Angular, VueJS. Beautiful Soup хорошо справляется с разбором HTML и XML документов на части: библиотека создаёт дерево синтаксического анализа веб-страниц для последующего извлечения с них разнообразных данных в удобном для программиста формате. Не волнуйтесь, вам не нужны предыдущие знания о Beautiful Soup, чтобы выполнять указания из руководства — во время чтения вы всему научитесь с нуля!","type":"ordered-list-item","key":"75nve"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":8,"offset":11,"style":"BOLD"}],"text":"Библиотека requests: это стандарт индустрии для выполнения HTTP-запросов на языке программирования Python. Данная библиотека используется в дополнение к Beautiful Soup, когда нужно получить HTML-файл с веб-сайта.","type":"ordered-list-item","key":"eiil0"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":6,"offset":0,"style":"BOLD"},{"length":36,"offset":37,"style":"BOLD"},{"length":31,"offset":117,"style":"BOLD"}],"text":"Python: чтобы следовать руководству, вам не нужно быть экспертом в Python, однако, по крайней мере, вы должны знать, как работают циклы for и списки.","type":"ordered-list-item","key":"bn2am"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":8,"offset":73,"style":"BOLD"}],"text":"Перед началом руководства, убедитесь, что на вашем компьютере установлен Python 3 версии.","type":"unstyled","key":"ejicv"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":23,"offset":65,"style":"BOLD"}],"text":"Давайте начнем ознакомление с пособием для новичков по настройке Beautiful Soup в Python!","type":"unstyled","key":"bg6id"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Установка, запуск и настройка Python-библиотеки Beautiful Soup","type":"header-three","key":"9tc27"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Начнём с установки Beautiful Soup на ваш компьютер. Для этого выполните следующую команду в командной строке или терминале:","type":"unordered-list-item","key":"dhucf"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"pip install bs4","type":"unstyled","key":"8mktd"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Теперь установите парсер: он понадобится для извлечения данных из HTML-документов. В руководстве предлагается использовать библиотеку-парсер lxml, следовательно, выполните установочную команду:","type":"unordered-list-item","key":"7r38a"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"pip install lxml","type":"unstyled","key":"5a6mn"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Пришло время устанавливать библиотеку requests. Для этого выполните следующую команду в командной строке или терминале:","type":"unordered-list-item","key":"4p948"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"pip install requests","type":"unstyled","key":"7esqo"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Наконец-то настройка окружения завершена — можно приступать к программированию!","type":"unstyled","key":"3d00k"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Раздел 1: Скрейпинг одной страницы","type":"header-three","key":"4scfg"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Руководство бережно проведёт вас через каждую строчку кода, необходимого для создания вашего первого скрейпера веб-сайтов. Полный код вы найдете в самом конце статьи. Давайте начнем!","type":"unstyled","key":"7rk9g"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Импорт библиотек","type":"header-three","key":"b3vpl"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Для скрейпинга нам пригодятся библиотеки BeautifulSoup и request, поэтому импортируем их в программу с помощью двух строчек кода:","type":"unstyled","key":"erigc"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"from bs4 import BeautifulSoup\nimport requests","type":"unstyled","key":"2thec"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Получение HTML-содержимого веб-сайта","type":"header-three","key":"anbt6"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Теперь, в образовательных целях, давайте получим все данные сайта, содержащего сотни страниц информации о фильмах; начнём со скрейпинга первой страницы, а затем уже разберёмся со скрейпингом множества страниц одновременно.","type":"unstyled","key":"ekoha"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"В самом начале нам стоит выбрать ссылку на веб-сайт, для примера возьмём страницу диалогов фильма “Титаник”, но вы можете выбрать любой фильм; затем нужно сформировать и отправить HTTP-запрос на сайт, чтобы получить ответ, в котором и содержится нужное описание фильма. Получив ответ на запрос, сохраняем его в переменной с идентификатором result, чтобы использовать метод .text для получения содержимого страницы сайта:","type":"unstyled","key":"22nco"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"website = 'https://subslikescript.com/movie/Titanic-120338'\nresult = requests.get(website)\ncontent = result.text","type":"unstyled","key":"a2ihg"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Наконец, воспользуемся парсером lxml для получения “супа” — объекта, содержащего все данные во вложенной структуре, которая понадобится нам в работе позднее:","type":"unstyled","key":"fpp9g"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"soup = BeautifulSoup(content, 'lxml')\nprint(soup.prettify())","type":"unstyled","key":"4q746"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Теперь, когда у нас уже есть объект soup, доступ к HTML в читабельном формате легко получается с помощью функции .prettify(). Несмотря на то, что HTML в текстовом редакторе также пригоден для ручного поиска конкретных его элементов, гораздо лучше сразу перейти к HTML-коду необходимого нам элемента страницы: в следующем шаге мы как раз это сделаем.","type":"unstyled","key":"3n2i3"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Анализ веб-сайта и его HTML-разметки","type":"header-three","key":"9vqrf"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Важным шагом перед тем, как перейти к написанию кода, является анализ веб-сайта, скрейпинг которого производится, и полученного HTML-кода, ради нахождения самого лучшего подхода к решению задачи. Ниже приведен скриншот страницы описания фильма, по которому видно, что элементами, текст которых нужно получить, являются название фильма и реплики из него:","type":"unstyled","key":"5kgmr"},{"data":{"image":{"id":"6161f0e9f6ca423b2551ad29"}},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Movie Title — название фильма, Transcript — это диалоги из фильма","type":"atomic:image","key":"d61q2"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Теперь необходимо разобраться, как получить HTML только этих двух нужных нам элементов; выполните следующие действия:","type":"unstyled","key":"1hqkl"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Перейдите на веб-страницу с диалогами из выбранного вами фильма.","type":"ordered-list-item","key":"6gn43"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Наведите курсор на название фильма или его диалоги, а затем щелкните правой кнопкой мыши: появится меню, в котором выберите пункт “Исследовать”, чтобы открыть исходный код страницы сразу на нужном месте.","type":"ordered-list-item","key":"1ucke"},{"data":{"image":{"id":"6161f0e97bb9ec38f64293e5"}},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"","type":"atomic:image","key":"3h2ds"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Ниже приведена уменьшенная версия HTML-кода, полученного после нажатия на пункт меню “Исследовать”. В дальнейшем в качестве справочника используется именно эта HTML-разметка, полезная при определении местоположения элементов в следующем шаге руководства.","type":"unstyled","key":"6vg6o"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"

Титаник(1997)

84 года спустя...

\n \"13 метров. Можешь сам посмотреть. \" \n
\n \"Хорошо, поднимите её и перекиньте через носовой поручень. \"\n
\n ...\n

","type":"unstyled","key":"d3q6b"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Поиск HTML-элемента с помощью Beautiful Soup","type":"header-three","key":"34ja7"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Найти конкретный HTML-элемент в объекте, полученном с помощью Beautiful Soup — проще простого: нужно всего-то применить метод .find() к созданному ранее объекту из переменной soup.","type":"unstyled","key":"8ei98"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"В качестве примера давайте найдем блок, содержащий название фильма, описание и диалоги; нужный блок находится внутри тега article и обозначен классом main-article. Доступ к данному блоку осуществляется с помощью одной-единственной строчки кода:","type":"unstyled","key":"8g4gi"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"box = soup.find('article', class_='main-article')","type":"unstyled","key":"3sl62"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Теперь давайте найдем название фильма и список реплик. Название фильма находится внутри тега h1 и не обозначено никаким классом, что никак не помешает нам его найти; после нахождения нужного элемента, было бы неплохо получить из него текст, используя метод .get_text():","type":"unstyled","key":"bqdg6"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"title = box.find('h1').get_text()","type":"unstyled","key":"7evqd"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Список реплик из фильма расположен внутри тега div и обозначен классом full-script. В таком случае, чтобы получить текст, нужно изменить параметры по умолчанию в методе .get_text(). Во-первых, устанавливаем настройку strip=True, чтобы удалить все лишние пробелы. Затем добавим пробел в качестве разделителя separator=\"\", чтобы пробел ставился после каждой новой строки, то есть, после каждого нового символа перехода на новую строку \\n:","type":"unstyled","key":"ahovb"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"transcript = box.find('div', class_='full-script')\ntranscript = transcript.get_text(strip=True, separator=' ')","type":"unstyled","key":"el3cj"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"На данный момент скрейпинг данных с одной страницы успешно завершён. Выведите в консоль или терминал значения переменных title и transcript, чтобы убедиться в корректности собственного кода на Python.","type":"unstyled","key":"bfnfv"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Экспорт данных в txt-файл","type":"header-three","key":"d8rlb"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Скорее всего, ради возможности дальнейшего использования только что полученных в результате успешного скрейпинга данных, вы захотите куда-то их сохранить: например, экспортировать данные в формат .csv, .json или какой-либо другой; в данном примере извлеченные данные сохраняются в файле формата .txt:","type":"unstyled","key":"1ugvq"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"При экспорте данных пригодится ключевое слово with, как показано в приведенном ниже коде:","type":"unstyled","key":"78j13"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"with open(f'{title}.txt', 'w') as file:\n file.write(transcript)","type":"unstyled","key":"9tob7"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Имейте в виду, что в примере при установке названия фильма в качестве имени файла используется f-string, известная как “форматируемая строка”.","type":"unstyled","key":"9huno"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"После выполнения кода в вашем рабочем каталоге должен появиться файл в формате .txt.","type":"unstyled","key":"8g2fo"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Теперь, когда вы успешно выполнили скрейпинг данных с одной страницы, вы готовы приступать к скрейпингу сразу нескольких страниц!","type":"unstyled","key":"2up3r"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Раздел 2: Скрейпинг нескольких страниц","type":"header-three","key":"b5ot0"},{"data":{},"depth":0,"entityRanges":[{"key":1,"length":17,"offset":42}],"inlineStyleRanges":[],"text":"Ниже представлен скриншот первой страницы сайта с диалогами из фильмов: сайт предоставляет аж 1 234 такие страницы, на каждой из которых размещено около 30-ти фильмов:","type":"unstyled","key":"d5afs"},{"data":{"image":{"id":"6161f0e9e2620c7711cda529"}},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Pages — список страниц сайта, List of Movie Transctipts — список фильмов","type":"atomic:image","key":"efbh3"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Во второй части руководства вы узнаете, как скрейпить несколько ссылок, получая атрибут href для каждой из них. Во-первых, понадобится изменить веб-сайт для скрейпинга с используемого в первом примере на приведённый выше.","type":"unstyled","key":"cqsdd"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Новая переменная с идентификатором website, содержащая ссылку на веб-сайт, оформляется следующим образом:","type":"unstyled","key":"el1t1"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"root = 'https://subslikescript.com'\nwebsite = f'{root}/movies'","type":"unstyled","key":"aar6l"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Вы можете заметить в коде примера ещё одну новую переменную с идентификатором root — она пригодится позже.","type":"unstyled","key":"dc3ff"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Получение атрибута href","type":"header-three","key":"4jlt4"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Сейчас вы узнаете, как получить атрибут href сразу для всех 30-ти фильмов, перечисленных на одной странице: для начала выберите любое название фильма из блока “список фильмов” на скриншоте выше.","type":"unstyled","key":"6h0e5"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Теперь необходимо получить HTML-разметку страницы. Каждый из HTML-тегов относится к определенному названию фильма, причем ссылочный тег выбранного вами фильма должен быть выделен синим цветом, как показано на скриншоте:","type":"unstyled","key":"fkol5"},{"data":{"image":{"id":"6161f0e9dc12c07ff8050a76"}},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"","type":"atomic:image","key":"5ri3d"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"На скриншоте видно, что ссылки внутри href не содержат корня ссылки на веб-сайт subslikescript.com: именно поэтому для составления полного веб-адреса пригодится ранее созданная переменная root, содержащая как раз корень для ссылок.","type":"unstyled","key":"c3gfs"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Теперь давайте найдем все ссылочные теги на странице со списком фильмов.","type":"unstyled","key":"ff4qq"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":15,"offset":61,"style":"BOLD"}],"text":"Одновременное нахождение нескольких HTML-элементов с помощью Beautiful Soup.","type":"header-three","key":"bogfn"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Для нахождения нескольких элементов в Beautiful Soup пригодится специальный метод .find_all() с параметром-настройкой href=True: данный метод позволяет удобно и быстро извлекать ссылки, соответствующие каждой из страниц с диалогами:","type":"unstyled","key":"4bpfo"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"box.find_all('a', href=True)","type":"unstyled","key":"frk04"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Извлечь ссылки из href можно с помощью добавления указания на атрибут [‘href’] к выражению выше; однако метод .find_all() возвращает список, а не строки, поэтому придется получать атрибут href по одному внутри обходного цикла:","type":"unstyled","key":"2i33b"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"for link in box.find_all('a', href=True):\n link['href']","type":"unstyled","key":"755h7"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Теперь было бы неплохо создать свой список из ссылок в нужном формате, в чём нам поможет списковое включение, также известное как генератор списка:","type":"unstyled","key":"9cdb3"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"links = [link['href'] for link in box.find_all('a', href=True)]\nprint(links)","type":"unstyled","key":"e8g6i"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"При выводе списка ссылок на экран с помощью функции print(), вы увидите все те ссылки, веб-страницы которых планируется скрейпить. В следующем шаге руководства мы как раз реализуем скрейпинг каждой из них.","type":"unstyled","key":"78ogi"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Переход по каждой из необходимых ссылок","type":"header-three","key":"9q2fk"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Для получения диалогов фильмов по каждой из полученных на предыдущем этапе ссылок, выполним те же шаги, что и для одной ссылки ранее, но на этот раз воспользуемся циклом for, повторив таким образом все действия по нескольку раз:","type":"unstyled","key":"37afb"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"for link in links:\n result = requests.get(f'{root}/{link}')\n content = result.text\n soup = BeautifulSoup(content, 'lxml')","type":"unstyled","key":"9lfac"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Как вы помните, сохранённые ранее ссылки не содержат корня веб-сайта subslikescript.com, поэтому следующим шагом будет форматирование ссылок выражением f’{root}/{link}’ для добавления пресловутого корня. Остальной же код программы-скрейпера остаётся таким же, как в первой части руководства.","type":"unstyled","key":"2u2br"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Полный код для проекта выглядит следующим образом:","type":"unstyled","key":"b61k"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"from bs4 import BeautifulSoup\nimport requests\n\nroot = 'https://subslikescript.com'\nwebsite = f'{root}/movies'\nresult = requests.get(website)\ncontent = result.text\nsoup = BeautifulSoup(content, 'lxml')\n\nbox = soup.find('article', class_='main-article')\n\nlinks = [link['href'] for link in box.find_all('a', href=True)]\n# print(links) # ссылки без корней веб-сайта\n\nfor link in links:\n result = requests.get(f'{root}/{link}')\n content = result.text\n soup = BeautifulSoup(content, 'lxml')\n\n box = soup.find('article', class_='main-article')\n title = box.find('h1').get_text()\n transcript = box.find('div', class_='full-script').get_text(strip=True, separator=' ')\n\n with open(f'{title}.txt', 'w') as file:\n file.write(transcript)","type":"unstyled","key":"2if8q"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Для перемещения по страницам сайта у вас есть два варианта действий:","type":"unstyled","key":"2ghfq"},{"data":{},"depth":0,"entityRanges":[{"key":2,"length":5,"offset":67}],"inlineStyleRanges":[],"text":"Вариант 1: \nПросмотрите детали о любой из страниц, отображаемых на сайте (например, 1,2,3, …1234) с целью получения тега , содержащего атрибут href со ссылками на каждую страниц описания фильмов. Получив ссылки, объедините их с корнем и выполните действия, описанные в разделе 2.","type":"unordered-list-item","key":"f8ijb"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Вариант 2: \nПерейдите на страницу под номером 2 и скопируйте полученную ссылку. Она должна выглядеть так: subslikescript.com/movies?page=2. Как вы заметили, для каждой страницы сайт генерирует ссылку, следуя одному шаблону: f’{website}?page={i}’. Вы можете повторно использовать переменную website и выполнить цикл по диапазону чисел между единицей и десяткой, если хотите перейти по первым десяти ссылкам.","type":"unordered-list-item","key":"1rjod"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Читайте также:","type":"unstyled","key":"5qm91"},{"data":{},"depth":0,"entityRanges":[{"key":3,"length":44,"offset":0}],"inlineStyleRanges":[],"text":"15 Python пакетов, которые нужно попробовать","type":"unordered-list-item","key":"vf24"},{"data":{},"depth":0,"entityRanges":[{"key":4,"length":64,"offset":0}],"inlineStyleRanges":[],"text":"7 Способов вывести свои новые навыки Python на следующий уровень","type":"unordered-list-item","key":"7kauu"},{"data":{},"depth":0,"entityRanges":[{"key":5,"length":51,"offset":0}],"inlineStyleRanges":[],"text":"Как я создал веб-скрапер на Python для поиска жилья","type":"unordered-list-item","key":"b0b67"},{"data":{},"depth":0,"entityRanges":[{"key":6,"length":8,"offset":14},{"key":7,"length":2,"offset":24}],"inlineStyleRanges":[],"text":"Читайте нас в Telegram, VK","type":"unstyled","key":"c19fc"},{"data":{},"depth":0,"entityRanges":[{"key":8,"length":13,"offset":15},{"key":9,"length":61,"offset":30}],"inlineStyleRanges":[{"length":7,"offset":0,"style":"ITALIC"},{"length":7,"offset":8,"style":"ITALIC"}],"text":"Перевод статьи Frank Andrade: How To Easily Scrape Multiple Pages of a Website Using Python","type":"unstyled","key":"as1v3"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"","type":"marker","key":"3JfJaSevJryXwcTzVTHR"}],"entityMap":{"0":{"data":{"url":"https://nuancesprog.ru/p/14171/"},"mutability":"MUTABLE","type":"LINK"},"1":{"data":{"href":"http://subslikescript.com/movies","url":"http://subslikescript.com/movies"},"mutability":"MUTABLE","type":"LINK"},"2":{"data":{"href":"http://subslikescript.com/movies","url":"http://subslikescript.com/movies"},"mutability":"MUTABLE","type":"LINK"},"3":{"data":{"href":"https://nuancesprog.ru/p/8407/","url":"https://nuancesprog.ru/p/8407/"},"mutability":"MUTABLE","type":"LINK"},"4":{"data":{"href":"https://nuancesprog.ru/p/10830/","url":"https://nuancesprog.ru/p/10830/"},"mutability":"MUTABLE","type":"LINK"},"5":{"data":{"href":"https://nuancesprog.ru/p/2715/","url":"https://nuancesprog.ru/p/2715/"},"mutability":"MUTABLE","type":"LINK"},"6":{"data":{"href":"https://t.me/nuancesprog","url":"https://t.me/nuancesprog"},"mutability":"MUTABLE","type":"LINK"},"7":{"data":{"href":"https://vk.com/nuancesprog","url":"https://vk.com/nuancesprog"},"mutability":"MUTABLE","type":"LINK"},"8":{"data":{"href":"https://betterprogramming.pub/how-to-easily-scrape-multiple-pages-of-a-website-using-python-73e85bd06f8c#:~:text=websites%20with%20Python-,Frank%20Andrade,-Follow","url":"https://betterprogramming.pub/how-to-easily-scrape-multiple-pages-of-a-website-using-python-73e85bd06f8c#:~:text=websites%20with%20Python-,Frank%20Andrade,-Follow"},"mutability":"MUTABLE","type":"LINK"},"9":{"data":{"href":"https://betterprogramming.pub/how-to-easily-scrape-multiple-pages-of-a-website-using-python-73e85bd06f8c#ef80","url":"https://betterprogramming.pub/how-to-easily-scrape-multiple-pages-of-a-website-using-python-73e85bd06f8c#ef80"},"mutability":"MUTABLE","type":"LINK"}}},"mentions":[]}