1347 подписчиков

Как получать данные с веб-сайта с помощью Google Таблиц

25 октября 202325 окт 2023

581

6 мин

Оглавление

Функция IMPORTXML в Google Таблицах
Вот базовый синтаксис IMPORTXML:
Понимание XPath

Знаете ли вы, что можно получать данные с веб-сайта с помощью Google таблиц? Вот как вы можете это сделать.

Веб-скрейпинг - это мощный метод извлечения информации с веб-сайтов и их автоматического анализа. Хотя вы можете сделать это вручную, это может оказаться утомительной и отнимающей много времени задачей. Инструменты веб-скрейпинга делают процесс быстрее и эффективнее, при этом обходясь дешевле.

Интересно, что Google Sheets потенциально может стать вашим универсальным средством получения веб-данных благодаря своей функции IMPORTXML. С помощью IMPORTXML вы можете легко получать данные с веб-страниц и использовать их для анализа, составления отчетов или любых других задач, основанных на данных.

Функция IMPORTXML в Google Таблицах

Google Sheets предоставляет встроенную функцию IMPORTXML, которая позволяет импортировать данные из веб-форматов, таких как XML, HTML, RSS и CSV. Эта функция может изменить правила игры, если вы хотите собирать данные с веб-сайтов, не прибегая к сложному кодированию.

Вот базовый синтаксис IMPORTXML:

=IMPORTXML(url, xpath_query)

url: URL веб-страницы, с которой вы хотите удалить данные.
xpath_query: запрос XPath, который определяет данные, которые вы хотите извлечь.

XPath (язык XML Path Language) - это язык, используемый для навигации по XML-документам, включая HTML, позволяющий указывать расположение данных в структуре HTML. Понимание запросов XPath важно для правильного использования IMPORTXML.

Понимание XPath

XPath предоставляет различные функции и выражения для навигации и фильтрации данных в HTML-документе. Подробное руководство по XML и XPath выходит за рамки этой статьи, поэтому мы остановимся на некоторых основных концепциях XPath:

Выбор элемента: Вы можете выбирать элементы, используя / и // для обозначения путей. Например, /html/body/div выбирает все элементы div в теле документа.
Выбор атрибута: для выбора атрибутов вы можете использовать @. Например, //@href выбирает все атрибуты href на странице.
Фильтры по предикатам: Вы можете фильтровать элементы, используя предикаты, заключенные в квадратные скобки ([ ]). Например, /div[@class="container"] выбирает все элементы div с помощью класса container.
Функции: XPath предоставляет различные функции, такие как contains(), starts-with() и text() для выполнения определенных действий, таких как проверка текстового содержимого или значений атрибутов.

Как извлечь XPath с веб-сайта

Пока что вы знаете синтаксис IMPORTXML, знаете URL веб-сайта и знаете, какой элемент хотите извлечь. Но как вы получите XPath элемента?

Вам не обязательно знать структуру веб-сайта наизусть, чтобы извлечь его данные с помощью IMPORTXML. Фактически, в каждом браузере есть отличный инструмент, который позволяет мгновенно скопировать XPath любого элемента.

Инструмент проверки элементов позволяет извлекать XPath из элементов веб-сайта. Вот как:

Перейдите на веб-страницу, которую вы хотите очистить, используя предпочитаемый вами веб-браузер.
Найдите элемент, который вы хотите получить.
Щелкните правой кнопкой мыши на элементе.
Выберите Проверить элемент в контекстном меню. Ваш браузер откроет панель, которая отображает HTML-код веб-страницы. Соответствующий HTML-элемент будет выделен в коде.
На панели "Проверить элемент" щелкните правой кнопкой мыши по выделенному элементу в HTML-коде.
Нажмите Копировать XPath, чтобы скопировать XPath-адрес элемента в буфер обмена.

Теперь, когда у вас есть все, что вам нужно, пришло время посмотреть IMPORTXML в действии и получить некоторые данные.

Как получить ссылки с веб-сайта с помощью IMPORTXML

Вы можете использовать IMPORTXML для получения всех видов данных с веб-сайтов. Это включает ссылки, видео, изображения и практически любой элемент веб-сайта. Ссылки - один из наиболее важных элементов веб-анализа, и вы можете многое узнать о веб-сайте, просто проанализировав страницы, на которые он ссылается.

IMPORTXML позволяет быстро получать ссылки из Google Sheets, а затем дополнительно анализировать их с помощью различных функций, предлагаемых Google Sheets.

1. Получение всех ссылок

Чтобы получить все ссылки с веб-страницы, вы можете использовать следующую формулу:

=IMPORTXML(url, "//a/@href")

Этот запрос XPath выбирает все атрибуты href элементов a, эффективно извлекая все ссылки на странице.

=IMPORTXML("https://en.wikipedia.org/wiki/Nine_Inch_Nails", "//a/@href")

Приведенная выше команда получает все ссылки в статье Википедии.

Рекомендуется ввести URL веб-страницы в отдельную ячейку, а затем обратиться к этой ячейке. Это предотвратит слишком длинную и громоздкую команду. Вы можете сделать то же самое с запросом XPath.

2. Получение всех текстов ссылок

Чтобы извлечь текст ссылок вместе с их URL-адресами, вы можете использовать:

=IMPORTXML(url, "//a")

В этом запросе выбираются все элементы, и вы можете извлечь текст ссылки и URL-адреса из результатов.

=IMPORTXML("https://en.wikipedia.org/wiki/Nine_Inch_Nails", "//a")

Приведенная выше команда позволяет получить тексты ссылок в той же статье Википедии.

Как получить определенные ссылки с веб-сайта с помощью IMPORTXML

Иногда вам может потребоваться получить определенные ссылки на основе критериев. Например, вас может заинтересовать извлечение ссылок, содержащих определенное ключевое слово, или ссылок, расположенных в определенном разделе страницы.

При должном знании XPath вы можете точно определить любой элемент, который ищете.

Получение ссылок, содержащих ключевое слово

Чтобы получить ссылки, содержащие определенное ключевое слово, вы можете использовать функцию contains() XPath:

=IMPORTXML(url, "//a[contains(@href, 'keyword')]/@href")

Этот запрос выбирает атрибуты href элементов, где href содержит указанное ключевое слово.

=IMPORTXML("https://en.wikipedia.org/wiki/Nine_Inch_Nails", "//a[contains(@href, 'record')]/@href")

Приведенная выше команда получает все ссылки, которые содержат слово record в своем тексте в примере статьи Википедии.

Получение ссылок внутри раздела

Чтобыполучить ссылки из определенного раздела страницы, вы можете указать XPath этого раздела. Например:

=IMPORTXML(url, "//div[@class='section']//a/@href")

Этот запрос выбирает атрибуты href элементов внутри элементов div с классом "section".

Аналогичным образом, приведенная ниже команда выбирает все ссылки в классе div, которые имеют класс mw-content-container:

=IMPORTXML("https://en.wikipedia.org/wiki/Nine_Inch_Nails", "//div[@class='mw-content-container']//a/@href")

Хотя Google Sheets и Excel используют большинство своих функций совместно, семейство функций ИМПОРТА уникально для Google Sheets. Вам нужно будет рассмотреть другие методы импорта данных с веб-сайтов в Excel.

Упростите получения данных веб-сайта с помощью Google Таблиц

Получения данных веб-сайта с помощью Google Sheets и функции IMPORTXML - это универсальный и доступный способ сбора данных с веб-сайтов.

Освоив XPath и поняв, как создавать эффективные запросы, вы сможете раскрыть весь потенциал IMPORTXML и получать ценную информацию из веб-ресурсов. Итак, начните использовать веб-скрейпинг и выведите свой веб-анализ на новый уровень!