Кратко
Google Chrome — это не просто браузер для просмотра сайтов и установки расширений. У него есть особый режим, который позволит полностью автоматизировать докучливые задачи и реально сэкономит ваше время.
Что такое headless-режим и почему это гениально?
Обычно браузер открывает перед вами окно с сайтом — это стандартный графический интерфейс (GUI). Но некоторые действия можно выполнять и без него! Такой невидимый режим работы называется "headless" или "безголовый" — браузер работает без привычных окон и вкладок.
Как же управлять браузером без окошек и кнопок? Всё просто: работаете через клавиатуру и командную строку. Задания браузеру можно отдавать прямо из терминала. Если Chrome у вас уже установлен, ничего дополнительно скачивать не нужно — просто откройте командную строку и запустите браузер в headless-режиме.
Главный плюс headless-браузера — минимальная нагрузка на компьютер. Ведь ему не нужно "рисовать" окна и странички, так что всё работает заметно быстрее.
Для чего чаще всего нужен headless-режим?
Представьте, вам дали задание сохранить всё содержимое Wiki по Doom — или хотя бы выкачать все картинки. Делать это вручную нереально: почти 20 000 страниц, недели утомительной копипасты!
Headless-режим Chrome автоматизирует весь процесс — целый сайт можно скачать за считанные минуты! Это и есть парсинг или web scraping — автоматический сбор данных с веб-сайтов.
Например, самой обычной командой запускаем Chrome, и он сохраняет главную страницу прямо в текстовый файл.
Есть нюанс: Chrome сам не умеет "переходить" по всем страницам сайта — чтобы выкачать всё, есть два способа.
Многие современные сайты "подгружают" контент по мере прокрутки или после проверки CAPTCHA, как, например, Instagram или YouTube. Для статических страниц достаточно обычного bash-скрипта, а вот для динамических ресурсов нужна специальная библиотека, например на Python.
Вот пример кода на Python с Playwright — он вытащит сотню первых статей из Doom Wiki автоматически.
Какие ещё задачи headless Chrome берёт на себя?
Автоматическая загрузка страниц — только начало! Headless Chrome отлично справляется с мониторингом цен акций, поиском свежих вакансий или новостей с десятков сайтов одновременно.
Скрипты для headless Chrome способны собирать тысячи актуальных вакансий с Indeed или LinkedIn, по расписанию отслеживать цены у конкурентов, или собирать свежее инфо с новостных ресурсов в отдельную базу. Можно даже качать твиты по хэштегам или посты с Reddit.
И это не предел — headless Chrome может делать что-то за вас сразу после сбора данных. Например, сам заполняет анкеты, автоматом реагирует на интересные вакансии, мониторит сайты на скидки и мгновенно сообщает вам о них, а может даже положить товар в корзину первым.
Делаем скриншоты и сохраняем сайты в PDF, не открывая браузер!
Можно сохранить сразу множество страниц — без единого клика мышкой и необходимости открывать браузер вручную.
Получайте подборку секретных лайфхаков по headless Chrome на свою почту
Всего одна команда — и headless Chrome сохранит любую страницу в PDF. Аналогично обычному "сохранить как PDF", но всё происходит быстрее — страницы загружаются мгновенно, а файлы создаются сами. Если добавите список адресов в текстовый файл, Chrome обработает их сразу пачкой — сохраняя каждый отдельно в PDF или PNG.
Возможно, вы уже пользовались сервисами вроде Internet Archive или Wayback Machine, где можно посмотреть старые версии сайтов. Они тоже используют headless-браузеры для создания цифровых “снимков” страниц.
Как этим режимом пользуются разработчики для тестирования и ускорения сайтов?
Если сайт грузится медленно, большинство пользователей не дождутся открытия страницы. Да и поисковые системы занижают медленные сайты в результатах. Поэтому разработчики тратят уйму времени на оптимизацию. Ручная проверка скорости субъективна, а если страниц тысячи — эту работу одному не потянуть.
Через headless-режим Chrome можно точно измерить скорость загрузки любой страницы, смоделировать разные варианты скорости подключения и быть уверенным — никакие расширения результат не испортят.
Автоматизация работы с сайтами — верное супероружие против рутины! Headless-режим превращает браузер в настоящего цифрового помощника: пока вы спите, он соберёт и сохранит весь сайт или моментально предупредит о скидке на нужный товар.
Если вам понравилась эта статья, подпишитесь, чтобы не пропустить еще много полезных статей!
Премиум подписка - это доступ к эксклюзивным материалам, чтение канала без рекламы, возможность предлагать темы для статей и даже заказывать индивидуальные обзоры/исследования по своим запросам!Подробнее о том, какие преимущества вы получите с премиум подпиской, можно узнать здесь
Также подписывайтесь на нас в:
- Telegram: https://t.me/gergenshin
- Youtube: https://www.youtube.com/@gergenshin
- Яндекс Дзен: https://dzen.ru/gergen
- Официальный сайт: https://www-genshin.ru