Расскажу, как пользоваться библиотекой для передачи данных между клиентом и сервером, и какие задачи с ее помощью можно решить.
Что такое cURL
cURL (Client URL) — это обычная программа встроенной командной строки в Windows или в MAC. Она позволяет взаимодействовать с сервером по разным протоколам, используя URL в запросе.
Протоколов достаточно много, но для SEO специалистов в 99% случаев, нужны только HTTP и HTTPS:
- HTTP это устаревший незащищенный протокол передачи данных между двумя серверами, например между вашим компьютером (браузером) и сервером любого сайта. Пример: http://www.site.com
- HTTPS это расширение к протоколу HTTP, только данные передаются в зашифрованном виде. Пример: https://www.site.com
Работа с cURL
Рассмотрим, как работать с cURL на разных операционных системах.
Windows
Для Windows 10 и новее cURL установлен по умолчанию. Нажмите «Пуск» и введите в поиске фразу «Windows terminal». Далее начинайте вводить запросы cURL. Самый распространенный по типу “Hello World” — curl --version, он позволяет проверить версию.
MacOS
Откройте “Launcher” и через поиск выберите там “Terminal”. Введите аналогичный запрос curl --version, после этого должна появиться версия curl, например, вот так:
Linux
На Linux cURL тоже установлен по умолчанию. Для проверки версии cURL на Linux введите в терминале curl --version.
Главная особенность cURL для SEO
cURL позволяет узнать, как поисковые боты индексируют и видят страницу. Если хотите понять, какой текст HTML скрыт от глаз поисковиков или какие HTTP-заголовки ответа сервера получают боты, cURL поможет.
На что он способен:
- Заменять user-agent;
- Проходить базовую аутентификацию;
- Получать HTTP-заголовки и отслеживать цепочки редиректов;
- Получать HTML страницы.
Три причины, почему это лучше, чем браузер и его расширения:
- Чтобы контролировать процесс самому: в cURL баги не допустимы;
- Чтобы притвориться поисковиком;
- Расширения в Google Chrome не могут менять user-agent. Только те, которые строятся на платформенных решениях и выносятся на отдельный сервер.
Пройдемся по каждой из возможностей cURL.
Замена user-agent
cURL позволяет посмотреть страницу глазами Яндекса или Google и увидеть какой контент недоступен поисковикам.
Да, у поисковиков есть свои инструменты, но Яндекс ограничивает отдачу HTML через инструмент «Проверка ответа сервера» в 50 000 строк, а «Google mobile-friendly test» вовсе перестал работать, так что посмотреть сторонние сайты не получится.
Подписывайтесь на наш ВК и Телеграм, чтобы узнавать последние новости SEO и подсматривать новые фишки продвижения.
Прохождение базовой аутентификации
Вы создали новый сайт или новую страницу, но она не доступна для пользователей и закрыта от посещений. Чтобы протестировать такую страницу глазами Яндекса или Google, используйте cURL.
cURL позволяет проходить базовую авторизацию на странице и получать любые данные, которые отдает сервер сайта.
Получение HTTP-заголовков и отслеживание цепочки редиректов
Вы заходите на сайт и видите страницу с ответом сервера 200 OK. Пользователи жалуются, что по этой же странице у них открывается совсем другой контент или их перенаправляют в другое место.
cURL поможет подтвердить жалобы пользователей и параллельно проверить ответы сервера и цепочки редиректов.
Кратко о главном
cURL — простая программа, которая имеется по умолчанию практически на всех компьютерах Windows и MAC. Она позволяет делать HTTP-запросы к любому сайту и получить HTTP-заголовки и тело страницы.
Три основных ситуации, в которых SEO-специалист может использовать cURL:
- Просмотреть страницы глазами поисковика независимо от того, работают ли официальные сервисы от Яндекса и Google;
- Получить тело страницы, когда она находится под авторизацией и поисковые боты не могут на нее попасть;
- Отследить, действительно ли вам, вашим пользователям и поисковым ботам отдаются одинаковые редиректы и HTTP-заголовки.
Оставил для вас подборку лучших инструментов, которые помогут вам в SEO-оптимизации: генераторы тегов и семантики, кластеризация и проверка позиций, и многое другое.