👋🏻 Привет! С вами снова Merion Academy - платформа доступного IT образования. Wget - это бесплатная утилита командной строки GNU, используемая для загрузки файлов из Интернета. Она получает файлы с использованием протоколов HTTP, HTTPS и FTP.
Wget служит инструментом для поддержания нестабильных и медленных сетевых подключений. Если во время загрузки возникает проблема с сетью, это полезное программное обеспечение может возобновить получение файлов, не начиная с нуля.
Еще один важный аспект - это возможность рекурсивной загрузки, с которой она копирует веб-сайты. Она передает части веб-сайта по ссылкам и структуре каталогов, создавая, таким образом, локальные версии веб-страниц.
Команда wget также очень гибкая и может использоваться в терминалах, скриптах и заданиях cron . Во время загрузки пользователю не нужно быть активным или авторизованным. Поскольку wget не интерактивен, он может работать независимо в фоновом режиме.
Прочтите эту статью, чтобы узнать, как использовать некоторые из наиболее распространенных команд wget.
Как проверить, установлен ли wget?
Скорее всего, пакет wget уже есть в вашей системе, поскольку теперь он предустановлен в большинстве дистрибутивов Linux.
Чтобы проверить, откройте окно терминала и введите:
wget
Если у вас есть программное обеспечение wget, в выходных данных будет указано, что для команды wget отсутствует URL-адрес, как показано ниже:
wget : missing URL
Usage : wget [ OPTION ]... [ URL ]...
Try `wget --help` for more options .
Команда wget не найдена
Если в выводе отображается wget command not found вам необходимо загрузить и установить инструмент вручную. Ниже вы найдете инструкции по установке для Ubuntu/Debian, CentOS и Windows.
Как установить wget на Ubuntu/Debian?
Чтобы установить wget в выпусках Ubuntu или Debian, используйте команду:
sudo apt - get install wget
Как установить wget на CentOS/Fedora?
Чтобы установить wget на CentOS или Fedora, введите следующую команду:
sudo yum install wget
Как установить wget в Windows?
Чтобы установить и настроить wget для Windows:
- Загрузите wget для Windows и установите пакет.
- Добавьте путь корзины wget к переменным среды (необязательно). Настройка этого параметра устраняет необходимость в полных путях и значительно упрощает запуск wget из командной строки:Откройте меню «Пуск» и выполните поиск по запросу среды .
Выберите «Изменение системных переменных среды».
Выберите вкладку «Дополнительно» и нажмите кнопку «Переменные среды».
Выберите переменную Path в разделе «Системные переменные».
Щелкните «Изменить».
Нажмите «Создать» и добавьте путь к каталогу bin wget . Если он установлен по пути по умолчанию, добавьте C:\Program Files(x86)\GnuWin32\bin . - Откройте командную строку cmd.exe и запускайте команды wget .
Введение в синтаксис wget
Синтаксис wget имеет следующий шаблон:
wget [ option ][ URL ]
Каждый [option] имеет свою длинную и короткую форму, которые удобно взаимозаменяемы. Этот атрибут указывает, что делать с последующим URL-адресом. [URL] - это адрес файла или каталога, который вы хотите загрузить.
Примеры команд wget
Загрузить файл из Интернета
Чтобы загрузить файл из Интернета, используйте:
wget [ URL ]
Например, чтобы установить Tomcat 9, сначала вам нужно загрузить пакет с wget с помощью команды:
wget http : //apache.cs.utah.edu/tomcat/tomcat-9/v9.0.20/bin/apache-tomcat-9.0.20.tar.gz
Скачать файл и сохранить под определенным именем
Чтобы скачать файл и сохранить его под указанным именем, выполните:
wget – O [имя _ файла] [ URL ]
Команда wget позволяет вам переименовывать файлы перед их загрузкой на ваш компьютер.
Например, вы можете установить Terraform. Чтобы загрузить пакет и переименовать его в terraform.zip , используйте следующую команду:
wget – O terraform . zip https : //releases.hashicorp.com/terraform/0.12.2/terraform_0.12.2_linux_amd64.zip
Загрузить файл в конкретный каталог
По умолчанию wget загружает файл в каталог, в котором находится пользователь. Чтобы сохранить файл в другом месте, добавьте параметр –P :
wget – P [желаемый _ каталог] [ URL ]
Например, при установке Git в Ubuntu вы можете загрузить пакет в каталог /temp с помощью команды:
wget – P / temp https : //github.com/git/git/archive/master.zip
Установить скорость загрузки
Вы можете установить скорость загрузки при загрузке большого файла, чтобы он не использовал всю доступную пропускную способность. Скорость загрузки определяется в килобайтах k и мегабайтах m . Используйте команду:
wget -- limit - rate [желаемая _ скорость] [ URL ]
Например, если вы устанавливаете драйверы NVIDIA TESLA в Linux и хотите ограничить скорость загрузки до 1 мегабайта, используйте команду:
wget -- limit - rate 1m http : //us.download.nvidia.com/tesla/396.37/nvidia-diag-driver-local-repo-ubuntu1710-396.37_1.0-1_amd64.deb
Продолжить загрузку после прерывания
Вместо того, чтобы начинать с нуля, wget может возобновить загрузку с того места, где она была остановлена ??до прерывания. Это полезная функция, если при загрузке файла происходит потеря соединения.
wget – c [ URL ]
Например, вы можете установить Mumble Server в Linux и внезапно потерять подключение к Интернету при загрузке установочного файла. Чтобы продолжить загрузку, введите команду:
wget – c https : //github.com/mumble-voip/mumble/releases/download/1.2.19/murmur-static_x86-1.2.19.tar.bz2
Скачать несколько файлов
wget позволяет загружать несколько файлов одновременно с помощью команды:
wget – i [имя _ файла]
Для этого выполните действия, описанные ниже:
1. Сначала создайте и откройте файл с именем MultipleDownloads.txt (или другим именем по вашему выбору) с помощью текстового редактора. В данном случае мы использовали Nano :
nano MultipleDownloads . txt
2. В редакторе добавьте URL-адреса пакетов, которые вы хотите загрузить, по одному в каждой строке.
3. Сохраните и выйдите из файла.
4. Выполните следующую команду wget в окне терминала:
wget – i MultipleDownloads . txt
Это побуждает wget загружаться с каждого URL-адреса в текстовом файле.
Загрузить веб-страницу (зеркальная веб-страница)
С помощью wget вы можете загрузить весь веб-сайт из Интернета, используя параметр –m . Он предлагает wget создать зеркало указанной веб-страницы. Основная команда для этого:
wget – m [ URL ]
Например:
wget – m https : //wiki.merionet.ru
Скачать через FTP
Для загрузки через FTP введите имя пользователя и пароль FTP-сервера, а затем ftp-адрес:
wget -- ftp - user =[ ftp_username ] -- ftp - password =[ ftp_password ] ftp : //...
Например:
wget -- ftp - user = admin -- ftp - password = SecretPassword ftp : //123.456.7890
Скачать в фоновом режиме
Вы можете загрузить в фоновом режиме практическую функцию при работе с большими файлами:
wget – b [ URL ]
Проверить статус загрузки можно командой:
tail – f wget – log
Чтобы загрузить диспетчер пакетов RPM в фоновом режиме, введите:
wget – b http : //some_website/sample_file.rpm
Увеличение числа попыток повтора
Вы можете установить, сколько раз wget пытается загрузить файл после того, как его прерывает плохая сеть, с помощью:
wget -- tries = [количество _ попыток] [ URL ]
По умолчанию количество повторных попыток установлено на 20.
Вы также можете установить число на бесконечность со значениями 0 или inf , как в следующем примере:
wget -- tries = inf http : //download.virtualbox.org/virtualbox/rpm/rhel/virtualbox.repo
Пропустить проверку сертификата
По умолчанию wget проверяет, есть ли у сервера действительный сертификат SSL/TLS . Если он не идентифицирует подлинный сертификат, он отказывается от загрузки.
Параметр --no-check-certificate используется, чтобы центры сертификации не проверяли сертификат сервера. Однако используйте его только в том случае, если вы уверены в надежности веб-сайта или не беспокоитесь о проблемах безопасности, которые он может вызвать.
wget -- no - check - certificate [ URL ]
Если http://supersafewebsite.ru имеет ненадежный сертификат, но не причинит вреда системе, вы можете загрузить его с помощью:
wget -- no - check - certificate http : //supersafewebsite.ru
Изменить агент пользователя User-Agent
При загрузке веб-страницы wget по сути эмулирует браузер. В некоторых случаях в выводе может быть указано, что у вас нет разрешения на доступ к серверу или что соединение запрещено. Это может быть связано с тем, что веб-сайт блокирует клиентские браузеры, у которых есть определенный «User-Agent».
«User-Agent » - это поле заголовка, которое браузер отправляет на сервер, к которому он хочет получить доступ. Поэтому для загрузки с сервера, который отказывается подключаться, попробуйте изменить пользовательский агент.
Найдите базу данных всех пользовательских агентов в сети, найдите тот, который вам нужен, и выполните команду:
wget -- user - agent =” User Agent Here ” “[ URL ]”
или
wget – U ” User Agent Here ” “[ URL ]”
Например, чтобы эмулировать Chrome (версия 74), вы должны изменить пользовательский агент с помощью команды:
wget -- user - agent =” Mozilla / 5.0 ( Windows NT 10.0 ; Win64 ; x64 ) AppleWebKit / 537.36 ( KHTML , like Gecko ) Chrome / 74.0 . 3729.169 Safari / 537.36 ” “ https : //wiki.merionet.ru”
Итоги
В этой статье рассказывается, почему wget является таким мощным инструментом для загрузки файлов через Интернет. Он также служит хорошим справочником для новичков со списком из основных команд и примеров wget.
До встречи на нашей образовательной платформе.
Merion Academy - платформа доступного IT образования.
