Как использовать Wget для загрузки чего-либо из Интернета

• 2019

Wget - это утилита командной строки, которую можно использовать для загрузки практически всего, что доступно в Интернете. Суть в том, что он должен быть доступен по протоколам HTTP, HTTPS или FTP; в противном случае Wget не сможет его скачать. Существует несколько способов использования Wget, например, вы можете использовать Wget для загрузки каждого изображения на веб-сайте, или вы также можете скачать один файл. Wget даже способен возобновить загрузку, когда это возможно. Итак, если вам интересно, как работает Wget и что он может для вас сделать, вот как использовать Wget :

Установка Wget

1. Установка Wget на MacOS Sierra

Прежде чем мы начнем использовать Wget, нам нужно установить его в нашей системе. К счастью, большинство дистрибутивов Linux поставляются с предустановленным Wget, так что вам не придется выполнять дополнительную работу. Однако, если вы работаете на Mac, вам придется установить Wget. Это можно легко сделать с помощью Homebrew (скачать). Если вам нужна помощь, вот шаги, которые вы должны будете выполнить:

• Во-первых, вам нужно будет установить Homebrew на ваш Mac, чтобы иметь возможность загрузить Wget. Для этого просто запустите терминал и введите следующую команду:

 / usr / bin / ruby ​​-e "$ (curl -fsSL //raw.githubusercontent.com/Homebrew/install/master/install)" 

• После завершения команды Homebrew будет установлен в вашей системе. Теперь вы можете использовать Homebrew для установки пакетов, таких как Wget. В Терминале просто запустите следующую команду:

 заваривать установить Wget 

• Homebrew автоматически начнет загрузку, распаковку и установку Wget в вашей системе. Этот шаг может занять некоторое время, в зависимости от скорости вашей сети, поэтому наберитесь терпения. После завершения команды вы сможете использовать Wget на своем Mac. Чтобы проверить, установлен ли он, просто используйте команду:

 Wget -V 

2. Установка Wget на Windows

Установка Wget на Windows занимает немного больше усилий, но это легко сделать. Если вы хотите установить Wget на ПК с Windows, просто выполните следующие действия:

• Сначала загрузите Cygwin, а затем запустите загруженный установочный файл .

• Когда он запрашивает источник загрузки по умолчанию, выберите параметр « Установить из Интернета » и нажмите «Далее».

• Выберите каталог для установки Cygwin, а также каталог, в котором он будет сохранять файлы пакетов для установки утилит.

• На следующем экране вам необходимо выбрать подключение к Интернету. Если вы используете прокси-сервер, выберите тип прокси-сервера и заполните данные. Тем не менее, для большинства пользователей выбор будет « Прямое подключение ».

• Затем вам будет показан список зеркал, выберите любое из них для загрузки Cygwin. Если загрузка не удалась, вы можете попробовать еще раз с другим зеркалом.

• В следующем окне найдите «wget» и нажмите на плюс рядом с «web» в появившемся списке. Здесь флажок рядом с « wget » будет установлен автоматически. Просто нажмите «Далее».

• На следующем экране будут показаны пакеты, которые необходимо загрузить. Просто нажмите «Далее».

• После завершения установки вам будет предложено создать значок на рабочем столе и / или добавить запись в меню «Пуск» . Это полностью вопрос личных предпочтений, но я бы посоветовал вам хотя бы добавить его в меню «Пуск», чтобы вы могли легко его найти.

Вот и все. Wget теперь установлен на вашем ПК с Windows. Однако вы не сможете запустить его из командной строки. Вместо этого вам придется запустить терминал Cygwin и использовать Wget оттуда .

Как использовать Wget

Теперь, когда мы установили и запустили Wget в нашей системе, давайте рассмотрим все интересные способы использования Wget для загрузки файлов, папок и даже целых веб-сайтов из Интернета. Вот несколько интересных вещей, которые вы можете сделать с помощью Wget в своей системе.

Примечание : я использую Wget на MacBook Air с бета-версией macOS Sierra 10.12.3. Однако, поскольку используемая нами утилита одинакова (Wget), команды будут одинаковыми в любой операционной системе, в которой вы можете использовать Wget.

1. Используйте Wget для загрузки файлов

Вы можете использовать Wget для загрузки файлов из Интернета с легкостью. Просто используйте следующую команду

 Wget 

• Загрузите файл и сохраните его с определенным именем файла

Файлы на серверах иногда имеют самые странные имена, и вы можете захотеть загрузить файл, и Wget автоматически переименует его в нечто более подходящее для вас. Для этого просто используйте следующую команду

 Wget -o 

• Загрузить только определенные типы файлов

Веб-сервер может содержать несколько разных файлов. Итак, что, если вы хотите загрузить все PDF-файлы на сервер или, возможно, все GIF-файлы? Просто используйте следующую команду:

 wget -r -A pdf 

Эта конкретная команда была введена Марком Цукербергом в его комнату в общежитии Гарварда, чтобы загрузить все изображения одной командой и создать печально известный веб-сайт facemash.com.

 wget -r -A jpg, jpeg, png, bmp 

2. Скачивайте файлы с нескольких URL с помощью Wget

Скажем, вам нужно скачивать файлы из разных мест в Интернете. Может быть PDF-файл на url1, важный ZIP-файл на url2 и что-то еще в url3 . Если вы использовали Wget традиционным способом, вам придется запустить его три раза. Тем не менее, есть гораздо более простой способ сделать это.

• Сначала создайте файл со всеми URL-адресами, с которых необходимо загрузить данные. Убедитесь, что вы держите каждый URL в отдельной строке . Сохраните файл и убедитесь, что вы помните имя.

• В терминале используйте следующую команду для загрузки файлов со всех URL-адресов:

 Wget -i 

где « имя_файла » - это имя файла, который вы создали со всеми URL, необходимыми для загрузки материалов.

3. Скачать весь сайт с Wget

Да, вы правильно прочитали. Вы также можете использовать Wget для загрузки содержимого всего сайта. Очевидно, что если веб-сайт слишком большой, выполнение этой команды займет много времени, не говоря уже о том, что оно будет занимать много места в вашей системе. Тем не менее, если вы хотите использовать Wget для загрузки всего сайта, просто используйте следующую команду:

 wget --mirror -p -P ./LOCAL-DIR ВЕБ-САЙТ-URL 

Это позволит загрузить весь веб-сайт в папку « LOCAL-DIR » внутри вашего рабочего каталога. Файлы сайта будут храниться в папке с тем же именем, что и сайт, благодаря « WEBSITE-URL ».

4. Используйте Wget в качестве веб-паука

Вы также можете заставить Wget действовать как веб-сканер (или веб-паук). Это полезно, если вы хотите подтвердить, что URL-адрес файла, который вы хотите загрузить, действителен . Чтобы использовать Wget в качестве веб-паука и проверить правильность URL-адресов, просто используйте следующую команду:

 wget --spider 

Это проверит, существует ли упомянутый вами URL, и вы получите ответ, сообщающий вам результаты проверки.

• Положительный ответ:

• Отрицательный ответ:

5. Продолжить незавершенные загрузки

Это еще одна крутая вещь, которую может сделать Wget. Скажем, вы скачивали файл с помощью Wget, но по какой-то причине вам пришлось выключить ноутбук. В следующий раз, когда вы захотите загрузить этот же файл, Wget сможет продолжить загрузку для вас. Вам просто нужно убедиться, что вы находитесь в той же папке, куда вы загружали файл в прошлый раз, а затем использовать следующую команду:

 wget -c 

Когда Wget обнаружит, что часть файла уже присутствует в вашей системе, он автоматически продолжит загрузку.

Примечание . Если файл на сервере был изменен с момента последней попытки его загрузки, вам не следует использовать эту команду, так как это приведет к повреждению файла, который вы не сможете прочитать.

Кроме того, если сервер не позволяет продолжить загрузку, то Wget откажется начинать загрузку с нуля. Если вы хотите начать загрузку с нуля, сначала вам придется удалить частично загруженный файл из вашей системы .

Есть еще несколько условий использования этого аргумента, и вы можете прочитать больше об этом на странице руководства Wget.

6. Ограничить скорость загрузки

Если вы используете Wget для загрузки файлов и просматриваете интернет вместе с ним, вы, вероятно, не захотите, чтобы вся ваша пропускная способность использовалась Wget. К счастью, в Wget есть аргумент, который вы можете использовать для ограничения пропускной способности, которую Wget может использовать для загрузки файлов в вашей системе:

 wget --limit-rate = 

Примечание : имейте в виду, что скорость указана в байтах, а не в битах. Итак, если вы используете Wget –limit-rate = 20k, это ограничит использование полосы пропускания 20 кБ, а не 20 кБ.

7. Используйте Wget для загрузки файлов с FTP-серверов.

Если вам нужно загрузить файл с FTP-сервера, вы можете сделать это и с помощью Wget. Просто используйте следующую команду для загрузки файлов с FTP-серверов:

 Wget 

• Скачать файлы с FTP-серверов с логином

Если вашему FTP-серверу требуется логин для загрузки файлов, вы также можете просто передать учетные данные с помощью Wget. Просто используйте следующую команду:

 wget --ftp-username = ИМЯ ПОЛЬЗОВАТЕЛЯ --ftp-пароль = ПАРОЛЬ 

Легко используйте Wget для загрузки файлов из Интернета

Вы можете использовать Wget для загрузки файлов из любого места в Интернете. Однако, хотя Wget почти всегда работает, существуют определенные серверы, которые запрещают доступ к Wget, и в этом случае вы можете попробовать изменить параметр –user-agent для своей команды Wget. Однако это не рекомендуемый курс действий, если вы не знаете, что делаете. По большей части, Wget позволит вам скачать любой файл из Интернета, если у вас есть доступ к нему и его URL.

Итак, вы когда-нибудь использовали Wget для загрузки файлов из Интернета? Сообщите нам о своем опыте использования Wget для загрузки файлов по протоколам HTTP, HTTPS и FTP. Кроме того, если вы знаете о некоторых других применениях Wget, которые, по вашему мнению, заслуживают того, чтобы быть в этом списке, сообщите нам о них в разделе комментариев ниже.