Использование wget

Пратические примеры применения wget

В принципе, всё ниже изложенное вы можете узнать набрав в командной строке man wget. Здесь я записываю примеры из своей повседневной практики.

wget --limit-rate=50k -с -i download.lst

Позволяет скачать список файлов из файла download.lst. URL каждого файла записывается на отдельной строчке.

  • Ключик -i <file> указывает на файл со списком.
  • Ключик --limit-rate=<rate> позволяет ограничить скорость скачивания.
  • Ключик -c указывает, что если файл с таким именем уже существует, его следует докачать. Иначе файл будет скачан в новый файл с добавленым числовым индексом.
wget -r -np -c <site_url>

Позволяет выкачать сайт целиком. Рекурсивно проходится по всем найденным на странице ссылкам, выкачивает их. Если выкачана новая страница - повторяет. В результате весь сайт с картинками и файлами у вас в кармане.

  • Ключик -r указывает, что надо рекурсивно ходить по ссылкам.
  • Ключик -np не даёт wget’у выкачать весь сайт целиком, если вам нужна только какая-то часть. К примеру, если вы задали URL http://www.linuxcenter.ru/lib/articles/programming/?pid=4706 то будут выкачаны только статьи по программированию.
wget -p -k <page_url>

Выкачивает указанную страницу с картинками и оформлением.

  • Ключ -p указывает, что дополнительно к странице нужно скачать файлы необходимые для корректного отображения страницы в оффлайн.
  • Ключ -k заставляет wget преобразовать все внешние, по отношению к странице, ссылки таким образом, что бы они вели на оригинальный сайт.
wget -rEkp -np -nc <site_url>

Выкачивает сайт целиком и дополнительно обработает скачанные файлы.

  • r - скачивать рекурсивно
  • E - дописывать при необходимости расширение .html
  • p - закачивать все ресурсы, а-ля картинки, css.
  • k - после завершения загрузки конвертировать ссылки в документе для просмотра в автономном режиме
  • np - не подниматься выше по дереву каталогов
  • nc - не закачивать уже имеющиеся файлы

Имеет смысл назначить для этой команды алиас: alias wget-site="wget -rEkp -np -nc" и пользоваться уже им: wget-site <site_url>.

 
comments powered by Disqus