Использование wget

В принципе, всё ниже изложенное вы можете узнать набрав в командной строке man wget. Здесь я записываю примеры из своей повседневной практики.

wget --limit-rate=50k -с -i download.lst

Позволяет скачать список файлов из файла download.lst. URL каждого файла записывается на отдельной строчке.

• Ключик -i <file> указывает на файл со списком.
• Ключик --limit-rate=<rate> позволяет ограничить скорость скачивания.
• Ключик -c указывает, что если файл с таким именем уже существует, его следует докачать. Иначе файл будет скачан в новый файл с добавленым числовым индексом.

wget -r -np -c <site_url>

Позволяет выкачать сайт целиком. Рекурсивно проходится по всем найденным на странице ссылкам, выкачивает их. Если выкачана новая страница - повторяет. В результате весь сайт с картинками и файлами у вас в кармане.

• Ключик -r указывает, что надо рекурсивно ходить по ссылкам.
• Ключик -np не даёт wget’у выкачать весь сайт целиком, если вам нужна только какая-то часть. К примеру, если вы задали URL http://www.linuxcenter.ru/lib/articles/programming/?pid=4706 то будут выкачаны только статьи по программированию.

wget -p -k <page_url>

Выкачивает указанную страницу с картинками и оформлением.

• Ключ -p указывает, что дополнительно к странице нужно скачать файлы необходимые для корректного отображения страницы в оффлайн.
• Ключ -k заставляет wget преобразовать все внешние, по отношению к странице, ссылки таким образом, что бы они вели на оригинальный сайт.

wget -rEkp -np -nc <site_url>

Выкачивает сайт целиком и дополнительно обработает скачанные файлы.

• r - скачивать рекурсивно
• E - дописывать при необходимости расширение .html
• p - закачивать все ресурсы, а-ля картинки, css.
• k - после завершения загрузки конвертировать ссылки в документе для просмотра в автономном режиме
• np - не подниматься выше по дереву каталогов
• nc - не закачивать уже имеющиеся файлы

Имеет смысл назначить для этой команды алиас: alias wget-site="wget -rEkp -np -nc" и пользоваться уже им: wget-site <site_url>.