BASH-скрипт:Загрузка последовательных пронумерованных файлов с помощью wget
https://stackoverflow.com/questions/1426522
italiano
english
français
española
中国
日本の
العربية
Deutsch
한국어
Português
RussianВопрос
У меня есть веб-сервер, на котором сохраняются пронумерованные файлы журналов веб-приложения.Пример имени файла для этого:
dbsclog01s001.log
dbsclog01s002.log
dbsclog01s003.log
Последние 3 цифры являются счетчиком и иногда могут достигать 100.
Обычно я открываю веб-браузер, просматриваю файл, например:
http://someaddress.com/logs/dbsclog01s001.log
и сохраните файлы.Это, конечно, немного раздражает, когда вы получаете 50 журналов.Я пытался придумать сценарий BASH для использования wget и передачи
http://someaddress.com/logs/dbsclog01s*.log
но у меня проблемы со сценарием.В любом случае, у кого-нибудь есть образец того, как это сделать?
Спасибо!
Решение
#!/bin/sh
if [ $# -lt 3 ]; then
echo "Usage: $0 url_format seq_start seq_end [wget_args]"
exit
fi
url_format=$1
seq_start=$2
seq_end=$3
shift 3
printf "$url_format\\n" `seq $seq_start $seq_end` | wget -i- "$@"
Сохраните вышеизложенное как seq_wget, дайте ему разрешение на выполнение (chmod +x seq_wget), а затем запустите, например:
$ ./seq_wget http://someaddress.com/logs/dbsclog01s%03d.log 1 50
Или, если у вас Bash 4.0, вы можете просто ввести
$ wget http://someaddress.com/logs/dbsclog01s{001..050}.log
Или, если у вас есть curl вместо wget, вы можете следовать ответу Денниса Уильямсона.
Другие советы
curl кажется, поддерживает диапазоны.Из man страница:
URL
The URL syntax is protocol dependent. You’ll find a detailed descrip‐
tion in RFC 3986.
You can specify multiple URLs or parts of URLs by writing part sets
within braces as in:
http://site.{one,two,three}.com
or you can get sequences of alphanumeric series by using [] as in:
ftp://ftp.numericals.com/file[1-100].txt
ftp://ftp.numericals.com/file[001-100].txt (with leading zeros)
ftp://ftp.letters.com/file[a-z].txt
No nesting of the sequences is supported at the moment, but you can use
several ones next to each other:
http://any.org/archive[1996-1999]/vol[1-4]/part{a,b,c}.html
You can specify any amount of URLs on the command line. They will be
fetched in a sequential manner in the specified order.
Since curl 7.15.1 you can also specify step counter for the ranges, so
that you can get every Nth number or letter:
http://www.numericals.com/file[1-100:10].txt
http://www.letters.com/file[a-z:2].txt
Возможно, вы заметили, что написано «с ведущими нулями»!
Вы можете использовать последовательности типов эха в URL-адресе wget для загрузки строки чисел...
wget http://someaddress.com/logs/dbsclog01s00{1..3}.log
Это также работает с буквами
{a..z} {A..Z}
Вы можете использовать комбинацию цикл for яи ругайся с печать команда (конечно, изменяя echo к wget по мере необходимости):
$ for i in {1..10}; do echo "http://www.com/myurl`printf "%03d" $i`.html"; done
http://www.com/myurl001.html
http://www.com/myurl002.html
http://www.com/myurl003.html
http://www.com/myurl004.html
http://www.com/myurl005.html
http://www.com/myurl006.html
http://www.com/myurl007.html
http://www.com/myurl008.html
http://www.com/myurl009.html
http://www.com/myurl010.html
Не знаю точно, с какими проблемами вы столкнулись, но похоже, что простой цикл for в bash поможет вам.
for i in {1..999}; do
wget -k http://someaddress.com/logs/dbsclog01s$i.log -O your_local_output_dir_$i;
done
Интересная задача, поэтому я написал для вас полный сценарий (объединивший несколько ответов и многое другое).Вот:
#!/bin/bash
# fixed vars
URL=http://domain.com/logs/ # URL address 'till logfile name
PREF=logprefix # logfile prefix (before number)
POSTF=.log # logfile suffix (after number)
DIGITS=3 # how many digits logfile's number have
DLDIR=~/Downloads # download directory
TOUT=5 # timeout for quit
# code
for((i=1;i<10**$DIGITS;++i))
do
file=$PREF`printf "%0${DIGITS}d" $i`$POSTF # local file name
dl=$URL$file # full URL to download
echo "$dl -> $DLDIR/$file" # monitoring, can be commented
wget -T $TOUT -q $dl -O $file
if [ "$?" -ne 0 ] # test if we finished
then
exit
fi
done
В начале скрипта вы можете установить URL-адрес, префикс и суффикс файла журнала, количество цифр в нумерационной части и каталог загрузки.Loop загрузит все найденные файлы журналов и автоматически завершит работу при первом несуществующем (используя тайм-аут wget).
Обратите внимание: в этом сценарии предполагается, что индексация файла журнала начинается с 1, а не с нуля, как вы упомянули в примере.
Надеюсь это поможет.
Здесь вы можете найти Perl-скрипт, который выглядит так, как вы хотите.
http://osix.net/modules/article/?id=677
#!/usr/bin/perl
$program="wget"; #change this to proz if you have it ;-)
my $count=1; #the lesson number starts from 1
my $base_url= "http://www.und.nodak.edu/org/crypto/crypto/lanaki.crypt.class/lessons/lesson";
my $format=".zip"; #the format of the file to download
my $max=24; #the total number of files to download
my $url;
for($count=1;$count<=$max;$count++) {
if($count<10) {
$url=$base_url."0".$count.$format; #insert a '0' and form the URL
}
else {
$url=$base_url.$count.$format; #no need to insert a zero
}
system("$program $url");
}
Я только что просмотрел обсуждение «подстановки» на странице руководства wget:
По умолчанию подстановка включена, если URL-адрес содержит подстановочный символ.Эту опцию можно использовать для постоянного включения или отключения подстановки.Возможно, вам придется заключить URL-адрес в кавычки, чтобы защитить его от расширения вашей оболочкой.Подстановка заставляет Wget искать список каталогов, который зависит от системы. Вот почему в настоящее время он работает только с FTP-серверами Unix. (и те, которые эмулируют вывод Unix «ls»).
Итак, wget http://...не будет работать с подстановкой.
Проверьте, есть ли в вашей системе seq, тогда это будет легко:
for i in $(seq -f "%03g" 1 10); do wget "http://.../dbsclog${i}.log"; done
Если в вашей системе используется команда jot вместо seq:
for i in $(jot -w "http://.../dbsclog%03d.log" 10); do wget $i; done
Ой!Это аналогичная проблема, с которой я столкнулся, изучая bash для автоматизации загрузки манги.
Что-то вроде этого должно работать:
for a in `seq 1 999`; do
if [ ${#a} -eq 1 ]; then
b="00"
elif [ ${#a} -eq 2 ]; then
b="0"
fi
echo "$a of 231"
wget -q http://site.com/path/fileprefix$b$a.jpg
сделанный
Опоздал на вечеринку, но действительно простое решение, не требующее написания кода, — это использовать надстройку DownThemAll Firefox, которая имеет функцию извлечения диапазонов файлов.Это было мое решение, когда мне нужно было загрузить 800 последовательно пронумерованных файлов.
