wgetでファイルを集める
wget -r -np -k -K -N -p -i urls.txt 1> wget.log 2>&1 -r 再帰的なファイルの取得を行う。 -np 親ディレクトリーへの参照はしない。 -k 取得したファイル内の絶対指定のリンクを相対指定に書き換えます。 -K -N タイムスタンプでダウンロードの要否を判断する。 -p -i --input-file= URLをローカルのファイルから指定する。
urls.txt はURLのリストもok
wgetの結果を標準出力へ
% wget -q [URL] -O - % wget -q http://www.google.com/ -O - jijixi's diary - 書くネタが無い , wget で結果を標準出力に吐く
wget 複数ヘッダを指定
wget \ --header='User-Agent: DoCoMo/2.0' \ --header='X-DCMGUID: aaaaaaa' \ -O output.html \ "http://example.com" kawanoyou: wgetとabで複数のヘッダーを設定したい
