UnixCmd/wget

wget - HTTP・FTP ダウンローダ

official wget page. GNU Wget : http://www.gnu.org/software/wget/

 起動

オプションと取得するURLを指定して起動する。

wget [option]... [URL]...

 URL書式

一般的なURIの書式となる。スキーマとしては、http, https, ftp が指定できる。

http://host[:port]/directory/file
https://host[:port]/directory/file
ftp://host[:port]/directory/file

また、URLの中にBASIC認証などのユーザ情報も指定できる。

ftp://username:password@host/path
http://username:password@host/path

 起動オプション

 設定ファイル

ホスト全体での /etc/wgetrc と、ユーザ単位での ~/.wgetrc の2種類

passive FTP を使用する

 設定ファイルで恒久的に設定

設定ファイル ~/.wgetrc (または /etc/wgetrc) の passive_ftpオプション を変更

#passive_ftp = off
passive_ftp = on

 コマンドオプションで一時的に設定

コマンドで --passive-ftp オプションを指定する

$ wget --passive-ftp ftp://ftp-server/filename

クッキーを使う

クッキーを利用している(有効にしないと利用できない)サイトにアクセするするためにクッキーを設定する。

 クッキーをファイルに保存する

wget --cookies=on --save-cookies cookies.txt http://www.example.com/

「--cookies=on」でクッキーを有効にし、「--save-cookies ファイル名」でファイルに保存する。作成されるファイルの書式は、Netscape と同じものになる。

 クッキーをファイルから読み込む

wget --cookies=on --load-cookies cookies.txt http://www.example.com/

「--cookies=on」でクッキーを有効にし、「--load-cookies ファイル名」でファイルに保存されたクッキーの内容を読み込む。読み込むファイルの書式は、Netscape と同じものになる。

 クッキーファイル

クッキーファイルはこんな感じ(元は、Mozilla Firefox から)

# HTTP Cookie File
# http://www.netscape.com/newsref/std/cookie_spec.html
# This is a generated file!  Do not edit.
# To delete cookies, use the Cookie Manager.
www.example.com TRUE / FALSE 2147483647 Cookie-Key Cookie-Value

1. ドメイン名
2. HTTPヘッダによる設定か
3. アクセスできるパス
4. secureか
5. 有効期限(通算秒)
6. クッキーのキー
7. クッキーの値

で、各項目はタブ区切り。2番目は、HTTPヘッダの Set-Cookie で設定されたかで、TRUE であればHTTPヘッダ、FALSE であれば JavaScript などでセットされた事を示す。3番目のパスは、HTTPヘッダで送信される・アクセス出来るパスを示す。'/'の場合、そのドメインのすべてのページに送信される。4番目は、サーバーとの接続がセキュアである時のみ送信するかで、TRUE の場合は、https で接続したときのみ送信されることを示す。

手で設定するよりかは、wgetで保存するか。一度ブラウザでアクセスしてそのクッキーファイルから必要な部分を取り出した方が簡単かな。

Win32移植版

 Windows Wget files

http://www.christopherlewis.com/WGet/WGetFiles.htm (Binary)

ソースからのコンパイル手順は、同サイトの How To Compile Wget on Windows を参照

 GnuWin32

http://gnuwin32.sourceforge.net/