wgetでWebサイトのレスポンスを調査するシェルスクリプト

wgetを利用して複数Webサイトのレスポンスを調査するシェルスクリプトのサンプルです。
今回は試しにキャリア3社のWebサイトのレスポンスを調査してみました。

OS: CentOS 6.4(64-bit)
wget: GNU Wget 1.12 built on linux-gnu.

---

■シェルスクリプトサンプル

[root@centos64 ~]# cat response.sh
#!/bin/sh
# wgetを利用してWebサイトのレスポンスを調査する。

URL=url.list
LOG=response_`date +%Y%m%d-%H%M`.log
TODAY=`date +%Y-%m-%d`

# url.listの存在チェック
if [ ! -f ${URL} ]; then
    echo "${URL} no such file or directory"
    exit 1
fi

wget -t 2 -P response -o ${LOG} -i ${URL}
rm -rf response

#grep "[0-9]\]$" ${LOG}
#grep -B 3 "404 Not Found" ${LOG}
grep ${TODAY} ${LOG}

exit 0
[root@centos64 ~]#

リトライは2回くらいで十分かと。

■URLリスト

[root@centos64 ~]# cat url.list
https://www.nttdocomo.co.jp/
https://www.nttdocomo.co.jp/product/
https://www.nttdocomo.co.jp/service/
https://www.nttdocomo.co.jp/binary/pdf/corporate/technology/document/pdc/jidoushadenwa.pdf

http://www.kddi.com/
http://www.au.kddi.com/
http://www.kddi.com/corporate/ir/library/annual_report/pdf/kddi_ar2013_j.pdf

http://www.softbank.jp/
http://www.softbank.jp/corp/
http://cdn.softbank.jp/corp/set/data/csr/pdf/csr2013_01.pdf
[root@centos64 ~]#

サイズの大きいPDFファイルへのリンク等を適当に入れています。

■実行結果

[root@centos64 ~]# ./response.sh
--2013-12-14 16:43:37--  https://www.nttdocomo.co.jp/
2013-12-14 16:43:42 (2.11 MB/s) - `response/index.html' へ保存終了 [44553]
--2013-12-14 16:43:42--  https://www.nttdocomo.co.jp/product/
2013-12-14 16:43:42 (2.02 MB/s) - `response/index.html.1' へ保存終了 [76905]
--2013-12-14 16:43:42--  https://www.nttdocomo.co.jp/service/
2013-12-14 16:43:43 (1.03 MB/s) - `response/index.html.2' へ保存終了 [162300]
--2013-12-14 16:43:43--  https://www.nttdocomo.co.jp/binary/pdf/corporate/technology/document/pdc/jidoushadenwa.pdf
2013-12-14 16:43:43 (2.18 MB/s) - `response/jidoushadenwa.pdf' へ保存完了 [733433/733433]
--2013-12-14 16:43:43--  http://www.kddi.com/
2013-12-14 16:43:48 (1023 KB/s) - `response/index.html.3' へ保存終了 [13808]
--2013-12-14 16:43:48--  http://www.au.kddi.com/
2013-12-14 16:43:53 (2.05 MB/s) - `response/index.html.4' へ保存完了 [56991/56991]
--2013-12-14 16:43:53--  http://www.kddi.com/corporate/ir/library/annual_report/pdf/kddi_ar2013_j.pdf
2013-12-14 16:43:55 (4.69 MB/s) - `response/kddi_ar2013_j.pdf' へ保存完了 [8913281/8913281]
--2013-12-14 16:43:55--  http://www.softbank.jp/
2013-12-14 16:44:00 (377 KB/s) - `response/index.html.5' へ保存終了 [43626]
--2013-12-14 16:44:00--  http://www.softbank.jp/corp/
2013-12-14 16:44:00 (460 KB/s) - `response/index.html.6' へ保存完了 [35866/35866]
--2013-12-14 16:44:00--  http://cdn.softbank.jp/corp/set/data/csr/pdf/csr2013_01.pdf
2013-12-14 16:44:07 (2.64 MB/s) - `response/csr2013_01.pdf' へ保存完了 [3378593/3378593]
終了しました --2013-12-14 16:44:07--
[root@centos64 ~]#

※レスポンス結果はその時々で変化します。
※上記はその時の結果であり、何かを保証するものではありません。

この情報が何かのお役にたてれば幸いです。m(_ _)m