googleクローラーの速度はサイトによって違うメモ
googleウェブマスターツールでサイトによって最高速度の閾値が違うらしい。
何らかの基準でリミッターが増減するっぽい。実際、どーなんだろ？っていうメモ。
アクセスが多めのサイトA
最近はじめたばっかのサイトB
実際に設定通りきてるのかチェック：アクセスが多めのサイトA
最高3.6/sec、最少1.1/sec。平均的には2/secくらいのよーだ。
コマンド
sudo perl -e 'for(`grep "Googlebot" /var/log/httpd/access_log.111121`){$h{(m@\d{4}:(\d+)@)[0]}++} ; for("00".."23"){print qq{$_:00 $h{$_} @{[sprintf "%.1f",$h{$_}/3600]}/sec\n}}'
結果
00:00 4035 1.1/sec
01:00 6536 1.8/sec
02:00 11100 3.1/sec
03:00 10716 3.0/sec
04:00 9863 2.7/sec
05:00 12898 3.6/sec
06:00 10727 3.0/sec
07:00 8970 2.5/sec
08:00 8465 2.4/sec
09:00 8765 2.4/sec
10:00 9518 2.6/sec
11:00 10069 2.8/sec
12:00 10841 3.0/sec
13:00 12304 3.4/sec
14:00 10070 2.8/sec
15:00 10103 2.8/sec
16:00 10431 2.9/sec
17:00 9790 2.7/sec
18:00 9378 2.6/sec
19:00 7138 2.0/sec
20:00 7297 2.0/sec
21:00 8494 2.4/sec
22:00 7920 2.2/sec
23:00 4433 1.2/sec
実際に設定どおりにきているのかチェック：最近始めたばっかのサイトB
最高1.0/sec、最少0.5/sec。平均的には0.8/secくらいのよーだ。
結果
00:00 1933 0.5/sec
01:00 2152 0.6/sec
02:00 2590 0.7/sec
03:00 2520 0.7/sec
04:00 2704 0.8/sec
05:00 2446 0.7/sec
06:00 2164 0.6/sec
07:00 1842 0.5/sec
08:00 2677 0.7/sec
09:00 3449 1.0/sec
10:00 2854 0.8/sec
11:00 2440 0.7/sec
12:00 2324 0.6/sec
13:00 1697 0.5/sec
14:00 2030 0.6/sec
15:00 2200 0.6/sec
16:00 3223 0.9/sec
17:00 3290 0.9/sec
18:00 2726 0.8/sec
19:00 2451 0.7/sec
20:00 2587 0.7/sec
21:00 2379 0.7/sec
22:00 2462 0.7/sec
23:00 2760 0.8/sec
