なんとなく robots.txtにYahoo!botを20分に1回にする設定をいれてもーた User-agent: Slurp Crawl-delay: 20 設定日は24日。 結果 botの来訪頻度数の集計 Bot-count:date google yahoo bing 151122 389979 469378 308252 151123 346894 506160 335105 151124…