Yahoo!bot Slurpを間違って蹴ってしまって復活させるまでの対応メモ

なんとなく robots.txtにYahoo!botを20分に1回にする設定をいれてもーた

User-agent: Slurp
Crawl-delay: 20

設定日は24日。

結果

botの来訪頻度数の集計

Bot-count:

date google yahoo bing
151122 389979 469378 308252
151123 346894 506160 335105
151124 475883 464205 229293
151125 455849 140855 65039
151126 677111 45337 60063
151127 809616 39890 60283

25日付近から、Yahoo!botの来訪頻度が急激に減少。

Seached-count:

date google yahoo bing
151122 74815 30360 535
151123 85434 36273 593
151124 70686 29407 504
151125 67178 27762 480
151126 65181 26309 481
151127 63056 25584 471

連動してYahoo!検索経由で来る数も減った……気がした。
googleエンジン使ってるから影響ないのかなーと思ってたけど、そうでもないよーだ

botを制限するrobots.txtの記述を消去

25日にやばいなーと気づいて、即robots.txtを戻したけど、
2日まてどrobots.txtが更新される気配がなかった。。

Yahoo!slurp担当者 にメールでrobots.txt更新依頼

https://help.yahoo.com/kb/SLN22600.html

Webmasters can contact Yahoo Support directly by emailing us at: crawl-support@yahoo-inc.com.

メールでサポートしてるようなのでググル翻訳使ってお願いしてみた。

Hi. I'm http://open2ch.net website administrator.
I have restricted bot in yahoo by mistake.

The setting of robots.txt was changed, so please renew.

@Before
User-agent: Slurp
Crawl-delay: 20

@After
(Without restriction)

best regards

返信がきた

Hello おーぷんかんりにん,

Thank you for reaching out to Yahoo with your request. I checked our history logs for your site's robots.txt file retrieval, we have confirmation that it's been received. Here's the log entry for your confirmation:

Fetched time
Sun Nov 29 19:42:28 2015
HTTP status
200
Content

Slurp will crawl your site without restriction. If you have any additional questions, feel free to write back.

Kind Regards,

Miguel Lopez
Crawl Support

治った

Bot-count:

date google yahoo bing
151129 799225 71750 60049 6804 3942 106399
151130 832523 273987 60769 6343 4060 93451

Seached-count:

date google yahoo bing
151129 74925 31056 418
151130 66158 26756 537

今日のわかった

• 安易にYahoo!botを制限するとYahoo!経由のseoに影響するかも
• Yahoo!にrobots.txtの更新はメールで依頼できる
• 無事にrobos.txtの制限が解除されれば従来通りのbot数に復帰できる

botの数グラフ