robotさんに手を抜いて頂く事にしました。

 久しぶりに一応動かしているAWStatsを覗いてみましたら、“ロボット/スパイダーの訪問者”の項目においてGooglebotさんを凌駕するエゲつなさを披露しているrobotさんが、しかも二つもあって吃驚。アクセス件数はGooglebotさんの二倍以上です、実に。有り得ない、先月まではGooglebotさんがブッチぎりでエゲつなさをご披露下さっていたのに。

 という事で、生ログを暫く眺めておりましたらば、かなり頻繁に、と言うか、わりと空き時間なく止めどなく複数のrobotさんにクロールして頂いている様です。あぁ、有り難い事ですね、お手数をおかけしております。や、まて、それは違うかも、実はこれって共有サーバを駆る者としてはだめなのでは。他の方のご迷惑になっているのでは。無駄な負荷をかけてしまっているのでは。無駄にページ数だけ多いサイトを抱えていてごめんなさい。色々含めてすまーん!
 と猛省したので……。ごめん、やっぱりうそ、普通に興味本意です、「robots.txtへ書いたりするのだろうなぁ」って思って調べたら本当にそうだったので「どうなるのかなぁ」と。

 そんなこんなで、robots.txtへ

User-agent: *
Crawl-delay: 30

 と記述して、30秒程度間隔をおいてアクセスして頂く様にしました。こうしておくとCrawl-delayに理解を示して下さるrobotさんなら気を利かせてくれるらしいですよ。今回のGooglebot超えのrobotさん達は理解を示して下さるらしいので、暫くこれで様子をみてみます。
 ちなみに我らがGooglebotさんは理解を示して下さらないので、Google ウェブマスター ツールを用いてクロール頻度を“低速”へするとよいらしいです。今回は保留しましたけど。

 数日後が楽しみだな。