Fasterfox の先読みをブロックする方法

自サイトのアクセスログ見てて、同時刻に複数ページへすんげぇ勢いでアクセスしている FirefoxUA 名なんか見つけると、Firefox を高速化する機能拡張 Fasterfox 使ってんだろうなとか思うわけで、まぁここら辺のことはかなり前に最速な人が取り上げてたりする

今までこの Fasterfox のリンク先読み機能に対して、サイト側の方ではどうにも出来なかったんだけど、Fasterfox のバージョンが 1.0.3 になってから robots.txt を読むようになったらしく、下記の2行を robots.txt に記述すれば先読みをブロックできる。

User-agent: Fasterfox
Disallow: /

つう訳で、サーバに負荷をかけられたくねぇって人や、ログに余計なノイズを残すなやって人はやってみると幸せになれるかも知れないですぜ !

この記事についての情報

似た内容の記事

この記事に対するトラックバック

トラックバックURL: http://www.lucky-bag.com/mt/mt-tb.cgi/43

[N] - Fasterfoxの先読みをブロックする方法 (2006年2月22日 12:42)

Lucky bag::blog: Fasterfox の先読みをブロックする方法というエントリー。 自サイトのアクセスログ見てて、同時刻に複数ページへすん... 続きを読む

Mozilla Re-Mix - Firefoxのパフォーマンスをアップする拡張機能「Fasterfox」 (2007年1月18日 14:11)

ブラウジング速度の向上は誰しも望むところですが、物理的な回線速度があり、そう思うようにはパフォーマンスを向上できません。 快適なブラウジングを実現するた... 続きを読む

Comments

名無し said:

オフィシャルのFAQによればルートディレクトリのrobot.txtだけを読んでサブディレクトリは読まないと述べられていますが、たとえばhttp://www.example.com/~mydir/のような場合はmydirの下においても意味がないということだろうか?

えむけい said:

robots.txt(複数形)ではないですか? 少なくともリンク先にはそう書かれていますし、
A Standard for Robot Exclusion
http://www.robotstxt.org/wc/norobots.html
を見てもrobots.txtが正しいはずです。
この場合スペルミスするとロボットが拾い損ねてまったく無意味になるわけで。

e-luck said:

>>名無し さん
んー、どうでしょう。ユーザーディレクトリの最上位を見てくれるほど行儀が良いのか。試してみる価値はあるかと。

>>えむけい さん
あちゃー、仰るとおりです。修正しておきました。
ご指摘ありがとうございました。

ちは said:

参考にして既存の robots.txt に追加させていただきました。
ユーザー利用型のクローラーはページ取得感覚に配慮が無いのが多いのが困りものですねぇ……
一部検索エンジンのクローラーも配慮無く1秒間に数ページ持ってったり(苦笑)

robots.txt と robot.txt は初期から熟練まで間違えやすいですよね(笑)


ディレクトリと言えば、はてな関連のはフォルダ単位で robots.txt を探すようですが(はてなが今より信用出来なかったころに、はてなのシステムからのアクセスを403エラーにしてやってログをみたらそう言うアクセスしてました)
……問題はいまだにはてなのサービスを信用/信頼出来ないとこなんですけど(苦笑)

e-luck said:

>配慮無く1秒間に数ページ持ってったり
ああ、ありますね(笑)
あと最近は RSS フィードのクロールで酷いのがあったりもしますよね。