個別記事

前後の記事

Fasterfox の先読みをブロックする方法

この記事が属するカテゴリー
Firefox

自サイトのアクセスログ見てて、同時刻に複数ページへすんげぇ勢いでアクセスしている Firefox の UA 名なんか見つけると、Firefox を高速化する機能拡張 Fasterfox 使ってんだろうなとか思うわけで、まぁここら辺のことはかなり前に最速な人が取り上げてたりする。

今までこの Fasterfox のリンク先読み機能に対して、サイト側の方ではどうにも出来なかったんだけど、Fasterfox のバージョンが 1.0.3 になってから robots.txt を読むようになったらしく、下記の2行を robots.txt に記述すれば先読みをブロックできる。

User-agent: Fasterfox
Disallow: /

つう訳で、サーバに負荷をかけられたくねぇって人や、ログに余計なノイズを残すなやって人はやってみると幸せになれるかも知れないですぜ ！

2006-02-18T22:49:57+09:00 | コメント (5) | トラックバック (2) |はてなブックマーク

関連性が高いエントリー 5 件

トラックバック

このエントリーのトラックバックURL:
http://WWW.lucky-bag.com/cgi/mt/mt-tb.cgi/366

このリストは、次のエントリーを参照しています: Fasterfox の先読みをブロックする方法:

[N] さんからのトラックバック
Fasterfoxの先読みをブロックする方法
Lucky bag::blog: Fasterfox の先読みをブロックする方法というエントリー。 自サイトのアクセスログ見てて、同時刻に複数ページへすん... [続きを読む]
2006年02月22日 12:42
Mozilla Re-Mix さんからのトラックバック
Firefoxのパフォーマンスをアップする拡張機能「Fasterfox」
ブラウジング速度の向上は誰しも望むところですが、物理的な回線速度があり、そう思うようにはパフォーマンスを向上できません。 快適なブラウジングを実現するた... [続きを読む]
2007年01月18日 14:11

コメント

名無し さんからのコメント

オフィシャルのFAQによればルートディレクトリのrobot.txtだけを読んでサブディレクトリは読まないと述べられていますが、たとえばhttp://www.example.com/~mydir/のような場合はmydirの下においても意味がないということだろうか？

2006年02月19日 00:52
えむけい さんからのコメント

robots.txt(複数形)ではないですか? 少なくともリンク先にはそう書かれていますし、
A Standard for Robot Exclusion
http://www.robotstxt.org/wc/norobots.html
を見てもrobots.txtが正しいはずです。
この場合スペルミスするとロボットが拾い損ねてまったく無意味になるわけで。

2006年02月19日 03:24
e-luck さんからのコメント [TypeKey Profile Page]

>>名無し さん
んー、どうでしょう。ユーザーディレクトリの最上位を見てくれるほど行儀が良いのか。試してみる価値はあるかと。

>>えむけい さん
あちゃー、仰るとおりです。修正しておきました。
ご指摘ありがとうございました。

2006年02月19日 20:38
ちは さんからのコメント [TypeKey Profile Page]

参考にして既存の robots.txt に追加させていただきました。
ユーザー利用型のクローラーはページ取得感覚に配慮が無いのが多いのが困りものですねぇ……
一部検索エンジンのクローラーも配慮無く1秒間に数ページ持ってったり(苦笑)

robots.txt と robot.txt は初期から熟練まで間違えやすいですよね(笑)


ディレクトリと言えば、はてな関連のはフォルダ単位で robots.txt を探すようですが(はてなが今より信用出来なかったころに、はてなのシステムからのアクセスを403エラーにしてやってログをみたらそう言うアクセスしてました)
……問題はいまだにはてなのサービスを信用/信頼出来ないとこなんですけど(苦笑)

2006年02月22日 08:48
e-luck さんからのコメント [TypeKey Profile Page]

>配慮無く1秒間に数ページ持ってったり
ああ、ありますね（笑）
あと最近は RSS フィードのクロールで酷いのがあったりもしますよね。

2006年02月22日 23:38

コメントしてください

コメント内ではタグは一切使えません。コメント内にてタグを表記したい場合は、お手数ですが、文字実体参照を利用して < を &lt; 、> を &gt; とそれぞれ置き換えてください。




保存しますか?


(V) (P)