A Standard for Robot Exclusion Table of contents: Status of this document Introduction Method Format Examples Example Code Author's Address Status of this document This document represents a consensus on 30 June 1994 on the robots mailing list ([email protected]), between the majority of robot authors and other people with an interest in robots. It has also been open for discussion on the
HatenaScreenshot/1.0 URL で指定したサイトのスクリーンショットをサムネイル化してくれる、はてなスクリーンショットというサービスがあります。今のところ、はてなのユーザでないと自由に使うことはできません。はてなの他サービスとも連携して要所要所で利用されています。同様のサービスでは Simple API などが有名です。 はてなスクリーンショットは /robots.txt による拒否に従ってくれるのですが、その際に何故か UA 文字列 HatenaScreenshot/1.0 (checker) の bot が対象 URL の下位ディレクトリから順に robots.txt の存在を確認してゆきます。例えば http://www.example.com/1/2/3.html を撮影すると http://www.example.com/1/2/robots.txt http:
二週間ほど前から、Y!JAPAN のモバイル版クローラを目にするようになりました。UA 文字列は DoCoMo/2.0/SO502i (compatible; Mozilla 4.0; MSIE 6.0; yahooseeker-jp-mobile AT Yahoo!JAPAN) です。 で、それが何だという話ですが、お行儀が悪いというお話です。/robots.txt で除外しているクロールして欲しくないファイルを、一日数回という異様に少ない頻度でポツポツと取得しに着ます。そもそも /robots.txt を読んでいません。アドホックな対処はあまりしたくないですけど、仕方がないのでとりあえずホスト単位で弾いてます。今のところ、ホストアドレスが隣合って連続している 2 つのホストでこのクローラが動いているようです。まだ始まって間もないと思うので、ゆくゆくは改善されるはず、と期待して様子見です
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
