Feedfetcher

Feedfetcher は、Google Podcasts、Google ニュース、PubSubHubbub についての RSS フィードと Atom フィードを Google がクロールするための仕組みです。Feedfetcher は、アプリやサービスのユーザーがリクエストしたフィードを保存し、定期的に更新します。Google 検索のインデックスに登録されるのはポッドキャスト フィードのみです。ただし、Atom や RSS の仕様に準拠していないフィードでも、インデックスに登録される場合があります。ユーザーが管理するこのフィード取得ツールについて、よくある質問とその回答を次にご紹介します。

Google がサイトのフィードの一部またはすべてを取得しないようリクエストするにはどうすればよいですか？

Feedfetcher データを使用するサービスやアプリをユーザーが追加すると、Google の Feedfetcher はそのフィードのコンテンツを表示するためにフィードを取得しようとします。Feedfetcher のリクエストはユーザーによる明示的なアクションから発生し、自動化されたクローラからは発生しないため、Feedfetcher は robots.txt のガイドラインには従いません。

フィードが公開されている場合、Google はユーザーがそのフィードにアクセスすることを制限できません。この解決策の一つは、Feedfetcher-Google ユーザー エージェントに対して404、410 などのエラー ステータスのメッセージを返すようにサイトを設定することです。

フィードがブログやサイト ホスティング サービスから提供されている場合は、そのサービスを直接設定してフィードへのアクセスを制限してください。

Feedfetcher はどのくらいの頻度でフィードを取得しますか？

Feedfetcher がサイトからフィードを取得する回数は、ほとんどの場合、平均して 1 時間に 1 回を超えることはありません。 一部の頻繁に変更されるサイトに対しては、更新の頻度が高くなります。ネットワークの遅延により、Feedfetcher がフィードを取得する頻度が一時的に高くなったように見えることもあります。

Feedfetcher は、ユーザーがインストールしたサービスまたはアプリからのリクエストを受けてフィードを取得します。ユーザーが、存在しないフィード URL をリクエストした可能性があります。

Feedfetcher が「非公開」のウェブサーバーから情報をダウンロードしようとするのはなぜですか？

Feedfetcher は、ユーザーがインストールしたサービスまたはアプリからのリクエストを受けてフィードを取得します。「非公開」サーバーを知っているユーザーや、誤ってこのサーバーを入力したユーザーからリクエストされた可能性があります。

Feedfetcher が robots.txt ファイルの指示に従わないのはなぜですか？

Feedfetcher がフィードを取得するのは、フィードのデータをリクエストするサービスまたはアプリをユーザーが明示的に開始した後のみです。Feedfetcher はロボットではなくユーザーの直接的なエージェント（代理人）として動作するため、robots.txt の内容は無視されます。Feedfetcher は複数のユーザーに対応したエージェントとして機能するため、アプリやサービスを通じてフィードを要求したすべてのユーザーについて、共通するフィードのリクエストを 1 つだけ作成することで、帯域幅を節約できます。共通するフィードは RSS と Atom です。

Feedfetcher によるサイトのクロールをブロックするには、Feedfetcher-Google ユーザー エージェントに対して 404 や 410 などのエラー ステータス メッセージを返すようにサーバーを設定してください。

Google.com の複数のマシンからアクセスがあり、それがすべてユーザー エージェント Feedfetcher であるのはなぜですか？

Feedfetcher は、複数のマシンに分散させることでパフォーマンスを向上させウェブの拡大に伴って拡張される設計になっています。帯域幅の使用量を節約するため、ネットワーク上で、取得するサイトの付近にあるマシンが使用されます。

ログにフィルタをかけたいので、Feedfetcher のリクエストで使用される IP アドレスを教えてください。

Feedfetcher が使用する IP アドレスはその都度変わります。Feedfetcher のリクエストを特定する方法としては、ユーザー エージェント Feedfetcher-Google を探すことをおすすめします。

Feedfetcher がサイト上の同じページを何度もダウンロードするのはなぜですか？

一般に、Feedfetcher は所定のフィードを取得する際にサイトから各ファイルを 1 回のみダウンロードします。ごくまれに、マシンが停止し、再起動されると、最近アクセスされたばかりのページが再度取得されることがあります。

通常のウェブクローラとは異なり、Feedfetcher はリンクをたどりません。Feedfetcher を使用するサービスまたはアプリのユーザーによって行われたリクエストに沿って動作します。

ここに記載されていない Feedfetcher 関連の質問については、どこに問い合わせればよいですか？

問題が解決しない場合は、検索セントラルのフォーラムに質問を投稿してみてください。