クロールに関する誤解と事実

Google がウェブサイトをクロールする方法について、知識をテストしましょう。

サイトマップを圧縮すると、クロール バジェットを増やすことができる。

正しい

誤り

増やすことはできません。サイトマップを圧縮してもサーバーから取得する必要は変わらないため、圧縮されたサイトマップを送信されても、Google はクロール時間や労力を大幅に減らすことはできません。

Google は新しいコンテンツを好むため、ページに手を加え続ける方がよい。

正しい

誤り

Google 検索では、コンテンツは新旧に関係なく、品質によって評価されます。必要に応じてコンテンツを作成、更新してください。ただし、ページに些細な変更を加えて日付を更新し、ページを人為的に新しく見せても、付加価値が生じることはありません。

Google は、新しいコンテンツよりも古いコンテンツ（重みが大きい）を優先する。

正しい

誤り

新旧にかかわらず、ページは有用です。

Google はクリーンな URL を優先し、クエリ パラメータを好まない。

正しい

誤り

Google はパラメータをクロールできる。

ページの読み込みとレンダリングが速いほど、Google はより多くクロールできる。

正しい

Google のリソースが時間とクロールボット数の組み合わせによって制限されるという意味では正しいと言えます。限られた時間でより多くのページを配信できるサイトでは、Google がクロールできるページが増えます。ただし、より重要な情報を含むサイトのクロールには、たとえ遅くても、より多くの時間を割く可能性があります。おそらく、お客様にとって重要なのは、クロールの対象範囲を広げるためにサイトを高速化するよりも、ユーザーのためにサイトを高速化することでしょう。毎回すべてのコンテンツをクロールするよりも、Google が適切なコンテンツをクロールできるようにする方がはるかに簡単です。サイトのクロールには、コンテンツの取得とレンダリングの両方が含まれます。ページのレンダリングに要する時間は、ページのリクエストに要する時間と同じです。 そのため、ページのレンダリングを高速化すると、クロール速度も向上します。

誤り

小規模サイトに対するクロール頻度は大規模サイトよりも低い。

正しい

誤り

重要なコンテンツが頻繁に変更されているサイトの場合、規模に関係なくクロール頻度は高くなります。

コンテンツがホームページに近いほど、Google にとって重要度が高くなる。

正しい

一部正しい

サイトのホームページはサイトで最も重要なページであることが多いため、ホームページに直接リンクされているページは重要度が高いと見なされ、クロール頻度が上がる可能性があります。ただし、そうしたページがサイトの他のページより上位にランク付けされるわけではありません。

誤り

URL のバージョニングは Google にページの再クロールを促すのに適した手段である。

正しい

一部正しい

Google に早くページを再クロールさせる目的でバージョン付きの URL を使用した場合、おそらく望みの効果が得られます。ただし、そうした URL は不要であることが多く、ページが実際に変更されていない場合はクロール リソースを無駄にすることになります。バージョン付きの URL を使用して新しいコンテンツを示す場合は、ページ コンテンツに意味のある変更を行ったときに限り、URL を変更することをおすすめします。

誤り

サイトの速度とエラーがクロール バジェットに影響する。

正しい

サイトの速度を上げると、ユーザーにとっての利便性が向上するだけでなく、クロール頻度も高くなります。Google のクローラーでは、速度に優れたサイトはサーバーが健全な状態であることを表すものと見なされるので、同じ接続の数でより多くのコンテンツの取得が可能になります。一方、5xx HTTP レスポンス ステータス コード（サーバーエラー）や接続タイムアウトが著しく多いと、サーバーの状態が健全でないと見なされ、クロール頻度が低下します。このため、Search Console のクロールの統計情報レポートに注意を払い、サーバーエラーを少なく抑えることをおすすめします。

誤り

クロールは Google 検索のランキング要因である。

正しい

誤り

クロール頻度が上がっても、必ずしも Google 検索の検索結果での掲載順位が高くなるとは限りません。Google は検索結果のランキングを決定するために多数のシグナルを活用しています。クロールは、ページを検索結果に表示するのに必要ですが、ランキングのシグナルではありません。

代替 URL と埋め込みコンテンツがクロール バジェットにカウントされる。

正しい

一般的に、Googlebot によりクロールされる URL は、いずれもサイトのクロール バジェットにカウントされます。 AMP や hreflang のような代替 URL、CSS や JavaScript といった埋め込みコンテンツ（XHR フェッチを含む）についてもクロールが必要となる可能性があり、その場合にはサイトのクロール バジェットが使われることになります。

誤り

「crawl-delay」ルールを使って Google のクローラーを制御できる。

正しい

誤り

標準以外の「crawl-delay」robots.txt ルールは、Google のクローラーで処理されません。

nofollow ルールはクロール バジェットに影響する。

正しい

一部正しい

クロールされる URL はいずれも、クロール バジェットに影響を及ぼします。そのため、ページで URL が nofollow とマークされていても、サイトの別のページやウェブ上の任意のページがリンクを nofollow としてラベル付けしていない場合は、クロールの対象となります。

誤り

noindex を使用してクロール バジェットを制御できる。

正しい

一部正しい

クロールされる URL はすべてクロール バジェットに影響します。そして、Google が noindex ルールを見つけるには、ページをクロールする必要があります。

ただし、noindex はページをインデックス登録から除外するのに役立ちます。ページが最終的に Google のインデックスに登録されないようにしたい場合は、クロール バジェットを気にせずに、引き続き noindex を使用してください。また、noindex などの方法を使用して Google のインデックスから URL を削除すると、Google のクローラーがサイト上の他の URL に集中できるという点も重要です。つまり、noindex を使用すると、長期的にはサイトのクロール バジェットを間接的に解放できます。

誤り

4xx HTTP ステータス コードを配信するページは、クロール バジェットを浪費している。

正しい

誤り

4xx HTTP ステータス コード（429 以外）を配信するページがクロール バジェットを浪費することはありません。Google がそのページをクロールしようとした場合、ステータス コード以外のコンテンツは受け取りません。