noindex を使用して検索インデックス登録をブロックする
ページが Google 検索に表示されないようにするには、noindex メタタグをページの HTML コードに含めるか、HTTP レスポンスに noindex ヘッダーを返します。Googlebot はそのページを次にクロールしたときに、このタグまたはヘッダーを検出すると、他のサイトがそのページにリンクしているかどうかにかかわらず、そのページを Google 検索結果から完全に削除します。
noindex を使用すると、サイトへのアクセスをページ単位で制御できるため、サーバーに対するルートアクセス権がない場合に便利です。
noindex の実装
noindex はメタタグと HTTP レスポンス ヘッダーの 2 つの方法で実装できます。効果はどちらも同じです。サイトに合った方法を選択してください。
<meta> タグ
次のメタタグをサイトのページの <head> セクションに配置すると、ほとんどの検索エンジン ウェブクローラにインデックス登録されなくなります。
<meta name="robots" content="noindex">
Google ウェブクローラのみがページをインデックス登録できないようにするには:
<meta name="googlebot" content="noindex">
検索エンジン ウェブクローラによっては、noindex ディレクティブが別の意味に解釈される場合がある点に注意してください。このため、他の検索エンジンではページが検索結果に引き続き表示される可能性があります。
詳しくは、noindex メタタグについての記事をご覧ください。
HTTP レスポンス ヘッダー
メタタグを使用せずに、値が noindex または none の X-Robots-Tag ヘッダーを、レスポンスで返すこともできます。次の HTTP レスポンスの例では、ページをインデックスに登録しないようクローラに指示する X-Robots-Tag が含まれています。
HTTP/1.1 200 OK (…) X-Robots-Tag: noindex (…)
詳しくは、noindex レスポンス ヘッダーについての記事をご覧ください。
Google がメタタグを特定できるようにする
メタタグと HTTP ヘッダーを認識するには、ページがクロールされる必要があります。検索結果にページが引き続き表示される場合は、タグを追加した後でページがクロールされていない可能性があります。URL 検査ツールを使用すれば、Google にページの再クロールをリクエストできます。また、robots.txt ファイルがこの URL を Google ウェブクローラからブロックしているため、タグを認識できない、という理由も考えられます。Google からのページのブロックを解除するには、robots.txt ファイルを編集する必要があります。robots.txt の編集、テストは robots.txt テスターツールで行えます。