L'indicizzazione della pagina è bloccata

I motori di ricerca possono mostrare le pagine nei loro risultati di ricerca solo se queste non bloccano esplicitamente l'indicizzazione da parte dei crawler dei motori di ricerca. Alcune intestazioni HTTP e meta tag indicano ai crawler che una pagina non deve essere indicizzata.

Blocca l'indicizzazione solo per i contenuti che non vuoi che vengano visualizzati nei risultati di ricerca.

Come il controllo dell'indicizzazione di Lighthouse non riesce

Lighthouse segnala le pagine che i motori di ricerca non possono indicizzare:

Controllo Lighthouse che mostra che i motori di ricerca non possono indicizzare la pagina

Lighthouse verifica solo la presenza di intestazioni o elementi che bloccano tutti i crawler dei motori di ricerca. Ad esempio, l'elemento <meta> riportato di seguito impedisce a tutti i crawler dei motori di ricerca (noti anche come robot) di accedere alla tua pagina:

<meta name="robots" content="noindex"/>

Questa intestazione della risposta HTTP blocca anche tutti i crawler:

X-Robots-Tag: noindex

Potresti anche avere elementi <meta> che bloccano crawler specifici, ad esempio:

<meta name="Googlebot" content="noindex"/>

Lighthouse non supera il controllo per istruzioni specifiche del crawler come questa, ma può comunque rendere la pagina più difficile da trovare, pertanto utilizzale con cautela. Lighthouse emette un avviso se un'istruzione specifica del crawler blocca un bot di indicizzazione comune.

Come assicurarti che i motori di ricerca possano eseguire la scansione della tua pagina

Innanzitutto assicurati che i motori di ricerca indicizzino la pagina. Alcune pagine, ad esempio le Sitemap o i contenuti legali, in genere non devono essere indicizzate. Tieni presente che il blocco dell'indicizzazione non impedisce agli utenti di accedere a una pagina se ne conoscono l'URL.

Per le pagine che vuoi vengano indicizzate, rimuovi tutte le intestazioni HTTP o gli elementi <meta> che bloccano i crawler dei motori di ricerca. A seconda di come imposti il sito, potresti dover eseguire alcuni o tutti i passaggi riportati di seguito:

  • Rimuovi l'intestazione della risposta HTTP X-Robots-Tag se configuri un'intestazione della risposta HTTP:
X-Robots-Tag: noindex
  • Rimuovi il seguente meta tag se è presente nell'intestazione della pagina:
<meta name="robots" content="noindex">
  • Evita meta tag che bloccano crawler specifici se questi tag sono presenti nell'intestazione della pagina. Ad esempio:
<meta name="Googlebot" content="noindex">

Aggiungi un altro controllo (facoltativo)

Potresti volere un maggiore controllo sul modo in cui i motori di ricerca indicizzano la tua pagina. Ad esempio, potresti non volere che Google indicizzi le immagini, ma vuoi che il resto della pagina venga indicizzato.

Per informazioni su come configurare gli elementi <meta> e le intestazioni HTTP per motori di ricerca specifici, consulta queste guide:

Risorse