Ebook gratuito · Kill SEO, Vol. 1: l’unica guida italiana su Screaming Frog, con la prefazione di Dan Sharp Scarica il PDF
Funzioni e schede del SEO Spider

TAB DIRETTIVE.

Analisi del Meta tag robots e tag x-Robots nell'intestazione http.

Ultimo aggiornamento30.09.2026 Tempo di lettura4 min LivelloAvanzato Video
Indice della guida 3 sezioni●Brief01.Panoramica Tab Direttive02.Filtri
Brief

Cosa trovi nella scheda Directives di SEO Spider: meta robots e X-Robots-Tag, come interagiscono con il robots.txt e cosa significa ogni filtro, da noindex a unavailable_after.

Panoramica Tab Direttive

La scheda delle direttive mostra i dati relativi al tag meta robots e il tag X-Robots nell’intestazione HTTP. Queste direttive robots possono controllare come il tuo contenuto e gli URL vengano visualizzati nei Motori di Ricerca, come Google.

Per comprendere al meglio l’importanza di queste direttive considera due scenari possibili in cui si potrebbe imbattere il Bot del Motore di Ricerca:

  1. Il file robots.txt è mancante o ha autorizzato il crawl di un URL, i Motori di Ricerca considerano quella risorsa scansionabile e archiviabile nell’indice a meno che non ci siano delle direttive più specifiche definite attraverso i Meta Robots.
  2. il robots.txt ha in “disallow” l’url e non permette la sua scansione. In questo caso i meta robots non saranno rilevati e le loro istruzioni non saranno eseguite.

Il meta robots tag dovrebbe essere posto nell’head di una pagina HTML o nell’intestazione HTTP usando il X-Robots-Tag e più direttive possono essere combinate:

<meta name="robots" content="noindex, nofollow">
X-Robots-Tag: noindex, nofollow

La scheda si presenta con tre colonne, la prima che riguarda l’indirizzo dell’URL (Address) e le restanti dedicate rispettivamente al Meta Robots e X-Robots-Tag per le quali il Seo Spider colleziona tutte le istanze scoperte.

Tab Directives di Screaming Frog con il menu dei filtri aperto e le colonne Occurrences, Meta Robots 1 e X-Robots-Tag 1
La tab Directives con i filtri e le istanze di Meta Robots e X-Robots-Tag.

Filtri

I filtri a tua disposizione sono i seguenti:

  • Index: identifica le pagine che presentano l’attributo “index”; non è necessaria la sua presenza perché i Motori di Ricerca indicizzano gli URL anche senza questa direttiva.

  • Noindex: questo attributo indica ai Motori di Ricerca di non indicizzare le pagine. Questa direttiva non blocca la scansione dello Spider! Può essere impostata a livello globale o specifica per ogni Motore di Ricerca.

  • Follow: attraverso la direttiva “follow” si istruisce lo Spider a seguire tutti i link della pagina durante il crawling. Se non presente i Motori di Ricerca seguiranno i link di default.

  • Nofollow: consiste in un ‘suggerimento’ che dice ai Motori di Ricerca di non seguire alcun link sulla pagina per la scansione. Questa direttiva è comunemente applicata nei siti di staging assieme a “noindex” per evitare le scansioni dei Motori di Ricerca prima della pubblicazione.
    Per poter eseguire un crawl che presenta questa direttiva puoi abilitare l’opzione ‘Follow Internal Nofollow’ da 1Configuration›2Spider›3Crawl.
    Ricorda bene: con questa direttiva i link della pagina non passano PageRank.

  • None: il meta tag “none” non corrisponde alla mancanza di direttive, anzi è molto restrittivo e combina il “noindex e il “nofollow”.

  • NoArchive: questo tag robots indica a Google di non mostrare la copia cache della pagina nei risultati di ricerca. Dal 2024 Google ha rimosso la copia cache dai risultati e l’operatore “cache:”, quindi questa direttiva oggi ha poco effetto.

  • NoSnippet: questo meta robots inibisce il Motore di Ricerca (al momento solo a Google) di mostrare la “Meta Description” nei risultati di ricerca.

  • Max-Snippet: questo valore permette di limitare la lunghezza dello snippet di testo per questa pagina a [numero] di caratteri in Google. I valori speciali includono – 0 per nessun snippet, o -1 per permettere qualsiasi lunghezza di snippet.

  • Max-Image-Preview: questo valore imposta la dimensione massima dell’anteprima di un’immagine di una pagina Html in Google. I valori dell’indice possono essere:

    • “none”: non deve essere mostrata alcuna anteprima dell’immagine;
    • “standard”: è possibile mostrare un’anteprima predefinita dell’immagine;
    • “large”: è possibile mostrare un’anteprima dell’immagine che sia larga al massimo come l’area visibile.
  • Max-Video-Preview: questa direttiva indica a Google di usare un massimo di [numero] secondi come snippet per i video di una pagina nei risultati di ricerca. Puoi anche specificare 0 per permettere solo un’immagine statica, o -1 per permettere qualsiasi lunghezza di anteprima.

  • NoODP: questo meta tag, ormai in disuso, indicava a Google di non usare l’Open Directory Project (DMOZ) per i suoi snippet. Può tranquillamente essere rimosso.

  • NoYDIR: questo è un vecchio meta tag che indicava a Google di non usare Yahoo Directory per i suoi snippet. Questo meta robots può essere rimosso.

  • NoImageIndex: il meta robots con questa direttiva dice a Google di non indicizzare le immagini di una pagina html. Può capitare che le immagini presenti in uno specifico Url con istruzione “NoimageIndex” siano linkate anche da altre pagine, in questo caso potrebbero comunque venire indicizzate. Per evitare questa condizione una soluzione è quella di impostare X-Robots-Tag nell’HTTP Header del file immagine.

  • NoTranslate: questo valore dice a Google di non proporre la traduzione della pagina nei risultati di ricerca. Se non presente, il Motore di Ricerca potrebbe mostrare un link accanto al risultato in Serp con la possibilità di vedere la pagina tradotta.

  • Unavailable_After: questa istruzione ti permette di specificare l’ora e la data esatta in cui vuoi che Google smetta di mostrare la pagina nei risultati di ricerca. Istruzione molto utile per pagine legate ad eventi, fiere, promozioni a tempo etc.

  • Refresh: questa direttiva reindirizza l’utente ad un nuovo URL dopo un certo periodo di tempo.

  • Outside <head>: le pagine con un meta robots fuori dall’head, che i Motori di Ricerca potrebbero ignorare.

Fine della guida

Hai domande su TAB DIRETTIVE?

Le guide nascono dai progetti di tutti i giorni. Se qualcosa non torna nel tuo crawl, o vuoi applicare questa procedura al tuo sito, scrivimi.

Aggiornata da chi usa SEO Spider ogni giornoBeta tester Screaming Frog
Raffaele VisintinAutore.Raffaele Visintin.Search & Strategic Marketing Advisor
SF ClubBeta tester · SEO Spider