Bloccato dal Robots.txt?

Scopri come analizzare gli effetti delle direttive del Robots.txt

Robots.txt e SEO

Il file robots.txt è cruciale per la SEO in quanto consente di indicare ai Motori di Ricerca quali pagine del sito devono essere escluse dall’indicizzazione, ottimizzando la visibilità dei contenuti più rilevanti. Una corretta configurazione del robots.txt può influenzare direttamente il posizionamento del sito nei risultati di ricerca, consentendo un migliore controllo sull’indicizzazione e sul crawling dei Motori di Ricerca. Tuttavia, un’impropria gestione di questo file potrebbe comportare l’esclusione accidentale di pagine importanti, compromettendo il posizionamento complessivo del sito. Questo scenario è molto frequente durante le migrazioni SEO,  nella fase di pubblicazione dello “Staging”  in cui , ancora in troppe occasioni rimane completamente chiuso e inibisce in todo l’indicizzazione dello Spider.

Copy to Clipboard

Robots.txt e Screaming Frog

Come abbiamo già visto con le nostre guide, Screaming Frog permette di verificare in modo certosino il Robots.txt e testare i singoli “Path URL” direttamente dalla console.
Attraverso il SEO Spider è possibile rispettare (“Respect Robots.txt”) o non considerare il Robots.txt (“Ignore Robots.txt”) durante il crawl in base all’obiettivo prefissato dell’analisi.

configurazione custom robots txt con il seo spider

Attraverso la features precedente è possibile controllare singolarmente le cartelle o i percorsi per vedere se il Robots.txt crea dei blocchi ma non permette un analisi “Bulk” e questo risulta molto riduttivo.

Screaming Frog, attraverso il filtro “Bloccato da Robots.txt“, della tab “Status Code” permette una visione di tutti gli URL interessati dal file e attraverso l’export è possibile scaricare un documento di riferimento per eventuali controlli o analisi.

Probabilmente questa opzione già lo conoscevi ma forse non hai mai considerato una della colonne a disposizione con questo filtro, la “Matched Robots.txt Line“.

Matched Robots.txt Line

Nell’analisi del file robots.txt se tutto viene configurato in modo corretto con i filtro precedente troverai solamente le risorse che realmente volevi bloccare, ma cosa succede se sono comprese pagine importanti che diversamente volevi indicizzare? Ma soprattutto come puoi districarti nel caso di un e-commerce da centinaia di migliaia di Url per trovare l’eventuale bug nella compilazione del File Robots.txt?

In tuo aiuto Screaming Frog ha previsto la colonna “Matched Robots.txt Line” che per ogni singolo URL ti indica quale sia la regola (linea della direttiva nel file) del file robots.txt che sta bloccando l’indicizzazione.

Per una visione molto semplificata potrai cliccare sull’intestazione della colonna e ordinare tutto in base alla linea di riferimento cosicché anche nell’analisi di siti web o e-commerce di grandi dimensioni la risoluzione di eventuali configurazioni potrà essere estremamente semplificata.

Guide Correlate