Ebook gratuito · Kill SEO, Vol. 1: l’unica guida italiana su Screaming Frog, con la prefazione di Dan Sharp Scarica il PDF
Home›Guide Screaming Frog›Crawling Siti in Staging
Guide pratiche e video tutorial

Crawling Siti in Staging.

Scopri come elaborare un seo audit di siti web in "Staging" ed essere pronto alla messa online.

Ultimo aggiornamento16.10.2026 Tempo di lettura4 min LivelloIntermedio Video
Indice della guida 8 sezioni●Brief01.Analisi siti Staging02.Robots.txt03.Autenticazione04.IP Address05.Configurazione Seo Spider06.Sito Live vs Staging07.Crawl siti Staging Video
Brief

Come scansionare un sito in staging aggirando i blocchi pensati per i motori di ricerca: robots.txt, autenticazione, restrizioni IP, noindex e nofollow. Alla fine confronti lo staging con il sito live.

Analisi siti Staging

I siti web in fase di staging di solito non possono essere scansionati dai Motori di Ricerca e dai crawler. Esistendo vari metodi per impedire il crawling, ci sono diversi approcci e configurazioni di Screaming Frog per ottenere comunque una scansione e aggirare questi limiti.

Robots.txt

Il caso più comune riguarda il file robots.txt che blocca la scansione. In questo caso il SEO Spider colleziona un solo URL, lo stato mostra il messaggio “Blocked by robots.txt” e l’URL risulta “Non-Indexable”.

Tab Internal di Screaming Frog SEO Spider 24.3 con un solo URL in stato Blocked by robots.txt e Non-Indexable
Un sito in staging bloccato dal robots.txt: il crawl si ferma al primo URL.

Per oltrepassare questa barriera è sufficiente impostare Ignore robots.txt da 1Configuration›2robots.txt.

Crawl Config › robots.txt di Screaming Frog con l’opzione Ignore robots.txt nel menu a tendina
Crawl Config › robots.txt di Screaming Frog con l’opzione Ignore robots.txt nel menu a tendina

Un’alternativa è configurare un robots.txt personalizzato nella sezione Custom Robots della stessa finestra, per rimuovere eventuali direttive “disallow” e aggiungere, se necessario, altre regole che il SEO Spider deve seguire.

Configurazione di un robots.txt personalizzato con Custom Robots nel SEO Spider
Configurazione di un robots.txt personalizzato con Custom Robots nel SEO Spider

Autenticazione

Nel caso in cui il server richieda l’autenticazione è possibile fornire username e password al SEO Spider per scansionare il sito.

Menu Configuration di Screaming Frog SEO Spider 24.3 con la voce Authentication e le opzioni Standards Based, Forms Based e Profiles
Le due modalità di autenticazione sono nel menu Configuration › Authentication.

Autenticazione di base

L’autenticazione di base e digest viene rilevata automaticamente dal SEO Spider quando si esegue la scansione del sito web: appare una finestra pop-up di autenticazione, proprio come avviene in un browser, che chiede nome utente e password.

In alternativa puoi inserire le credenziali prima del crawl da 1Configuration›2Authentication›3Standards Based: attiva Allow standards based authentication, clicca su Add e compila URL/Host, Username e Password.

Crawl Config › Authentication › Standards Based di Screaming Frog con Allow standards based authentication e i campi URL/Host, Username e Password
Autenticazione HTTP basic o digest con le credenziali salvate.

Inserendo le credenziali corrette il SEO Spider inizia il normale crawling delle pagine del sito web in staging.

Autenticazione Web Form

Se ci sono moduli web o aree che richiedono il login con i cookie, il SEO Spider permette di accedere a questi moduli all’interno del browser Chrome integrato nel tool.

Per effettuare il login con l’autenticazione dei moduli web vai in 1Configuration›2Authentication›3Forms Based, clicca su Add, inserisci l’URL della pagina di login ed effettua l’accesso dal browser.

Crawl Config › Authentication › Forms Based di Screaming Frog con la finestra Add Authentication per inserire l’URL di login
Forms Based: inserisci l’URL di login e accedi dal browser integrato.

IP Address

Alcune piattaforme di staging possono limitare l’accesso in base all’indirizzo IP.

Poiché il SEO Spider effettua il crawling in locale dalla macchina da cui viene eseguito, è necessario fornire questo indirizzo IP per essere inclusi nella “whitelist”.

Configurazione Seo Spider

I siti in sviluppo possono rispondere alle richieste HTTP in modo diverso da quelli in un ambiente live, e spesso hanno direttive per i robot che richiedono ulteriori configurazioni nel SEO Spider.

Velocità di scansione

I siti web in staging sono generalmente più lenti e non sopportano lo stesso carico di un server di produzione. Se noti instabilità del sito, errori di timeout o errori del server, riduci la velocità di scansione da 1Configuration›2Speed.

Crawl Config › Speed di Screaming Frog SEO Spider con Max Threads, Limit URL/s e Max URL/s
Riduci thread e URL al secondo per non sovraccaricare il server di staging.

Puoi anche gestire il tempo di timeout e il tempo di AJAX timeout nel caso di scansioni con il rendering JavaScript.

No Follow

Per proteggersi da eventuali intromissioni dei BOT molti siti in sviluppo presentano un meta robots “nofollow” in tutto il sito, o un X-Robots-Tag nell’intestazione HTTP. Un “nofollow” è una direttiva molto diversa da un noindex: indica a un crawler di non seguire alcun outlink da una pagina.

Pagine di un sito in staging con meta robots nofollow nella tab Directives di Screaming Frog
Pagine di un sito in staging con meta robots nofollow nella tab Directives di Screaming Frog

In questo caso vai in 1Configuration›2Spider›3Crawl e abilita Follow Internal “nofollow” per scansionare gli outlink da queste pagine e ottenere un audit completo.

Crawl Config › Spider › Crawl di Screaming Frog con l’opzione Follow Internal nofollow attiva in Crawl Behaviour
Follow Internal “nofollow” fa seguire allo Spider i link interni in nofollow.

No Index Urls

Un altro tag che puoi incontrare in un sito in staging è il noindex, che permette la scansione al crawler ma non l’indicizzazione. L’uso del noindex è visibile nella tab Directives con il filtro Noindex. Ti consiglio di controllare che questo tag venga rimosso immediatamente alla messa online: troppe volte si vedono siti con il robots.txt o il noindex ancora attivi anche se già pubblicati.

Filtro Noindex della tab Directives di Screaming Frog su un sito in staging
Filtro Noindex della tab Directives di Screaming Frog su un sito in staging

Oltre agli aspetti legati alla messa online, considera che il SEO Spider scansiona le pagine con un noindex (come un normale BOT) ma le vede come “non indicizzabili”. Per impostazione predefinita lo Spider le esclude dai filtri delle issue: non ti segnala contenuti duplicati, title mancanti, meta description e così via, quindi l’analisi potrebbe essere molto parziale.

La soluzione è disabilitare Ignore Non-Indexable URLs for Issues per una scansione completa del sito di staging:

1Configuration›2Spider›3Advanced
Crawl Config › Spider › Advanced di Screaming Frog con l’opzione Ignore Non-Indexable URLs for Issues
Disattiva Ignore Non-Indexable URLs for Issues per analizzare anche le pagine in noindex.

Direttiva None

Troppe volte la direttiva “none” viene sottovalutata e male interpretata, pensando che significhi assenza di direttive: invece equivale a “noindex, nofollow”!

Se fosse questo il caso devi seguire gli stessi passi descritti precedentemente.

Sito Live vs Staging

Con le ultime release di Screaming Frog puoi confrontare due crawl per vedere le differenze, anche grazie alla funzione URL Mapping, che permette di confrontare due diverse strutture di URL come un sito di staging e un ambiente di produzione.

Per confrontare lo staging con il sito live ti basta cliccare su 1Mode›2Compare e selezionare i due crawl.

Menu Mode di Screaming Frog SEO Spider 24.3 con la modalità Compare per confrontare sito live e staging
La modalità Compare nel menu Mode.
URL Mapping per confrontare sito in staging e sito live con la modalità Compare
URL Mapping per confrontare sito in staging e sito live con la modalità Compare
ApprofondimentoComparare i dati di 2 scansioni.La guida completa alla modalità Compare: Change Detection, URL Mapping e lettura dei risultati.Leggi la guida

Crawl siti Staging Video

Fine della guida

Hai domande su Crawling Siti in Staging?

Le guide nascono dai progetti di tutti i giorni. Se qualcosa non torna nel tuo crawl, o vuoi applicare questa procedura al tuo sito, scrivimi.

Aggiornata da chi usa SEO Spider ogni giornoBeta tester Screaming Frog
Raffaele VisintinAutore.Raffaele Visintin.Search & Strategic Marketing Advisor
SF ClubBeta tester · SEO Spider