Crawling Siti in Staging.
Scopri come elaborare un seo audit di siti web in "Staging" ed essere pronto alla messa online.
Come scansionare un sito in staging aggirando i blocchi pensati per i motori di ricerca: robots.txt, autenticazione, restrizioni IP, noindex e nofollow. Alla fine confronti lo staging con il sito live.
Analisi siti Staging
I siti web in fase di staging di solito non possono essere scansionati dai Motori di Ricerca e dai crawler. Esistendo vari metodi per impedire il crawling, ci sono diversi approcci e configurazioni di Screaming Frog per ottenere comunque una scansione e aggirare questi limiti.
Robots.txt
Il caso più comune riguarda il file robots.txt che blocca la scansione. In questo caso il SEO Spider colleziona un solo URL, lo stato mostra il messaggio “Blocked by robots.txt” e l’URL risulta “Non-Indexable”.

Per oltrepassare questa barriera è sufficiente impostare Ignore robots.txt da 1Configuration›2robots.txt.

Un’alternativa è configurare un robots.txt personalizzato nella sezione Custom Robots della stessa finestra, per rimuovere eventuali direttive “disallow” e aggiungere, se necessario, altre regole che il SEO Spider deve seguire.

Autenticazione
Nel caso in cui il server richieda l’autenticazione è possibile fornire username e password al SEO Spider per scansionare il sito.

Autenticazione di base
L’autenticazione di base e digest viene rilevata automaticamente dal SEO Spider quando si esegue la scansione del sito web: appare una finestra pop-up di autenticazione, proprio come avviene in un browser, che chiede nome utente e password.
In alternativa puoi inserire le credenziali prima del crawl da 1Configuration›2Authentication›3Standards Based: attiva Allow standards based authentication, clicca su Add e compila URL/Host, Username e Password.

Inserendo le credenziali corrette il SEO Spider inizia il normale crawling delle pagine del sito web in staging.
Autenticazione Web Form
Se ci sono moduli web o aree che richiedono il login con i cookie, il SEO Spider permette di accedere a questi moduli all’interno del browser Chrome integrato nel tool.
Per effettuare il login con l’autenticazione dei moduli web vai in 1Configuration›2Authentication›3Forms Based, clicca su Add, inserisci l’URL della pagina di login ed effettua l’accesso dal browser.

IP Address
Alcune piattaforme di staging possono limitare l’accesso in base all’indirizzo IP.
Poiché il SEO Spider effettua il crawling in locale dalla macchina da cui viene eseguito, è necessario fornire questo indirizzo IP per essere inclusi nella “whitelist”.
Configurazione Seo Spider
I siti in sviluppo possono rispondere alle richieste HTTP in modo diverso da quelli in un ambiente live, e spesso hanno direttive per i robot che richiedono ulteriori configurazioni nel SEO Spider.
Velocità di scansione
I siti web in staging sono generalmente più lenti e non sopportano lo stesso carico di un server di produzione. Se noti instabilità del sito, errori di timeout o errori del server, riduci la velocità di scansione da 1Configuration›2Speed.

Puoi anche gestire il tempo di timeout e il tempo di AJAX timeout nel caso di scansioni con il rendering JavaScript.
No Follow
Per proteggersi da eventuali intromissioni dei BOT molti siti in sviluppo presentano un meta robots “nofollow” in tutto il sito, o un X-Robots-Tag nell’intestazione HTTP. Un “nofollow” è una direttiva molto diversa da un noindex: indica a un crawler di non seguire alcun outlink da una pagina.

In questo caso vai in 1Configuration›2Spider›3Crawl e abilita Follow Internal “nofollow” per scansionare gli outlink da queste pagine e ottenere un audit completo.

No Index Urls
Un altro tag che puoi incontrare in un sito in staging è il noindex, che permette la scansione al crawler ma non l’indicizzazione. L’uso del noindex è visibile nella tab Directives con il filtro Noindex. Ti consiglio di controllare che questo tag venga rimosso immediatamente alla messa online: troppe volte si vedono siti con il robots.txt o il noindex ancora attivi anche se già pubblicati.

Oltre agli aspetti legati alla messa online, considera che il SEO Spider scansiona le pagine con un noindex (come un normale BOT) ma le vede come “non indicizzabili”. Per impostazione predefinita lo Spider le esclude dai filtri delle issue: non ti segnala contenuti duplicati, title mancanti, meta description e così via, quindi l’analisi potrebbe essere molto parziale.
La soluzione è disabilitare Ignore Non-Indexable URLs for Issues per una scansione completa del sito di staging:
1Configuration›2Spider›3Advanced
Direttiva None
Troppe volte la direttiva “none” viene sottovalutata e male interpretata, pensando che significhi assenza di direttive: invece equivale a “noindex, nofollow”!
Se fosse questo il caso devi seguire gli stessi passi descritti precedentemente.
Sito Live vs Staging
Con le ultime release di Screaming Frog puoi confrontare due crawl per vedere le differenze, anche grazie alla funzione URL Mapping, che permette di confrontare due diverse strutture di URL come un sito di staging e un ambiente di produzione.
Per confrontare lo staging con il sito live ti basta cliccare su 1Mode›2Compare e selezionare i due crawl.


Crawl siti Staging Video
Hai domande su Crawling Siti in Staging?
Le guide nascono dai progetti di tutti i giorni. Se qualcosa non torna nel tuo crawl, o vuoi applicare questa procedura al tuo sito, scrivimi.

