L’exploration des Staging sites

Découvrez comment réaliser un audit seo des sites web de démonstration et soyez prêts à vous lancer en ligne.

Analyse du Staging Site

Les sites web de démonstration ne peuvent généralement pas être analysés par les moteurs de recherche et les robots d’indexation. Étant donné qu’il existe plusieurs méthodes pour empêcher le crawling, plusieurs approches ou configurations de Screaming Frog peuvent être mises en œuvre pour permettre le crawling et contourner ces limitations.

Robots.txt

  • 1. Robots.txt

Le cas le plus fréquent concerne le fichier robots.txt qui bloque l’analyse. Dans ce cas, le Seo Spider ne collecte qu’une seule URL, l’enregistrement affiche le message “Bloqué par robots.txt” et le statut est “Indexable”. Pour surmonter cet obstacle, il suffit d’activer l’option “Ignorer Robots.txt” dans Config. > Robots.txt

Analisi siti instaging bloccati da file robots txt

> > Une autre solution consiste à configurer un fichier robots.txt personnalisé via “Config robots.txt Custom” afin de supprimer toute directive “disallow” et d’ajouter, le cas échéant, d’autres personnalisations à suivre par le robot Seo Spider.

configurazione custom robots txt con il seo spider

Authentification

  • 2. L’authentification

Si le serveur requiert une authentification, il est possible de fournir un nom d’utilisateur et un mot de passe au Seo Spider pour qu’il analyse le site.

Authentification de base

L’authentification de base et les condensés sont automatiquement détectés par le Seo Spider lors de l’analyse du site web.

Lorsque vous scannez le site en cours de développement, une fenêtre d’authentification apparaît, comme dans un navigateur web, et vous demande un nom d’utilisateur et un mot de passe.

En entrant les informations d’identification correctes, le Seo Spider commence l’exploration normale des pages du site Web en phase d’essai.

Authentification des formulaires Web

S’il existe d’autres formulaires web ou zones qui nécessitent une connexion avec des cookies pour l’authentification, Seo Spider permet aux utilisateurs d’accéder à ces formulaires web dans le navigateur Chrome intégré à l’outil.

> > Pour vous connecter en utilisant l’authentification par formulaire web, cliquez sur “Configuration Authentification basée sur les formulaires”. Cliquez ensuite sur le bouton “Ajouter”, entrez l’URL du site que vous souhaitez explorer et connectez-vous à partir de votre navigateur.

Adresse IP

Certaines plateformes de mise à disposition peuvent restreindre l’accès en fonction de l’adresse IP.

Étant donné que le SEO Spider effectue des recherches locales à partir de la machine sur laquelle il fonctionne, il est nécessaire de fournir cette adresse IP pour qu’elle soit incluse dans la “liste blanche”.

Configuration de Seo Spider

Les sites en cours de développement peuvent répondre différemment aux requêtes HTTP que ceux qui se trouvent dans un environnement réel, et peuvent souvent avoir des directives de robot qui nécessitent une configuration plus poussée dans le SEO Spider.

Vitesse de balayage

Les sites web en phase sont généralement plus lents et ne peuvent pas supporter la même charge qu’un serveur de production. Si vous constatez une instabilité du site et des erreurs de temporisation ou de serveur, vous devez réduire la vitesse de balayage du spider.

Ou gérer le délai d’attente et le délai d’attente AJAX dans le cas d’un balayage avec rendu Javascript.

Pas de suivi

Pour se prémunir contre d’éventuelles intrusions de BOT, de nombreux sites en développement peuvent présenter une balise méta robots “nofollow” sur l’ensemble du site, ou une balise X-Robots dans l’en-tête HTTP. Un “nofollow” est une directive très différente d’un “noindex” et indique à un robot d’indexation de ne pas suivre les liens sortants d’une page.

> Si vous vous trouvez dans la situation décrite dans l’exemple, allez dans “Config Spider” et activez l’option “Follow Internal Nofollow” pour analyser les liens sortants de ces pages et obtenir un audit complet.

Pas d’url d’index

Une autre balise que vous pouvez rencontrer dans un site de démonstration est la balise noindex, qui permet au robot d’exploration d’explorer le site mais pas de l’indexer. L’utilisation de noindex est visible sous l’onglet “Directives” et le filtre “noindex”. Ce que je recommande, c’est de vérifier que cette balise est supprimée immédiatement lorsque le site web est mis en ligne. Trop souvent, vous voyez des sites avec le fichier robots.txt ou la balise noindex toujours active alors qu’ils ont déjà été publiés en ligne.

Outre les aspects liés à la mise en ligne, vous devez tenir compte du fait que le Seo Spider analyse les pages avec un noindex (comme un BOT normal), mais considère ces pages comme “non indexables”. Cela signifie que, par défaut, le spider ne prend pas en compte les métriques pertinentes dans les filtres et ne vous fournit pas d’éléments tels que le contenu dupliqué, ou les titres de page manquants, les méta-descriptions, etc.

La solution consiste à désactiver l’option “Ignorer les URL non indexables pour les filtres de page” pour une analyse complète du site de démonstration.

> > Config Spider Advanced

gestione della direttiva no index con il seo spider

Aucune Directive

Trop souvent, la directive “None” est sous-estimée et mal interprétée, pensant qu’elle signifie qu’il n’y a pas de directives, alors qu’elle équivaut à “noindex, no follow” (pas d’indexation, pas de suivi) !

Dans ce cas, vous devez suivre les mêmes étapes que celles décrites ci-dessus.

Site réel ou site de démonstration

Avec la dernière version de Screaming Frog the Seo Spider, vous pouvez comparer deux crawls pour voir les différences grâce à la fonction “URL Mapping”, qui vous permet de comparer deux structures d’URL différentes, telles qu’un site Web d’essai par rapport à un environnement de production ou en direct.

Funzione compare per analisi siti staging contro live

> Pour comparer la phase d’essai avec le site web réel, il suffit de cliquer sur “Mode Compare” et de sélectionner les deux crawls.

Url mapping per analisi siti staginig e live

Staging Site Video

Seo Spider Tab