Analyser un site protégé par mot de passe.
Découvre comment analyser des sites en préproduction ou des sites qui exigent un mot de passe pour être consultés et crawlés.
Comment crawler sans risque des sites en préproduction ou protégés par mot de passe avec l’authentification par formulaire de SEO Spider. Vois comment préparer des identifiants en lecture seule et exclure les zones qui pourraient modifier le site pendant le crawl.
Sites protégés
Dans la vie d’un SEO, il arrive souvent de devoir analyser des sites en préproduction ou crawler des sites privés qui demandent un mot de passe pour être consultés et crawlés.
Screaming Frog t’accompagne dans ce type de diagnostic : depuis la version 7.0 de SEO Spider, il propose la fonction « web form authentication ».
Avant de lancer le crawl, voyons les contre-indications possibles de cette fonction et comment les éviter pour un crawl sans erreur.
Crawler un site protégé par mot de passe
1. Gérer les identifiants de SEO Spider
Cette option est très puissante mais doit être utilisée avec une grande responsabilité : si le Spider est authentifié en tant qu’administrateur du site, il cliquera sur chaque lien des pages et, connecté, ces clics pourraient aussi déclencher une déconnexion, créer des articles, installer des plugins ou, dans le pire des cas, supprimer des données.
C’est pourquoi il est essentiel de prévoir une authentification avec des identifiants limités, en lecture seule et sans aucun droit d’écriture sur le site.
Si tu analyses des CMS courants comme WordPress, Drupal ou Joomla, le mieux est de créer un utilisateur dédié avec des droits d’« abonné ».
2. Utiliser la fonction Exclude
Il est aussi conseillé d’utiliser 1Configuration›2Exclude sur les dossiers qui pourraient modifier le site en production ou privé ; avec WordPress, tu peux exclure du crawl tout ce qui se trouve dans « /wp-admin/ ».
Par exemple, pour exclure le dossier d’administration et la déconnexion, tu peux saisir ces regex dans SEO Spider.
http://example.com/wp-login\.php\?action=logout.*
http://example.com/wp-admin/.*
3. Configurer l’authentification
Une fois le site sécurisé et les exclusions configurées, tu peux te connecter au site depuis 1Configuration›2Authentication›3Forms Based en cliquant sur le bouton Add.
En poursuivant, on te demandera l’URL à crawler et un navigateur s’ouvrira automatiquement pour que tu saisisses tes identifiants.
Grâce à cette option, tu pourras par exemple corriger avant la mise en ligne tous les problèmes trouvés mais, comme je le disais au début, fais très attention à la sécurité du site et évite les crawls incontrôlés !
Des questions sur Analyser un site protégé par mot de passe?
Ces guides naissent de projets réels. Si quelque chose ne colle pas dans ton crawl, ou si tu veux appliquer cette méthode à ton site, écris-moi.
Auteur.Raffaele Visintin.Search & Strategic Marketing Advisor