Sous-dossier Crawl
Par défaut, le Seo Spider effectue une analyse complète du « domaine racine » ou du sous-domaine, mais il peut arriver, pour des raisons de temps ou pour répondre à un objectif spécifique, que vous ne deviez effectuer qu’une analyse partielle d’un site web.
Voyons ensemble comment obtenir un crawl d’un sous-dossier spécifique.
Exemple :vous souhaitez analyser les erreurs et les criticités uniquement dans la zone des blogs du site web de Screaming Frog :
https://www.screamingfrog.co.uk/blog/
Pour ce crawl partiel, il suffit d’entrer l’URL du sous-dossier, de lancer Seo Spider et de laisser le crawl se terminer. De cette manière, vous trouverez la fenêtre principale remplie d’URL de sous-dossiers, de filtres respectifs et de mesures.
Comme vous le verrez lors de vos tests, en plus des URL du « sous-dossier », il y aura également des URL supplémentaires qui n’appartiennent pas à la zone que vous avez restreinte.
Ce comportement anormal n’est toutefois pas un bogue dans le système, mais une caractéristique intrinsèque de Seo Spider.
En fait, le crawler considère le sous-dossier en premier lieu, mais il suit également tous les liens présents en proposant les données des URL liés.
Cela est essentiel pour une analyse plus précise et vous aide à découvrir les liens brisés entre le sous-dossier et les URL externes.
> > > Configuration Spider Crawl Behaviour Check Links Outside of Start Folder (Vérifier les liens en dehors du dossier de démarrage)
Attention : le Seo Spider n’est capable de scanner un sous-dossier qu’avec la syntaxe « ../nom du dossier/ » ; si vous oubliez le « / » final, Screaming Frog ne le reconnaît pas. La même situation se produit lorsque la version avec un « / » final est redirigée vers la version sans « / ».
Une autre solution pour analyser un sous-dossier consiste à utiliser la fonction « include » en exploitant les règles RegEX.
> > La configuration comprend .*/blog.*
