Crawl de sous-dossiers.
Découvre comment analyser un sous-dossier précis pour un audit SEO ciblé et efficace.
Sommaire du guide 4 sections
●Brief01.Crawl subfolder02.URL hors du sous-dossier03.Sous-dossiers avec la fonction IncludeComment limiter le crawl de SEO Spider à un seul sous-dossier, par exemple le blog d’un site. Vois pourquoi des URL extérieures au dossier apparaissent aussi et comment les gérer avec l’option Check Links Outside of Start Folder.
Crawl subfolder
Par défaut, SEO Spider crawle tout le domaine racine ou le sous-domaine, mais il arrive, par manque de temps ou pour se concentrer sur une zone, de ne devoir crawler qu’une partie d’un site. Voyons comment crawler un sous-dossier précis.
Exemple : tu veux analyser les erreurs et problèmes uniquement dans le magazine d’un site, c’est-à-dire les URL qui commencent par https://www.example.com**/magazine/**.
Pour ce crawl partiel, il suffit de saisir l’URL du sous-dossier, de lancer SEO Spider et de laisser le crawl se terminer. La fenêtre principale affichera les URL du sous-dossier avec leurs filtres et leurs métriques.
URL hors du sous-dossier
Comme tu le verras pendant tes tests, en plus des URL du sous-dossier, d’autres URL apparaîtront qui n’appartiennent pas à la zone que tu avais limitée.
Ce n’est pas un bug mais une fonction de SEO Spider : le crawler se concentre d’abord sur le sous-dossier, mais il vérifie aussi tous les liens qui en partent et te montre les données des URL liées.
C’est essentiel pour une analyse plus précise et cela t’aide à repérer les liens cassés du sous-dossier vers d’autres URL. L’option qui gère ce comportement est :
1Configuration›2Spider›3Crawl›4Check Links Outside of Start FolderÀ noter : SEO Spider ne reconnaît un sous-dossier que s’il est écrit « ../nomdudossier**/** » : si tu oublies la barre oblique finale, Screaming Frog ne le reconnaît pas. Il se passe la même chose quand la version avec barre oblique redirige vers la version sans.
Sous-dossiers avec la fonction Include
Autre façon de crawler un sous-dossier : la fonction Include, qui utilise des règles regex.
Va dans 1Configuration›2Include et saisis la regex .*/magazine.*.
Des questions sur Crawl de sous-dossiers?
Ces guides naissent de projets réels. Si quelque chose ne colle pas dans ton crawl, ou si tu veux appliquer cette méthode à ton site, écris-moi.
Auteur.Raffaele Visintin.Search & Strategic Marketing Advisor