Mode de crawl List - Fonctions avancées

Brief

Comment utiliser le mode List de SEO Spider pour ne crawler qu’une liste d’URL, chargée depuis un fichier, collée ou issue d’un sitemap. Vois les différences avec le mode Spider et comment suivre les chaînes de redirection jusqu’au bout.

Le mode List

SEO Spider propose deux modes de crawl principaux : le mode standard, Spider, qui crawle tout un site, et le mode List, qui limite le crawl à une liste précise d’URL que tu charges.

Voyons comment tirer le meilleur de la seconde option. Commence par changer le mode de crawl depuis 1Mode›2List dans le menu principal.

Menu Mode de Screaming Frog SEO Spider avec les modes Spider, List, SERP et Compare — Les modes de crawl dans le menu Mode.

Côté configuration, il y a deux différences essentielles entre le mode List et le mode Spider :

Interface : à la place de la barre d’adresse apparaît le bouton Upload pour charger les URL.
Profondeur de crawl : en mode List, Limit Crawl Depth est automatiquement réglé sur 0. Seules les URL chargées sont crawlées, alors que le mode Spider suit aussi les images, les liens externes, etc.

La seule exception concerne le rendu JavaScript : SEO Spider doit crawler les ressources de la page pour l’afficher correctement dans son navigateur Chrome.

Charger et exporter les URL

Charger la liste

Le mode List choisi, clique sur Upload et choisis de charger les URL depuis un fichier, de les saisir à la main, de les coller ou de télécharger un sitemap XML.

Bouton Upload du mode List de Screaming Frog avec From a File, Enter Manually, Paste et Download XML Sitemap — Avec Upload, tu charges les URL depuis un fichier, à la main, en les collant ou depuis un sitemap.

Les points à garder en tête avec ce mode :

les URL saisies doivent avoir le protocole « http » ou « https », sinon SEO Spider ne trouve aucune URL à crawler ;
Screaming Frog normalise les URL au chargement et les dédoublonne pendant le crawl.

Par exemple, tu veux charger ces 4 URL :

SEO Spider détermine automatiquement combien d’URL uniques il faut crawler. Dans l’exemple, il n’en retient que 2 : le fragment « # » n’est pas une URL distincte et la page /seo-spider/ est en double. L’exemple paraît banal, mais avec des listes de milliers d’URL c’est moins évident.

Après le chargement, SEO Spider indique avoir trouvé 4 URL, les normalise et en crawle 2.

Mode List de Screaming Frog avec les 2 URL uniques crawlées après normalisation des 4 URL chargées — Sur les 4 URL chargées, il reste 2 URL uniques.

Exporter les données

Une fois les données du crawl obtenues, utilise Export depuis n’importe quel onglet pour exporter le rapport.

Dans l’export, les URL d’origine restent comme référence (colonne Original URL), à côté des URL normalisées par le crawler (colonne Address), dans l’ordre où tu les as chargées.

Export du mode List de Screaming Frog avec les colonnes Original URL et Address dans l’ordre du chargement — Original URL et Address côte à côte dans l’export.

Bonnes pratiques

Sachant comment SEO Spider raisonne dans ce mode, voyons quelques usages avancés pour cibler l’analyse et gagner du temps.

Liste d’URL et éléments liés

Un premier usage est le crawl ciblé des URL chargées avec un ou plusieurs éléments liés, comme les images, les canonicals ou les hreflang.

Pour cela, supprime la limite de profondeur (Limit Crawl Depth), réglée sur 0 par défaut :

1Configuration›2Spider›3Limits

Onglet Limits de la configuration de Screaming Frog avec l’option Limit Crawl Depth désactivée — Retire Limit Crawl Depth pour suivre aussi les éléments liés.

Sans limite, SEO Spider crawle ta liste d’URL et toutes les URL du même sous-domaine vers lesquelles elles pointent, ce qui n’est pas exactement ce qu’on veut.

L’étape suivante consiste à choisir précisément les ressources à crawler : va dans 1Configuration›2Spider›3Crawl et désactive tous les Resource Links et Page Links inutiles, en ne gardant que ceux qui servent ton analyse.

Crawl Config › Spider › Crawl de Screaming Frog avec les images activées dans Resource Links — Ne garde actifs que les éléments dont tu as besoin, par exemple les images.

Tu te concentres ainsi exactement sur les URL à analyser et sur les éléments qui comptent pour toi, sans perte de temps.

Audit des redirections

Si tu contrôles les redirections d’une migration, il est particulièrement utile de crawler aussi les URL de destination et toutes les chaînes de redirection rencontrées.

Pour cet audit, active Always Follow Redirects dans 1Configuration›2Spider›3Advanced.

Crawl Config › Spider › Advanced de Screaming Frog avec l’option Always Follow Redirects activée — Always Follow Redirects suit chaque chaîne jusqu’à la destination finale.

Avec cette option, la limite de profondeur est ignorée et les redirections sont suivies jusqu’à une réponse autre que 3xx, ou jusqu’à la limite Max Redirects To Follow définie dans 1Configuration›2Spider›3Limits. Tu n’as donc pas à charger plusieurs listes d’URL de destination pour arriver au bout de la chaîne.

À la fin du crawl, utilise le rapport All Redirects (1Reports›2Redirects›3All Redirects), qui cartographie toute la chaîne de redirections dans un seul rapport.

Pour aller plus loinAudit SEO des redirections.Comment analyser les redirections, chaînes et boucles d’un site avec SEO Spider, en mode Spider et List.Lire le guide

Mode de crawl List.