Crawl Profiles.
Comment utiliser les profils personnalisés et adapter tes crawls avec Screaming Frog
Comment enregistrer et recharger différentes configurations de crawl (crawl profiles) pour ne pas refaire tes réglages à chaque fois. Vois comment les enregistrer, les charger et les utiliser dans les cas les plus courants : user agent, rendu JavaScript et extractions personnalisées.
Qu’est-ce que les crawl profiles
Screaming Frog est un SEO Spider très puissant et polyvalent, qui offre de nombreuses personnalisations pour tes audits SEO quotidiens.
L’une des fonctions les plus sous-estimées est la personnalisation des « profils de crawl », qui permet de retrouver en quelques clics des configurations même avancées pour des crawls toujours plus fins et pertinents.
Dans la version sous licence, tu peux en effet enregistrer une configuration par défaut pour l’analyse, ainsi que des profils de configuration à charger quand tu en as besoin.
Enregistrer et charger les profils
Enregistrer un crawl profile
Screaming Frog propose plusieurs options pour les crawl profiles :
- Pour enregistrer la configuration actuelle comme configuration par défaut, sélectionne 1Configuration›2Profiles›3Save Current Configuration as Default. La dernière configuration reste ainsi en mémoire de SEO Spider, même après un redémarrage.
- Pour enregistrer le profil et le charger plus tard, clique sur 1Configuration›2Profiles›3Save As… et renomme le fichier. Le fichier est enregistré sur ton ordinateur mais n’est pas utilisé par défaut au redémarrage de SEO Spider, qui démarre avec la configuration par défaut. Pour utiliser ce profil, il faudra le charger au besoin.
Charger un crawl profile
Pour charger un profil, clique sur 1Configuration›2Profiles›3Load… et choisis le fichier, ou sélectionne-le dans la liste récente avec 1Configuration›2Profiles›3Load Recent.
Pour restaurer la configuration d’origine de SEO Spider, sélectionne 1Configuration›2Profiles›3Clear Default Configuration.
Utiliser les profils personnalisés
Usages des profils personnalisés
Les usages sont infinis, mais voici ceux que j’utilise le plus avec Screaming Frog :
- User agent : différentes configurations selon le user agent (1Configuration›2User-Agent) pour une vue plus complète. Je conseille de créer des profils avec les user agents « Screaming Frog SEO Spider », « Googlebot », « Googlebot Smartphone » et « Chrome ».
- Text Only/JavaScript : deux configurations distinctes, une avec le rendu « Text Only » et une avec « JavaScript » (1Configuration›2Spider›3Rendering), pour repérer les éventuels goulets d’étranglement.
- Custom Search/Extraction : différents profils selon le scraping HTML voulu (1Configuration›2Custom›3Custom Extraction) : balises sociales, présence de GTM ou GA4, tous les H2 de la page, etc.
- Analyses préliminaires : des profils qui n’extraient que peu d’éléments, pour des crawls très légers et rapides à utiliser en pré-analyse.
Ce sont les usages que je pratique le plus, mais ce n’est qu’un exemple : selon tes besoins, tu créeras des profils plus ou moins détaillés.
Mon conseil : investis du temps pour créer un plan de mesure des objectifs standard de tes analyses et des « profils de crawl » personnalisés à enregistrer et réutiliser dès que nécessaire. Un bon travail en amont te fera gagner beaucoup de temps au quotidien.
Conseils pour utiliser les profils personnalisés
Les profils personnalisés sont l’une des pratiques les plus utiles, surtout dans les périodes chargées où les projets s’enchaînent sans répit : chaque minute gagnée, c’est moins de stress pour la livraison de l’audit. Comme je le disais, je te conseille de créer un plan de mesure des objectifs du crawl et d’utiliser systématiquement les crawls planifiés, qui permettent de choisir le crawl profile lors de la configuration. Le travail sera déjà prêt sur ton bureau et respecter les délais deviendra bien plus simple !
Pour aller plus loinCrawls planifiés.Planifie les crawls de SEO Spider depuis File › Scheduling et associe-les aux crawl profiles : le travail est prêt quand tu allumes ton ordinateur.Lire le guideTutoriel vidéo
À noter : la vidéo a été enregistrée avec la version 18 de SEO Spider. Depuis la version 19, les profils se trouvent dans 1Configuration›2Profiles.
Des questions sur Crawl Profiles?
Ces guides naissent de projets réels. Si quelque chose ne colle pas dans ton crawl, ou si tu veux appliquer cette méthode à ton site, écris-moi.
Auteur.Raffaele Visintin.Search & Strategic Marketing Advisor