Mise à jour Screaming Frog SEO Spider

Version 20 – Cracker

La version 20.2, baptisée « Cracker », est une mise à jour majeure exceptionnelle de SEO Spider, avec de nouvelles fonctions liées à l’intelligence artificielle, des améliorations du maillage interne, l’analyse N-gram et bien plus, que je détaille ci-dessous.

Snippets JavaScript personnalisés

Depuis cette version, tu peux exécuter du JavaScript personnalisé pendant le crawl. Tu peux donc manipuler les pages ou extraire des données, et aussi dialoguer avec l’API ChatGPT d’OpenAI, des LLM locaux ou d’autres bibliothèques.

Pour utiliser la fonction, va dans 1Configuration›2Custom›3Custom JavaScript et clique sur Add pour configurer ton snippet JS, ou choisis « Add from Library » pour sélectionner l’un des snippets prédéfinis, très utiles, préparés par l’équipe de Screaming Frog.

Menu Configuration › Custom › Custom JavaScript de Screaming Frog SEO Spider — Custom JavaScript se trouve dans le sous-menu Configuration › Custom.

Crawl Config de Screaming Frog dans Custom › Custom JavaScript avec la bibliothèque de snippets système — La bibliothèque System propose des snippets prêts pour ChatGPT, Ollama et d’autres fonctions.

Pour utiliser cette fonction, tu dois activer le mode « JavaScript Rendering » dans 1Configuration›2Spider›3Rendering avant le crawl ; les résultats s’affichent dans le nouvel onglet Custom JavaScript.

Onglet Custom JavaScript de Screaming Frog avec la langue des pages détectée par ChatGPT et le snippet configuré — Les résultats du snippet dans l’onglet Custom JavaScript.

Crawler avec ChatGPT

Parmi les options du nouveau JS personnalisé, tu peux choisir le snippet « Template (ChatGPT) », l’ouvrir dans l’éditeur JavaScript, ajouter ta clé API OpenAI et écrire le prompt pour interroger tout ce que tu veux sur une page pendant le crawl.

En haut de chaque modèle, un commentaire explique comment adapter le snippet. Tu peux aussi le déboguer dans la fenêtre de l’éditeur JavaScript, à droite, avant de lancer le crawl.

Custom JavaScript Snippet Editor de Screaming Frog avec le snippet ChatGPT et le JavaScript Tester — Dans l’éditeur, tu modifies le snippet et le testes sur une URL.

Cette fonction est extrêmement polyvalente : tu peux régler le modèle OpenAI utilisé, le contenu analysé, etc. Elle t’aide pour des tâches assez fines, comme générer à la volée le texte alternatif des images.

Une fois les tests et le débogage terminés et tes snippets configurés, ils sont enregistrés dans ta bibliothèque utilisateur ; tu peux exporter/importer la bibliothèque au format JSON et les partager très simplement.

Bibliothèque User des snippets JavaScript de Screaming Frog avec les boutons d’import et d’export en JSON — Importe et exporte les snippets en JSON pour les partager.

Utilisabilité mobile

Autre nouveauté très utile : le contrôle de l’utilisabilité mobile à grande échelle via l’intégration de Lighthouse (y compris en local).

Dans la fenêtre supérieure de SEO Spider, tu trouves un nouvel onglet « Mobile » avec des filtres alignés sur les indications de Google Search Console.

Filtres disponibles :

Viewport not set ;
Target Size ;
Content not sized correctly ;
Contains Unsupported Plugins ;
Mobile Alternate Links.

Onglet Mobile de Screaming Frog 20 avec les filtres d’utilisabilité mobile et les scores Lighthouse de chaque page — L’onglet Mobile avec les contrôles d’utilisabilité de Lighthouse.

Cette possibilité nécessite la connexion API à PSI (1Configuration›2API Access›3PageSpeed Insights).

Crawl Config de Screaming Frog dans API Access › PageSpeed Insights avec le groupe de métriques Mobile Friendly — Le groupe Mobile Friendly doit être activé dans les métriques de PageSpeed Insights.

Les détails de cette analyse se trouvent en bas de SEO Spider, dans l’onglet « Lighthouse ».

Pour exporter les données, il suffit d’exporter le rapport depuis 1Reports›2Mobile.

Onglet Lighthouse Details de Screaming Frog avec le contrôle Illegible Font Size et les sélecteurs des textes trop petits — Lighthouse Details montre où se trouvent les textes trop petits.

Menu Reports › Mobile de Screaming Frog SEO Spider 20 avec les rapports d’utilisabilité mobile — Les rapports d’utilisabilité mobile.

Analyse N-gram

Grosses nouveautés de SEO Spider côté contenu et maillage interne grâce à la nouvelle fonction « N-gram ».

Désormais, tu peux analyser la fréquence des expressions récurrentes avec l’analyse n-gram des pages d’un crawl, ou de façon agrégée sur une sélection de pages.

Pour l’activer, coche « Store HTML / Store Rendered HTML » dans 1Configuration›2Spider›3Extraction. Les n-grams s’affichent alors dans le nouvel onglet inférieur dédié.

Onglet N-grams de Screaming Frog avec les 2-grams les plus fréquents, la densité et les occurrences par zone de la page — L’onglet N-grams compte les expressions les plus récurrentes.

IMPORTANT : cette fonction ne doit pas être vue comme une croisade pour les mots-clés (dépassée), mais comme un outil d’appui pour travailler la sémantique on-page et garantir l’intention de recherche visée.
En étudiant les n-grams, tu peux renforcer des mots-clés stratégiques et améliorer le maillage interne du site.

Par exemple, en analysant tes principaux concurrents, tu peux aussi définir les n-grams de ton site et revoir le maillage interne avec SEO Spider.

Screaming Frog avec les pages tutoriels sélectionnées, le 2-gram duplicate content et les pages qui le citent sans lien — Les n-grams non liés sont des opportunités de liens internes.

Textes d’ancre agrégés

Nouveaux filtres « Anchor Text » dans les onglets « Inlinks » et « Outlinks ». Ils te permettent de voir de façon agrégée les textes d’ancre vers une URL ou une sélection d’URL.

Onglet Inlinks de Screaming Frog avec la vue Anchors qui agrège les liens par texte d’ancre — La vue Anchors regroupe les liens entrants par texte d’ancre.

Tu peux aussi filtrer les liens autoréférents et « nofollow » pour une analyse plus claire (pour les ancres comme pour les liens).

Onglet Inlinks de Screaming Frog avec le menu Show Links pour inclure ou exclure liens internes, externes, follow, nofollow et autoréférents — Show Links filtre les liens à prendre en compte.

Tu peux ensuite cliquer sur le texte d’ancre pour voir exactement sur quelles pages il se trouve et obtenir les détails habituels du lien.

Intégration de Lighthouse en local

Dernière nouveauté très importante : la possibilité d’exécuter Lighthouse en local pendant le crawl pour récupérer les données PageSpeed.

Il suffit de choisir la source « Local » dans 1Configuration›2API Access›3PageSpeed Insights.

Crawl Config de Screaming Frog dans API Access › PageSpeed Insights avec la source Local pour exécuter Lighthouse en local — Avec la source Local, Lighthouse tourne sur ton ordinateur, sans données CrUX.

Bien sûr, tu peux toujours te connecter via l’API PSI pour collecter des données externes, y compris les données de terrain CrUX. Avec Lighthouse « Local », tu n’as pas ces données, mais c’est très utile quand un site est en développement et demande une authentification, ou quand tu veux contrôler un grand nombre d’URL.

Screaming Frog version 20.