Audits de crawl automatisés avec Data Studio.
Découvre comment configurer Screaming Frog SEO Spider pour produire des audits automatisés pour Google Data Studio.
Comment créer des rapports de crawl entièrement automatisés dans Looker Studio (ex-Data Studio). Tu planifies le crawl, exportes en mode headless vers Google Drive et connectes le modèle pour suivre dans le temps la santé du site.
Automatiser les audits SEO
Ce guide explique comment configurer Screaming Frog SEO Spider pour créer des rapports de crawl entièrement automatisés pour Google Data Studio (aujourd’hui Looker Studio), afin de suivre la santé du site, repérer les problèmes et surveiller ses performances.
En reliant un crawl planifié à un compte Google Drive, SEO Spider met à jour les données du rapport Overview après chaque crawl : tu peux ainsi enrichir les données et donner un historique à tes analyses.
La fonction Scheduling
Planifie le crawl
Le crawl planifié se crée depuis 1File›2Scheduling (raccourci ⌘T sur Mac).
Clique sur Add pour créer une nouvelle tâche. Dans l’onglet General, tu définis les aspects généraux du crawl :
- Task Name : un nom descriptif pour le crawl.
- Project Name : le projet auquel rattacher le crawl.
- Description : très utile pour décrire toutes les particularités et options du crawl.
- Date/Time : la date et l’heure du crawl et sa périodicité (une fois, quotidienne, hebdomadaire ou mensuelle).
Spider et Headless Mode
Dans le deuxième onglet, Spider, tu choisis le mode de crawl entre Spider et List, saisis le domaine racine ou le sous-domaine dans le champ Crawl Seed et choisis la configuration à appliquer en chargeant un fichier de configuration enregistré (s’il existe).
Dans l’onglet Spider, tu dois cocher Headless Mode pour exporter les données vers Data Studio et pour les notifications.
APIs
Dans l’onglet APIs, tu peux aussi enrichir le crawl avec les données de Google Analytics 4, Search Console et PageSpeed Insights, pour une vision plus fine du projet et pour repérer d’éventuelles Orphan Pages. Tu y trouves aussi les métriques de liens de Majestic, Ahrefs et Moz et les API des modèles d’IA (OpenAI, Gemini, Ollama et Anthropic).
Compte Google
Sélectionne ton compte Google dans le menu déroulant ou, si tu n’as jamais enregistré sur Google Drive, choisis Manage puis Add. Pour terminer cette étape, tu dois autoriser Screaming Frog à accéder à ton compte Google.
Configurer le crawl pour Data Studio
Pour le reporting automatisé, ouvre l’onglet Exports : tu y trouves les pages Output Settings, Spreadsheets, Local Files, Data Studio et Presets. N’oublie pas que les exports ne fonctionnent qu’avec le Headless Mode activé.
Dans Output Settings, tu choisis le dossier local, le compte Google Drive où enregistrer les données et le format des fichiers.
Dans la page Data Studio, coche Custom Crawl Overview et clique sur Configure. Ce panneau permet de choisir les informations du rapport Overview à inclure dans l’export vers Google Sheets. Je te conseille de sélectionner toutes les métriques disponibles et de les ajouter à la zone de droite : tu peux le faire d’un coup en cliquant sur la double flèche vers la droite.
Une fois SEO Spider configuré et le crawl planifié exécuté, tu trouveras le document dans un dossier Google Drive :
My Drive > Screaming Frog SEO Spider > Project Name > [task_name]_crawl_summary_reportAprès plusieurs crawls, tu auras un document complet comme celui-ci.
Connecter Data Studio
Copie le modèle
Dans Data Studio, tu peux choisir librement les métriques et dimensions de ton rapport mais, si tu préfères, tu peux partir du modèle fourni par Screaming Frog. Télécharge : Modèle Data Studio de Screaming Frog.
Voyons comment utiliser le modèle. Commence par en faire une copie.
Connecte la source de données
Une fois ta copie créée, Data Studio te permet de créer ta nouvelle Data Source.
Si tu préfères partir de zéro et concevoir ton propre modèle, tu peux choisir la nouvelle source de données directement depuis l’écran principal de la console.
Dans les deux cas, en cliquant sur Data Source, la console de Google propose une série de connecteurs : choisis Google Sheets puis le fichier de ton crawl planifié.
Par défaut, le fichier porte ce nom :
[task_name]_crawl_summary_report[task_name] correspond au nom donné au crawl planifié dans SEO Spider.
Corrige les champs
Après le chargement du fichier, Data Studio affiche tous les champs ; je te conseille de renommer le connecteur (en haut à gauche) pour retrouver facilement la source de données plus tard. Parfois, Data Studio marque certains champs comme « Date » au lieu de « Number » : trie les champs par Type et passe-les tous en « Number », sauf le champ des dates.
Il ne reste plus qu’à cliquer sur Add to Report en haut à droite, puis sur Copy Report pour importer définitivement le fichier dans Google Data Studio.
Les pages du modèle
Le modèle est très complet et comprend les pages d’analyse suivantes :
- Summary : résumé général de la santé du site.
- Response Codes : affiche le nombre de codes de réponse et les URL bloquées.
- URL Types : indique le nombre de pages HTML, images, fichiers JavaScript, etc.
- Indexability : suit l’indexabilité de tout le site et permet de repérer facilement les tendances ou hausses d’URL non indexables.
- Site Structure : repère les changements dans la structure du site.
- On-Page : affiche les changements des balises meta ou des titres.
- Content Issues : repère les modifications du contenu, le nombre de pages dupliquées ou les fautes d’orthographe.
- PageSpeed : suit les performances des Core Web Vitals et identifie les pistes pour améliorer l’expérience de page.
- Structured Data : suit les problèmes de validation et l’usage des données structurées sur tout le site.
- Security : analyse les problèmes de sécurité du site et l’usage non sécurisé de HTTP.
- Hreflang : identifie l’attribut hreflang et les problèmes associés.
- Sitemaps : affiche les erreurs de validation du sitemap, les pages orphelines et les URL absentes du sitemap.
- JavaScript : analyse l’usage de JavaScript et son impact sur les métadonnées, le contenu et les liens internes.
Rappels par e-mail
Planifie l’envoi
Data Studio permet de planifier des alertes par e-mail pour rester informé en permanence de la santé de ton site. Pour cela, il suffit d’activer Schedule Email Delivery.
Share > Schedule Email Delivery
Scheduled Email Delivery te permet de définir les destinataires, la date ou la fréquence d’envoi et l’heure à laquelle tu veux recevoir les informations.
Mode d’emploi
- Pour les crawls récurrents, n’oublie pas que l’ordinateur doit être allumé et pas en veille, sinon le crawl ne s’exécutera pas.
- La page dédiée à PSI demande de modifier le domaine source, réglé sur le site de Screaming Frog au moment de la copie du modèle. Pour cela, clique sur les graphiques et modifie le paramètre.
- Parfois, certains champs personnalisés du modèle ne sont pas repris dans la copie. Par exemple, un champ personnalisé est « non 200 URLs » : dans ce cas, Data Studio peut l’étiqueter « Record count ». Clique sur le graphique concerné et ajoute un champ personnalisé avec une formule adaptée : va dans « Ajouter une métrique › Créer un champ » et saisis la formule ci-dessous.
Crawls automatisés pour Data Studio (vidéo en italien)
Des questions sur Audits de crawl automatisés avec Data Studio?
Ces guides naissent de projets réels. Si quelque chose ne colle pas dans ton crawl, ou si tu veux appliquer cette méthode à ton site, écris-moi.
Auteur.Raffaele Visintin.Search & Strategic Marketing Advisor