Comment exploiter l’API URL Inspection

L’API URL Inspection

Pour ceux qui, comme moi, aiment le SEO et l’univers Google, le 31 janvier 2022 est une date à retenir : le moteur a enfin publié son API URL Inspection, qui nous permet, passionnés de SEO, de nous en donner à cœur joie pour concevoir des rapports toujours plus précis et intéressants, aussi bien pour nos analyses internes que pour présenter les données aux clients. Après avoir lu le Google developer forum, je suis tombé sur le blog de ma consœur Lazarina Stoy, qui non seulement a relayé la nouvelle, mais a aussi créé un modèle complet pour Google Data Studio (aujourd’hui Looker Studio) qui reprend les données de la Search Console et les présente au mieux.

Comment fonctionne l’API URL Inspection

L’API URL Inspection utilise une méthode appelée « index.inspect » qui affiche l’état d’une URL et indique si elle est « indexée » ou « non indexée ». Pour obtenir ces résultats, tu fais une requête avec deux paramètres : le premier est l’URL à analyser, le second l’URL de la propriété définie dans la Search Console.

La structure de la requête est la suivante :

Représentation JSON :

{
  "inspectionUrl": "chaîne",
  "siteUrl": "chaîne",
  "languageCode": "chaîne"
}

L’API vérifie la version de l’URL présente dans l’index de Google : elle ne permet pas de tester une URL en direct. Google a aussi fixé des quotas : 2 000 requêtes par jour et 600 par minute par propriété.

L’API URL Inspection et Screaming Frog

Activer l’URL Inspection dans SEO Spider

Screaming Frog peut se connecter à Google Search Console par API, ce qui te permet d’exploiter les données de cette nouveauté de façon simple mais très puissante, pour des analyses toujours plus avancées et présentées clairement.

Va dans 1Configuration›2API Access›3Google Search Console, connecte ton compte et, dans l’onglet URL Inspection, active Enable URL Inspection. À la fin du crawl, tu trouves les données dans l’onglet 1Search Console.

Crawl Config › API Access › Google Search Console de SEO Spider avec l’onglet Account Information, la propriété sélectionnée et le compte connecté — Connecte ton compte Google et choisis la propriété Search Console.

Onglet URL Inspection de Crawl Config › API Access › Google Search Console dans SEO Spider avec l’option Enable URL Inspection activée — Dans l’onglet URL Inspection, tu actives l’API : jusqu’à 2 000 URL par jour et par propriété.

Onglet Search Console de Screaming Frog SEO Spider avec le bouton Export et les colonnes Coverage et Last Crawl de l’URL Inspection — L’onglet Search Console avec les données de l’URL Inspection : exporte-les avec Export.

Le modèle Looker Studio de Lazarina Stoy

Des données de Screaming Frog au modèle

Une fois les données obtenues avec SEO Spider, tu peux utiliser comme tableau de bord le modèle de Lazarina Stoy (le lien est en bas de l’article) : ouvre le modèle, fais-en une copie et utilise les données exportées de Screaming Frog comme source de ton nouveau modèle.

Modèle Looker Studio Google Search Console URL Inspection API Explorer de Lazarina Stoy avec Coverage Overview, état de l’index, user agent et utilisabilité mobile — Le modèle URL Inspection API Explorer. Source : Lazarina Stoy.

À noter : le modèle ne fonctionne que si tu utilises Screaming Frog en anglais. Avec l’interface dans une autre langue, les noms des colonnes exportées sont différents et Looker Studio ne trouve pas les données.

Champs personnalisés et filtres

Comme pour tous les modèles Looker Studio, il peut y avoir des dysfonctionnements lors de la copie des champs, des filtres et de leurs applications. Pour corriger d’éventuels problèmes, voici tous les éléments qui composent le modèle.

Canonical Mismatch? (Y/N)

Page Section

Pages avec et sans clics

Champ personnalisé Pages with / without clicks dans Looker Studio basé sur les clics de la Search Console — Le champ Pages with / without clicks.

Fréquence de crawl

Champ personnalisé Crawl Frequency dans Looker Studio avec DATE_DIFF sur le dernier crawl : 30, 60, 90, 180 jours — Le champ Crawl Frequency : depuis combien de temps Google n’a pas crawlé l’URL.

Les filtres du modèle sont les suivants :

Exclusion des pages sans erreurs d’utilisabilité mobile.
Exclusion des pages à 0 clic.
Exclusion des URL sans résumé.
Exclusion des URL au statut « nul ».
Pages dont le crawl n’est pas autorisé.
Échec de la récupération de la page.
Code de statut 404.

Lire les données du modèle

Ce que disent les données

Avant de plonger dans l’analyse des données du modèle, quelques remarques sur les données elles-mêmes. Garde bien en tête que le statut « L’URL est sur Google » ne signifie pas que la page apparaît réellement dans les résultats ; pour apparaître dans les SERP, la page et ses données doivent respecter les consignes de qualité et de sécurité. L’outil d’inspection d’URL ne tient pas non plus compte des actions manuelles, des suppressions de contenu et des URL temporairement bloquées. Une URL peut donc être absente de Google alors que l’outil l’indique comme indexée. Seule une analyse dédiée te révélera la raison de cet écart.

Coverage Overview

Dans la section Coverage Overview, tu trouves :

combien de pages ont été crawlées et leur répartition par section ;
combien de pages ont un état de couverture selon l’API d’inspection, avec la répartition par état ;
combien de pages reçoivent des clics ;
combien de pages ont des problèmes d’utilisabilité mobile et la répartition des problèmes ;
combien de pages ont des problèmes de « rich snippets » et la répartition des erreurs ;
un résumé de la répartition de l’Index Status (les options sont : l’URL est sur Google, l’URL est sur Google mais présente des problèmes, l’URL n’est pas sur Google) ;
un résumé de la répartition du user agent : ton site est-il crawlé surtout par un agent mobile, desktop ou inconnu ?
un résumé de la répartition du « page fetch » : les pages du crawl ont-elles été récupérées avec succès par Google ?
un résumé de l’URL Inspection Status : y a-t-il eu des erreurs ?

Section Coverage Overview du modèle Looker Studio avec le filtre Page Section ouvert et les graphiques d’état de l’index, user agent, fetch et inspection — Coverage Overview : pages crawlées, couverture, clics et graphiques d’état.

Mobile Usability

Dans la section Mobile Usability Issues, tu peux :

vérifier si tes pages sont adaptées aux mobiles ou présentent des erreurs ;
obtenir une vue d’ensemble des principaux types d’erreurs du site et du nombre de pages concernées ;
filtrer les URL par type d’erreur, indexabilité et état dans l’index de Google.

Depuis décembre 2023, Google a supprimé le rapport et les données d’utilisabilité mobile, y compris dans l’API : avec des données récentes, cette section reste vide.

Section Mobile Usability Issues du modèle Looker Studio avec les types d’erreurs et le tableau des URL filtrable — Mobile Usability Issues : erreurs d’utilisabilité mobile par URL.

Rich Result Snippet Issues

Dans la section Rich Result Snippet Issues, tu peux :

obtenir une vue d’ensemble des principales erreurs de rich snippets ;
voir le nombre de pages aux données structurées valides ;
voir les principaux types de schémas implémentés ;
filtrer et explorer les URL selon l’indexabilité, les clics et l’état dans l’index de Google pour prioriser les corrections.

Section Rich Result Snippet Issues du modèle Looker Studio avec erreurs, résultats valides et tableau des URL — Rich Result Snippet Issues : erreurs de données structurées par URL.

Google Status

Dans la section Google Status (page 2 du modèle), tu peux :

filtrer et explorer les URL selon l’état de l’API d’inspection, le résumé, les pages avec/sans clics et la couverture ;
voir la relation entre indexabilité et code de statut : toutes les pages que tu as déclarées indexables renvoient-elles un code 200 ?
voir la relation entre l’état dans l’index de Google et les clics : les pages qui ont des problèmes reçoivent-elles des clics ? Optimise-les en priorité.
voir la relation entre l’état d’inspection et la répartition des erreurs : quand une erreur d’inspection survient, quelle en est la raison ? Timeout de lecture, temps de connexion ?

Section Google Status du modèle Looker Studio avec les filtres d’état d’inspection, summary, clics et coverage et le tableau des URL — Google Status : état de l’index, clics et impressions par URL.

Crawling

Dans la section Crawling, tu trouves des statistiques de synthèse sur :

les pages dont le crawl n’est pas autorisé ;
les pages dont l’indexation n’est pas autorisée ;
les URL dont le « fetch » n’est pas autorisé ;
les pages en 404.

Tu peux aussi :

filtrer les URL par agent de crawl (mobile, desktop, inconnu) ;
filtrer par date du dernier crawl avec le filtre de plage de dates ;
filtrer par état du fetch de la page ;
filtrer par code de statut ;
voir le comportement du crawl sur le site : à quelle fréquence les URL sont-elles crawlées ?

Section Crawling du modèle Looker Studio avec user agent, page fetch, code de statut et fréquence de crawl — Crawling : user agent, fetch, code de statut et date du dernier crawl.

Canonical Tags

Dans la section Canonical Tags, tu peux contrôler les écarts entre les balises canoniques que tu as indiquées et celles choisies par Google. Tu peux aussi croiser ces dimensions avec d’autres filtres pour repérer des schémas d’erreur.

Cas pratiques

Terminons avec quelques cas pratiques d’utilisation du modèle.

Sur quelles pages Google ignore-t-il ta canonique ?

Va sur la deuxième page du modèle, dans la section « Canonical tags », et filtre le tableau par Canonical Mismatch? (Y/N) avec l’option « YES ». Tu pourras revoir immédiatement toutes les incohérences.

Tableau Canonical Tags du modèle Looker Studio filtré sur Canonical Mismatch YES — Le filtre Canonical Mismatch = YES n’affiche que les incohérences.

Quelles pages avec clics ne sont plus crawlées depuis longtemps ?

Va à la page 2 et, dans la section Google Status, règle le filtre Pages avec/sans clics pour n’afficher que les pages avec clics.

Descends ensuite à la section suivante et utilise la barre de dates pour régler la période à examiner. Tu verras le résultat dans le tableau, avec les URL, Last Crawl (Date) et le nombre de clics.

Quelles URL avec clics ont des problèmes de données structurées ?

Va à la page 1, dans les sections Mobile Usability Issues et Rich Result Snippet Issues, et utilise les filtres d’indexation pour répondre à ces questions.

Télécharge le modèle Looker Studio

Crédits : l’article de Lazarina Stoy sur le modèle.

URL Inspection API.