Ebook gratuito · Kill SEO, Vol. 1: l’unica guida italiana su Screaming Frog, con la prefazione di Dan Sharp Scarica il PDF
Brief

Come usare le URL Inspection API di Google Search Console con Screaming Frog per verificare lo stato di indicizzazione URL per URL. Poi porti i dati nel template Looker Studio di Lazarina Stoy, con limiti delle quote ed esempi d'uso.

Le URL Inspection API

Per chi come me ama la SEO e il mondo Google il 31 gennaio 2022 verrà segnato a calendario: il Motore di Ricerca ha finalmente rilasciato le sue URL Inspection API che permettono a noi appassionati di SEO di sbizzarrirci nel progettare nuovi report sempre più puntuali e interessanti sia per le nostre leggiadre analisi interne sia per la presentazione dei dati ai clienti. Dopo aver letto il Google developer forum mi sono imbattuto nel blog della collega Lazarina Stoy che non solo ha pensato di riportare la notizia ma ha creato un esauriente template per Google Data Studio (oggi Looker Studio) che riprende i dati dalla Search Console e li rappresenta al meglio.

Come funziona l’API di ispezione degli URL

L’API di ispezione degli URL usa un metodo chiamato “index.inspect” che permette di visualizzare lo stato di un URL e definire se è “indicizzato” o “non indicizzato”. Per ottenere questi risultati puoi fare una richiesta mettendo in analisi due parametri: il primo indica l’URL che vuoi analizzare, il secondo l’URL della proprietà definita in Search Console.

La struttura richiesta è la seguente:

Rappresentazione JSON:

{
  "inspectionUrl": "stringa",
  "siteUrl": "stringa",
  "languageCode": "stringa"
}

L’API verifica la versione dell’URL presente nell’indice di Google: non permette di testare un URL live. Google ha inoltre previsto delle quote massime: 2.000 query al giorno e 600 al minuto per proprietà.

URL Inspection API e Screaming Frog

Attivare l’URL Inspection nel SEO Spider

Screaming Frog può essere connesso tramite API a Google Search Console e questo ti permette di elaborare i dati di questa nuova release in modo semplice ma molto potente per analisi sempre più avanzate e presentate in modo semplice ed intuitivo.

Vai in 1Configuration›2API Access›3Google Search Console, collega l’account e, nella scheda URL Inspection, attiva Enable URL Inspection. A fine scansione trovi i dati nella tab 1Search Console.

Crawl Config › API Access › Google Search Console di SEO Spider con la scheda Account Information, la proprietà selezionata e l’account collegato
Collega l’account Google e scegli la proprietà di Search Console.
Scheda URL Inspection di Crawl Config › API Access › Google Search Console in SEO Spider con l’opzione Enable URL Inspection attiva
Nella scheda URL Inspection attivi l’API: fino a 2.000 URL al giorno per proprietà.
Tab Search Console di Screaming Frog SEO Spider con il pulsante Export e le colonne Coverage e Last Crawl dell’URL Inspection
La tab Search Console con i dati dell’URL Inspection: esportali con Export.

Il template Looker Studio di Lazarina Stoy

Dai dati di Screaming Frog al template

Una volta ottenuti i dati con SEO Spider puoi usare come dashboard il template di Lazarina Stoy (il link è in fondo all’articolo): apri il template, fanne una copia e utilizzare i dati estrapolati da Screaming Frog come sorgente per il tuo nuovo template appena creato.

Template Looker Studio Google Search Console URL Inspection API Explorer di Lazarina Stoy con Coverage Overview, stato dell’indice, user agent e usabilità mobile
Il template URL Inspection API Explorer. Fonte: Lazarina Stoy.

Nota: il template funziona solo se usi Screaming Frog in inglese. Con l’interfaccia in italiano i nomi delle colonne esportate sono diversi e Looker Studio non trova i dati.

Campi personalizzati e filtri

Come in tutti i template per Looker Studio ci potrebbero essere dei malfunzionamenti relativi alla clonazione di campi, filtri e applicazioni specifiche dei filtri. Per mettere mano ad eventuali criticità ti segnalo di seguito tutti gli elementi che compongono il template per poter “fixare” eventuali bug.

Canonical Mismatch? (Y/N)

Campo personalizzato Canonical Mismatch? (Y/N) in Looker Studio che confronta User-Declared Canonical e Google-Selected Canonical
Il campo Canonical Mismatch? (Y/N).

Page Section

Campo personalizzato Page Section in Looker Studio con le formule REGEXP_CONTAINS sull’Address per classificare le sezioni del sito
Il campo Page Section: classifica gli URL per sezione con le regex.

Pagine con e senza click

Campo personalizzato Pages with / without clicks in Looker Studio basato sui clic di Search Console
Il campo Pages with / without clicks.

Frequenza di scansione

Campo personalizzato Crawl Frequency in Looker Studio con DATE_DIFF sull’ultima scansione: 30, 60, 90, 180 giorni
Il campo Crawl Frequency: da quanto tempo Google non scansiona l’URL.

I filtri inseriti nel template sono i seguenti:

  • Esclusione delle pagine senza errori di usabilità mobile.
  • Esclusione delle pagine con 0 click.
  • Esclusione URLs senza riepilogo.
  • Esclusione URL con status “nullo”.
  • Pagine con crawling non permesso.
  • Recupero delle pagine non riuscito.
  • Status code corrispondente a 404.

Leggere i dati del template

Cosa indicano i dati

Prima di immergerci nell’analisi dei dati che troverai nel template vorrei fare alcune considerazioni in merito ai dati stessi. Ricorda bene che lo status “l’URL è su Google” non corrisponde al fatto che la pagina sia realmente inserita nei risultati di ricerca; l’effettiva apparizione in Serp richiede che la pagina e i dati siano conformi alle linee guida di qualità e sicurezza. Inoltre lo strumento di ispezione URL non considera le azioni manuali, le rimozioni di contenuti e gli URL temporaneamente bloccati. Quindi potrebbe accadere che l’URL non sia presente su Google ma lo strumento indichi comunque la sua indicizzazione sul Motore di Ricerca. Solamente un’analisi ad hoc ti svelerà la motivazione di questa discrepanza.

Coverage Overview

Nella sezione Coverage Overview trovi:

  • quante pagine sono state scansionate, così come la distribuzione delle pagine per sezione;
  • quante pagine hanno uno stato di copertura secondo l’API di ispezione, compresa la distribuzione delle pagine per stato;
  • quante pagine ricevono click;
  • quante pagine hanno problemi di usabilità mobile e la distribuzione dei problemi;
  • quante pagine hanno problemi di “rich snippet” e la distribuzione degli errori;
  • un riassunto della distribuzione dell’Index Status (le opzioni sono: URL è su Google, URL è su Google ma presenta dei problemi, e l’URL non è presente su Google);
  • un riepilogo sulla distribuzione dello User Agent – il tuo sito è scansionato principalmente da un agente mobile, desktop o sconosciuto?
  • un riepilogo sulla distribuzione del “Fetch delle pagine” – le pagine incluse nella scansione sono state recuperate con successo da Google?
  • un riepilogo sull’URL Inspection Status – ci sono stati errori?
Sezione Coverage Overview del template Looker Studio con il filtro Page Section aperto e i grafici di stato dell’indice, user agent, fetch e ispezione
Coverage Overview: pagine scansionate, copertura, clic e grafici di stato.

Mobile Usability

Nella sezione Mobile Usability Issues puoi:

  • verificare se le tue pagine sono mobile friendly o presentano degli errori;
  • ottenere una panoramica dei principali tipi di errori riscontrati sul sito, e quante pagine li stanno provocando;
  • filtrare gli URL in base al tipo di errore, all’indicizzabilità e allo stato dell’indice di Google.

Da dicembre 2023 Google ha dismesso il report e i dati di usabilità mobile anche nell’API: con i dati nuovi questa sezione resta vuota.

Sezione Mobile Usability Issues del template Looker Studio con i tipi di errore e la tabella degli URL filtrabile
Mobile Usability Issues: errori di usabilità mobile per URL.

Rich Result Snippet Issues

Nella sezione Rich Result Snippet Issues puoi:

  • ottenere una panoramica dei principali errori relativi ai rich snippet;
  • ottenere una panoramica del numero di pagine che sono valide per i dati strutturati;
  • vedere i principali tipi di schema implementati;
  • filtrare ed esplorare gli URL, in base allo stato di indicizzabilità, ai clic e allo stato dell’indice di Google per aiutare a dare priorità alle correzioni.
Sezione Rich Result Snippet Issues del template Looker Studio con errori, risultati validi e tabella degli URL
Rich Result Snippet Issues: errori dei dati strutturati per URL.

Google Status

Nella sezione Google Status (pagina 2 del template) puoi:

  • Filtrare ed esplorare gli URL, in base allo stato dell’API di ispezione degli URL, al sommario, alle pagine con/senza click e alla copertura;
  • ottenere una panoramica della relazione tra indicizzabilità e codice di stato – tutte le pagine che hai dichiarato indicizzabili restituiscono un codice di stato 200?
  • ottenere una panoramica della relazione tra lo stato dell’indice di Google e i clic – le pagine con problemi ricevono clic? Dai la priorità alle loro ottimizzazioni.
  • ottenere una panoramica della relazione tra lo stato di ispezione e la ripartizione degli errori – quando viene ricevuto un errore di ispezione, qual è la ragione di questo? Timeout di lettura, tempo di connessione?
Sezione Google Status del template Looker Studio con filtri per stato di ispezione, summary, clic e coverage e la tabella degli URL
Google Status: stato dell’indice, clic e impression per URL.

Crawling

Nella sezione Crawling trovi statistiche riassuntive su:

  • pagine in cui non è permesso il crawling;
  • le pagine in cui l’indicizzazione non è consentita;
  • gli URL in cui non è consentito il “fetch” delle pagine;
  • pagine con status code 404.

Puoi inoltre:

  • filtrare gli URL in base all’agente di crawl (mobile, desktop, sconosciuto);
  • filtrare in base all’ultima data di estrazione utilizzando il filtro intervallo di date;
  • filtrare in base allo stato del fetch della pagina;
  • filtrare in base al codice di stato;
  • ottenere una panoramica del comportamento del crawling sul sito – quanto frequentemente vengono sottoposti a crawl gli URL?
Sezione Crawling del template Looker Studio con user agent, page fetch, status code e frequenza di scansione
Crawling: user agent, fetch, status code e data dell’ultima scansione.

Canonical Tags

Nella sezione Canonical Tags è possibile controllare le discrepanze tra i tag canonici che hai indicato e quelli selezionati da Google. Puoi anche integrare queste dimensioni con ulteriori filtri per scoprire eventuali schemi di errore.

Sezione Canonical Tags del template Looker Studio con User-Declared Canonical, Google-Selected Canonical e Canonical Mismatch
Canonical Tags: il canonical dichiarato confrontato con quello scelto da Google.

Casi pratici

Concludiamo l’analisi di questo template con alcuni casi pratici in cui utilizzare il template.

Per quali pagine Google ignora il tuo canonical?

Vai sulla seconda pagina del template nella sezione “Canonical tags” e filtra la tabella per Canonical Mismatch? (Y/N) con l’opzione “YES”. Potrai immediatamente revisionare tutte le incongruenze.

Tabella Canonical Tags del template Looker Studio filtrata su Canonical Mismatch YES
Il filtro Canonical Mismatch = YES mostra solo le incongruenze.

Quali pagine con clic non vengono scansionate da tempo?

Vai alla pagina 2 e seleziona dalla sezione Stato di Google, il filtro Pagine con/senza click impostandolo per mostrare solo le pagine con click.

Poi scorri verso il basso fino alla sezione successiva, e usa la barra della data, al fine di regolare l’intervallo di tempo che vuoi rivedere. In questo modo potrai vedere il risultato nella tabella qui sotto con gli URL, Last Crawl (Date), e il numero di clic.

Quali URL con clic hanno problemi nei dati strutturati?

Vai a pagina 1, nelle sezioni Mobile Usability Issues e Rich Result Snippet Issues, e usa i filtri di indicizzazione per rispondere a queste domande.

Scarica il template per Looker Studio

Credits: articolo di Lazarina Stoy sul template.

Video tutorial

Fine della guida

Hai domande su URL Inspection API?

Le guide nascono dai progetti di tutti i giorni. Se qualcosa non torna nel tuo crawl, o vuoi applicare questa procedura al tuo sito, scrivimi.

Aggiornata da chi usa SEO Spider ogni giornoBeta tester Screaming Frog
Raffaele VisintinAutore.Raffaele Visintin.Search & Strategic Marketing Advisor
SF ClubBeta tester · SEO Spider