Screaming Frog SEO Spider Update – Version 22.0

E’ da poco stata rilasciata la versione 22.0 di Screaming Frog SEO Spider denominata “knee-deep”.

Una vera rivoluzione per il Seo Spider che, ancora una volta riesce a stupirci con nuove integrazioni relative all’AI e confermando una volta di più la sua leadership tra gli strumenti Seo più versatili ed efficienti del panorama mondiale.

Ora puoi analizzare la similarità semantica delle pagine all’interno di una scansione per individuare contenuti duplicati, simili o potenzialmente fuori tema e meno rilevanti all’interno di un sito.

• Questa funzionalità va oltre il semplice confronto testuale utilizzato per rilevare contenuti duplicati: sfrutta gli embedding generati da modelli linguistici (LLM), che catturano il significato e le relazioni semantiche tra le parole.

In questo modo sarà possibile identificare pagine simili anche quando utilizzano frasi diverse ma trattano gli stessi argomenti, generando così contenuti ridondanti, problemi di cannibalizzazione o inefficienze nei processi di scansione e indicizzazione.

Se non hai familiarità con il concetto di embedding, ti consiglio di leggere l’articolo di Mike King “Vector Embeddings is All You Need”. Ha ispirato molti SEO a sperimentare e sviluppare tool innovativi basati su queste tecnologie.

Grazie all’integrazione con i principali provider AI (OpenAI, Gemini, Ollama), accessibile da Config > API Access > AI, potrai ottenere facilmente gli embedding vettoriali delle pagine scansionate.

L’analisi della similarità semantica introdotta nei tool di crawling (come Screaming Frog) rappresenta una svolta strategica per la SEO tecnica e contenutistica, per diverse ragioni chiave:

1. Va oltre la semplice rilevazione del contenuto duplicato

Tradizionalmente, gli strumenti SEO si basavano sul matching letterale del testo per identificare contenuti duplicati. Questo approccio, però, non coglie le sfumature semantiche che possono essere sufficienti per l’utente ma potrebbero venire considerate “duplicate dai Motori di Ricerca”.

Con gli LLM embeddings, invece, si analizza il significato del contenuto, rilevando similitudini concettuali anche quando il “wording” è diverso.

✅ Esempio: due pagine che parlano dello stesso prodotto ma con copy diversi ora possono essere identificate come sovrapposte facilitandoci l’analisi delle “cannibalizzazioni”.

2. Aiuta a prevenire la cannibalizzazione dei contenuti

Molti siti, soprattutto grandi e-commerce o portali editoriali, pubblicano nel tempo contenuti multipli sullo stesso argomento. Questo porta a:

• Competizione interna nei risultati di ricerca (cannibalizzazione)
• Disorientamento per Google nella scelta della pagina da indicizzare
• Spreco del crawl budget

Con questa analisi, diventa possibile:

• Individuare pagine tematicamente ridondanti
• Consolidare contenuti simili in asset più forti (es. tramite redirect o merging)
• Migliorare la chiarezza dell’architettura informativa

3. Supporta l’audit SEO con insight di alto livello

L’analisi semantica consente di:

• Mappare topic sovrapposti su larga scala
• Analizzare la distribuzione tematica delle pagine
• Individuare cluster di contenuti simili, anche in assenza di tag o categorizzazioni manuali
• Questo offre nuove opportunità strategiche, come:
• Ristrutturare un blog o un’area editoriale
• Individuare lacune nei contenuti (topic gap)
• Ottimizzare le relazioni interne con linking tematici più precisi

4. Porta l’AI in modo concreto nel flusso di lavoro SEO

Molti SEO parlano di AI, ma pochi strumenti l’hanno integrata in modo utile. Questa funzionalità:

• Usa embedding vettoriali reali, non keyword matching
• Sfrutta provider avanzati come OpenAI o Gemini
• Permette di automatizzare l’analisi semantica su larga scala, cosa che manualmente richiederebbe ore o giorni

È una funzione fondamentale per chi vuole fare ottimizzazione di contenuto avanzata, in particolare su siti medio-grandi o con una lunga storia editoriale.

Vediamo assieme come configurare Screaming Frog per usufruire di questa nuova funzionalità.

La prima cosa sarà quella di utilizzare l’integrazione AI del Seo Spider per vettorializzare le pagine.

Sarà ora possibile abilitare la funzione “Semantic Analysis” nel SEO Spider da “Config > Content > Embeddings” per l’analisi semantica dei contenuti, la ricerca semantica e le visualizzazioni.

Quando il crawl è stato completato e la “Crawl Analysis” è stata eseguita, avremmo a disposizione i filtri “Semantically similar” e “Contenuto a bassa rilevanza” nella scheda Contenuto.

Analizzando la scheda Contenuto sarà possibile filtrare per “Semantically Similar Pages”. I risultati del filtro ci mostreranno l’indirizzo semanticamente simile più vicino per ogni URL, oltre a un punteggio di somiglianza semantica e al numero di URL semanticamente simili.

Nella parte bassa del Seo spider avremo a disposizione i “Duplicate Details” e il filtro “Semantic Similarity” mostrano tutti gli URL semanticamente simili e il contenuto analizzato.

L’algoritmo del Seo Spider attribuirà un punteggio di somiglianza semantica considerando un range compreso tra 0 a 1.

Più alto è il punteggio, maggiore è la somiglianza con l’URL più vicino. Più alto è il punteggio, maggiore è la somiglianza con l’indirizzo semanticamente simile più vicino.

Le pagine con un punteggio superiore a 0,95 sono considerate semanticamente simili per impostazione predefinita.

Per un’analisi più approfondita e personalizzata è possibile definire la soglia di somiglianza semantica da “Config > Content > Embeddings” fino a 0,5.

Gli embedding vettoriali (cioè rappresentazioni numeriche del significato di un testo) possono essere usati non solo per trovare contenuti simili, ma anche per individuare pagine potenzialmente fuori tema rispetto al focus generale del sito (“centroid”).
Misurare quanto gli embedding di una singola pagina si discostano dall’embedding dell’intero sito è un concetto che è stato accennato anche nel recente leak di Google. Alcuni SEO stanno sperimentando con questa idea per individuare contenuti “anomali” o fuori contesto.

Gli outlier (non coerenti con il sito) sono quelli più lontani dalla media e potrebbero indicare una bassa rilevanza, un contenuto “più fuori tema” rispetto a quello pubblicato altrove sul sito.

Le pagine al di sotto della soglia possono essere visualizzate nella scheda “Contenuto” e nel filtro “Contenuto a bassa rilevanza”.

L’analisi semantica spinge la SEO oltre il keyword matching.

Permette di ragionare in termini di argomenti, significati e coerenza complessiva, sia per ottimizzare il sito esistente, sia per affrontare con più intelligenza migrazioni, ristrutturazioni o potenziamenti di contenuto.

Siamo solo all’inizio: l’evoluzione di questi strumenti sarà guidata dai modi creativi con cui i SEO li utilizzeranno.

Una seconda funzionalità molto interessante rilasciata con la versione 22 di Screaming Frog è rappresentata dalla “Semantic Content” integrata ai cluster visualisation.

Il diagramma dei cluster di contenuto sarà disponibile tramite “Visualisation > Content Cluster Diagram”. Si tratta di una visualizzazione bidimensionale degli URL provenienti dal crawl, tracciati e raggruppati in base ai dati embeddings.

Può essere utilizzato per identificare schemi e relazioni nei contenuti del sito web, dove i contenuti semanticamente simili sono raggruppati insieme.

I diagrammi possono essere utili per visualizzare la scala dei cluster di contenuti all’interno di un sito o per identificare potenziali cluster topici che sono semanticamente correlati ma che potrebbero essere integrati in modo distante per l’utente.

Dalla versione 22 di Screaming Frog è presente una nuova scheda sulla sidebar laterale per la “Ricerca semantica”, che consente di inserire una query di ricerca e di visualizzare le pagine più pertinenti in un crawl.

Questa funzionalità vettorializza la query di ricerca e calcola la “cosin similarity” tra la query e le pagine in un crawl, utilizzando embedding vettoriali anziché parole chiave.

Può aiutare a quantificare la pertinenza dei contenuti rispetto a una query per tutte le pagine di un crawl ed è più simile al modo in cui i moderni motori di ricerca e i LLM restituiscono i contenuti oggi, piuttosto che alla più semplicistica presenza di parole chiave e alla corrispondenza all’interno del testo (filtro Cosine Similarity Search).

Questa funzionalità può essere utilizzata, ad esempio, per trovare pagine rilevanti per la mappatura delle parole chiave, pagine correlate per il linking interno o l’analisi dei concorrenti rispetto alle parole chiave.

Il filtro “Embedding Display” può essere regolato su ‘Centroid’, per visualizzare maggiori dettagli sui valori anomali riscontrati nel sito web e sulla “pagina più rappresentativa”, che si avvicina maggiormente alla media delle incorporazioni dell’intero sito.

Il Seo Spider ha introdotto anche una serie di miglioramenti per l’integrazione AI per renderla ancora più avanzata e flessibile e per contribuire a ridurre lo spreco di crediti e di query.

È ora possibile fare clic sull’ingranaggio accanto a un prompt e scrivere un prompt più avanzato, che include più elementi di destinazione del prompt.

È possibile scegliere di eseguire i prompt dell’intelligenza artificiale solo su URL che corrispondono a un segmento specifico. Ciò significa che è possibile impostare segmenti per i diversi scenari in cui si desidera che vengano eseguiti i prompt dell’intelligenza artificiale, senza sprecare crediti.

Nel prompt avanzato, è possibile scegliere di “Corrispondere al segmento”.

Questo scenario ci permetterà di salvaguardare crediti e gestire il meglio il nostro budget per chiamate AI.

Ad esempio sarà possibile creare il testo alt delle immagini solo per gli URL delle immagini nel segmento con il problema “Testo alt mancante”, anziché per ogni immagine.

È ora possibile personalizzare l’endpoint OpenAI, che consente agli utenti di attivare API LLM private e altri fornitori di IA che utilizzano la stessa struttura.

Ad esempio, è possibile utilizzare DeepSeek, Microsoft Copilot o Grok personalizzando l’endpoint e utilizzando la relativa chiave API.

È inoltre possibile personalizzare i parametri del modello, le intestazioni e limitare la lunghezza del contenuto della pagina per ridurre gli errori di superamento del token nelle pagine con contenuti lunghi.

Analogamente alle integrazioni di OpenAI, Gemini e Ollama, ora è possibile integrarsi con Anthropic (alias “Claude”) tramite “Config > API Access” per eseguire richieste di AI durante il crawling.

Allo stesso modo in cui è possibile personalizzare le schede, ora è possibile configurare le colonne con un configuratore avanzato che consente di selezionarle, nasconderle e modificarne l’ordine in blocco. In questo modo assieme alle funzioni “detach” sarà possibile creare e gestire al meglio il tuo workstation per avere sempre sott’occhio il focus della tua analisi.

C’è una nuova opzione “Esportazione multipla” nel menu “bulk export”.

Questa opzione consente di selezionare una scheda, un’esportazione di massa o un rapporto da esportare con un solo clic.

Se esiste un insieme comune di report che si utilizza per le scansioni o si volesse disporre di esportazioni specifiche per alcuni siti web, è possibile salvarli come pre-impostazioni e utilizzarli quando necessario sia manualmente nell’interfaccia utente che nella pianificazione e nella CLI.

Questa nuova funzionalità consente anche di eseguire Export for Looker Studio da un crawl manuale, anziché solo dalla pianificazione (scheduling).

Quando si effettuano esportazioni multiple in blocco, manualmente o con lo Scheduling, è ora possibile selezionare “consolida fogli di calcolo”.

Anziché esportare ogni scheda, esportazione in blocco o rapporto come file separato, si esporterà tutto in più schede individuali all’interno dello stesso singolo foglio Google o cartella di lavoro.

Questa opzione è disponibile sia per Google Sheets che per Excel.

In modalità elenco è ora possibile caricare più Sitemap XML, invece di affidarsi a un file Indice Sitemap rendendo l’analisi molto più snella e precisa.

In modalità elenco, è possibile selezionare l’origine come indirizzo di un foglio Google. Qualsiasi URL all’interno del foglio Google verrà caricato e sottoposto a crawling.

È possibile inserire i dettagli di Google Drive in modo che il SEO Spider possa accedere a fogli Google privati.

Questa funzione ha un potenziale di automazione entusiasmante, in quanto è possibile dettare gli URL da sottoporre a crawling utilizzando Google Sheets (e i relativi componenti aggiuntivi e script dell’applicazione).

Questa funzione è disponibile anche nella programmazione e nella CLI.

Con il rilascio della versione 22.0 di Screaming Frog SEO Spider, l’introduzione dell’analisi semantica basata su embedding LLM segna una svolta fondamentale per l’ottimizzazione SEO moderna. Questo aggiornamento permette di:

• Andare oltre il semplice match testuale, sfruttando vettori semantici per identificare contenuti duplicati, ridondanti o fuori tema.
• Visualizzare cluster e outlier tematici
• Potenziare strategie quali il link interno, la mappatura di redirect, l’affinamento di title semantici e molto altro
• Dietro le quinte, strumenti come la semantic search, le configurazioni AI avanzate e le integrazioni flessibili (Anthropic, OpenAI, Gemini, Ollama) rendono il tool non solo più potente, ma più intelligente ed efficiente

🔧 Perché aggiornare ora?

• Ottimizzi il crawl budget, concentrando l’attenzione sui contenuti strategici
• Rafforzi il topical focus del sito, eliminando rumore semantico e aumentandone la rilevanza
• Automatizzi audit e migrazioni grazie alla semantica applicata ai title, redirect e pagine
• Investi in futuro, sfruttando funzionalità che abbracciano la logica moderna dei motori di ricerca (vector-based SERP)

In definitiva, questa release trasforma Screaming Frog da strumento di crawling tecnico a hub di SEO semantica, perfettamente in linea con i trend emergenti nel search marketing!