Web Scraping.
Scopri come utilizzare il web scraping e la funzione custom extraction per analisi avanzate.
Come fare web scraping con la Custom Extraction di SEO Spider usando CSS Path, XPath e Regex. Con esempi pratici per l'analisi dell'intento di ricerca e per estrarre le domande People Also Ask.
Web scraping con la Custom Extraction
Vediamo come poter utilizzare Screaming Frog per fare Web Scraping utilizzando la funzione Custom Extraction.
Attraverso questa funzionalità sei in grado di recuperare qualsiasi dato HTML da una pagina web mediante CSS Path, XPath e Regex.
L’estrazione viene eseguita sull’HTML statico degli URL scansionati dal SEO Spider che rispondono con uno status code 200 ‘OK’.
Se vuoi fare delle estrazioni da dati renderizzati è possibile abilitare il rendering JavaScript (1Configuration›2Spider›3Rendering).
Configurare la Custom Extraction
Per impostare la tua estrazione personalizzata vai su 1Configuration›2Custom›3Custom Extraction.
Attraverso questa funzione sei in grado di impostare fino a 100 richieste di estrazione dati personalizzate.
CSS Path, XPath e Regex
SEO Spider offre tre opportunità di scraping dei dati nei siti web:
- XPath: attraverso XPath sei in grado di selezionare i nodi da un documento dove eseguire un’interrogazione usando i selettori XPath, compresi gli attributi.
- CSS Path: questa opzione è la più veloce fra i metodi menzionati e permette di fare scraping usando i selettori CSS Path.
- Regex: questa interrogazione di dati utilizza le espressioni regolari RegEx e viene consigliata per usi avanzati come lo scraping di commenti HTML o JavaScript in linea.
Optando per XPath o CSS Path per interrogare l’HTML, puoi scegliere tra diversi tipi di estrazione:
- Extract HTML Elements: raccoglie le informazioni dell’elemento selezionato e tutto il suo contenuto HTML interno.
- Extract Inner HTML: raccoglie il contenuto HTML interno dell’elemento selezionato. Se, ad esempio l’elemento selezionato contiene altri elementi HTML, anche questi saranno inclusi.
- Extract Text: raccoglie il contenuto testuale dell’elemento selezionato e dei suoi sotto-elementi.
- Function Value: restituisce il numero complessivo dell’elemento richiesto, ad esempio se cerchi quanti h3 sono presenti in una pagina puoi utilizzare “count(//h3)”.
Un esempio pratico: autore e commenti del blog
Trovare il selettore
Una volta scelta la modalità di scraping non ti resta che definire la sintassi di estrazione. Per trovare il relativo percorso CSS o XPath puoi aprire la pagina in Chrome e ispezionare l’elemento desiderato, quindi fare clic con il pulsante destro del mouse e copiare il relativo percorso di selezione fornito.
Prendiamo in esame il blog di Screaming Frog.
Apri qualsiasi post del blog in Chrome, clicca con il tasto destro e “ispeziona l’elemento” sul nome dell’autore.
Clicca con il tasto destro del mouse sulla linea HTML pertinente (con il nome dell’autore), copia il percorso CSS o XPath pertinente e incollalo nel rispettivo campo di SEO Spider.
Inserire la sintassi in SEO Spider
Se la sintassi inserita è valida (.author-details--social>a) vedrai una spunta verde accanto al tuo input, altrimenti sarà presente un warning con una croce rossa che identifica che la sintassi non è considerata corretta.
Completata questa operazione ti basta cliccare OK e avviare il crawl.
Per approfondire sui selettori CSS e su XPath ti consiglio la documentazione di w3schools.
Scansionare il sito e leggere i risultati
Inserita la sintassi e convalidata non ti resta che eseguire la scansione del sito web per iniziare lo scraping.
I dati dello scraping sono a disposizione in tempo reale durante la scansione, nella tab 1Custom Extraction e nella tab Internal.
Nel nostro esempio è stata avviata una scansione completa di un sito web ma se vuoi fare scraping da un elenco specifico di URL puoi utilizzare la modalità di scansione 1Mode›2List.
I campi di applicazione sono infiniti e dipendono dalla tipologia di analisi in essere, questa funzionalità può rivelarsi molto utile ad esempio per collezionare l’ID di Analytics o GTM, i social meta tag, i valori degli attributi hreflang, i prezzi dei prodotti di un e-commerce, i prezzi scontati ecc.
ApprofondimentoTab Custom Search e Extraction.Come leggere i risultati delle ricerche e delle estrazioni personalizzate nelle tab dedicate.Leggi la panoramicaVideo
Hai domande su Web Scraping?
Le guide nascono dai progetti di tutti i giorni. Se qualcosa non torna nel tuo crawl, o vuoi applicare questa procedura al tuo sito, scrivimi.
Autore.Raffaele Visintin.Search & Strategic Marketing Advisor