Web scraping.
Descubre cómo usar el web scraping y la función Custom Extraction para análisis avanzados.
Cómo hacer web scraping con la Custom Extraction de SEO Spider usando CSS Path, XPath y regex. Con ejemplos prácticos para el análisis de la intención de búsqueda y para extraer las preguntas de People Also Ask.
Web scraping con la Custom Extraction
Veamos cómo usar Screaming Frog para hacer web scraping con la función Custom Extraction.
Con esta función puedes recuperar cualquier dato HTML de una página web mediante CSS Path, XPath y regex.
La extracción se ejecuta sobre el HTML estático de las URL rastreadas por SEO Spider que responden con un código 200 «OK».
Si quieres extraer datos renderizados, puedes activar el renderizado JavaScript (1Configuration›2Spider›3Rendering).
Configurar la Custom Extraction
Para configurar tu extracción personalizada, ve a 1Configuration›2Custom›3Custom Extraction.
Con esta función puedes definir hasta 100 extracciones de datos personalizadas.
CSS Path, XPath y regex
SEO Spider ofrece tres formas de hacer scraping de los datos de un sitio:
- XPath: con XPath puedes seleccionar los nodos de un documento para consultarlos con selectores XPath, atributos incluidos.
- CSS Path: el método más rápido de los tres, permite hacer scraping con selectores CSS Path.
- Regex: esta consulta usa expresiones regulares y se recomienda para usos avanzados como el scraping de comentarios HTML o de JavaScript en línea.
Si usas XPath o CSS Path para consultar el HTML, puedes elegir entre varios tipos de extracción:
- Extract HTML Element: recoge el elemento seleccionado y todo su contenido HTML interno.
- Extract Inner HTML: recoge el contenido HTML interno del elemento seleccionado. Si contiene otros elementos HTML, también se incluyen.
- Extract Text: recoge el contenido de texto del elemento seleccionado y de sus subelementos.
- Function Value: devuelve el resultado de una función, por ejemplo el número total de un elemento: para saber cuántos h3 hay en una página puedes usar «count(//h3)».
Un ejemplo práctico: autor y comentarios del blog
Encontrar el selector
Una vez elegido el método de scraping, solo queda definir la sintaxis de extracción. Para encontrar la ruta CSS o el XPath, abre la página en Chrome, inspecciona el elemento que quieres, haz clic derecho y copia el selector que te propone.
Tomemos como ejemplo el blog de Screaming Frog.
Abre cualquier artículo del blog en Chrome, haz clic derecho sobre el nombre del autor y elige «Inspeccionar».
Haz clic derecho en la línea HTML correspondiente (con el nombre del autor), copia la ruta CSS o el XPath y pégalo en el campo correspondiente de SEO Spider.
Introducir la sintaxis en SEO Spider
Si la sintaxis introducida es válida (.author-details--social>a) verás un check verde junto al campo; si no, aparecerá un aviso con una cruz roja que indica que la sintaxis no es correcta.
Hecho esto, basta con hacer clic en OK e iniciar el rastreo.
Para profundizar en los selectores CSS y en XPath, te recomiendo la documentación de w3schools.
Rastrear el sitio y leer los resultados
Con la sintaxis introducida y validada, solo queda rastrear el sitio para empezar el scraping.
Los datos están disponibles en tiempo real durante el rastreo, en la pestaña 1Custom Extraction y en la pestaña Internal.
En nuestro ejemplo lanzamos un rastreo completo de un sitio, pero si quieres hacer scraping de una lista concreta de URL puedes usar el modo de rastreo 1Mode›2List.
Las aplicaciones son infinitas y dependen del análisis que estés haciendo: esta función es muy útil, por ejemplo, para recoger el ID de Analytics o GTM, las etiquetas sociales, los valores de hreflang, los precios de los productos de un ecommerce, los precios rebajados, etc.
Para profundizarPestañas Custom Search y Extraction.Cómo leer los resultados de las búsquedas y extracciones personalizadas en sus pestañas.Leer la panorámicaVídeos
¿Dudas sobre Web scraping?
Estas guías nacen de proyectos reales. Si algo no cuadra en tu rastreo, o quieres aplicar este proceso a tu sitio, escríbeme.
Autor.Raffaele Visintin.Search & Strategic Marketing Advisor