Ebook gratuito · Kill SEO, Vol. 1: la guía de Screaming Frog con prólogo de Dan Sharp (en italiano) Descargar el PDF
Brief

Cómo analizar los archivos de log con el Log File Analyser de Screaming Frog para ver qué rastrean realmente los bots. Encuentras URL de poco valor, frecuencia de rastreo, errores, redirecciones, bots falsos y diferencias entre rastreo y logs.

Los archivos de log y el SEO

¿Qué son los archivos de log?

En 2026 el SEO ya no puede depender solo de los rastreos: es hora de sumergirse en los archivos de log. Los logs web no son simples rastros técnicos, sino un reflejo fiel del comportamiento de los bots de búsqueda reales, no simulados (salvo que estén suplantados). Con Screaming Frog Log File Analyser, analizar los archivos de log está al alcance de cualquier SEO y permite descubrir:

  • qué URL rastrea realmente Googlebot (y cuáles ignora);
  • dónde se pierde el crawl budget y qué errores 404 o redirecciones merecen prioridad;
  • páginas huérfanas, contenidos no indexados y anomalías estructurales antes invisibles.

Gracias a esta herramienta, los profesionales SEO convierten los logs, simple texto en bruto, en insights estratégicos clave para optimizar la arquitectura del sitio y garantizar un rastreo coherente y dirigido. En una época en la que el SEO es cada vez más técnico y basado en datos reales, analizar los logs ya no es opcional, sino una necesidad.

Cuando hablamos de analizar los logs de un servidor web, nos referimos a los logs de acceso (Access Log).
Los servidores también generan otros logs, como los de errores, pero para el SEO solo necesitamos los logs de acceso al sitio.

Normalmente el archivo tiene una línea por petición, con algunos o todos estos datos:

  • Hora de la petición;
  • URL solicitada;
  • User agent indicado en la petición;
  • Código de respuesta del sitio;
  • Tamaño de la respuesta;
  • Dirección IP del cliente que hizo la petición;
  • Tiempo empleado en servir la petición;
  • Referrer, la página que contenía el enlace de la petición.

Tener un registro preciso de todas las peticiones que recibe un servidor es muy útil, porque permite un análisis eficiente y versátil para encontrar errores y problemas y valorar la arquitectura del proyecto.

¿Por qué analizar los archivos de log?

Los archivos de log son una forma increíblemente potente, y todavía poco usada, de obtener información valiosa sobre cómo rastrea tu sitio cada buscador.

Por eso todo SEO debería analizarlos, aunque los logs de acceso puedan ser difíciles de conseguir del cliente (y/o del proveedor de hosting, el servidor y el equipo de desarrollo).

El análisis de los logs puede ayudarte a:

  1. Comprobar exactamente qué se puede rastrear y qué no. Un rastreo es una simulación, mientras que los logs muestran exactamente lo que se ha rastreado (la historia completa).
  2. Ver las respuestas que encontraron los buscadores al rastrear (y comparar los datos en el tiempo). Con el análisis de logs los problemas se pueden cualificar: si encuentras varios 404 en un rastreo, es difícil saber cuáles importan más; los logs te muestran su frecuencia y te ayudan a priorizar.
  3. Identificar carencias de rastreo, que pueden tener implicaciones más amplias (como la jerarquía o la estructura de enlaces internos).
  4. Ver qué páginas priorizan y consideran más importantes los buscadores, y cuáles se podrían optimizar para una frecuencia de rastreo más adecuada. Es algo infravalorado, pero a menudo la visión estratégica del sitio no coincide con el comportamiento del buscador.
  5. Descubrir zonas de desperdicio del crawl budget.
  6. Encontrar URL huérfanas. Si una URL no está enlazada internamente, no se encontrará rastreando el sitio. Las URL enlazadas solo desde fuera (o en el pasado) aparecerán en los logs, para que puedas gestionarlas, optimizarlas o eliminarlas.
  7. Ver los cambios en el tiempo. Un rastreo es una foto del momento, mientras que los logs ofrecen el historial de cada recurso.

Analizando estos valiosos datos podrás preservar el crawl budget e identificar qué elementos perjudican la navegación del bot.
Estos son problemas muy habituales:

  • Navegación facetada e identificadores de sesión.
  • Contenido duplicado en el sitio.
  • Páginas de error soft.
  • Páginas hackeadas.
  • Espacios infinitos y proxies.
  • Contenido de baja calidad y spam.

Por eso conviene evitar que el bot pierda tiempo y energía rastreando URL de este tipo, porque reduce su actividad y retrasa el rastreo de las páginas más importantes.

Log File Analyser

Importar los logs y verificar los bots

La base del análisis de logs es poder comprobar exactamente qué URL han rastreado los bots de los buscadores. Con Log File Analyser importas tus archivos de log simplemente arrastrándolos a la interfaz, y los bots de los buscadores se verifican automáticamente.

Tras la importación, usa el filtro «Verification Status» para ver solo los bots verificados y el filtro «User-Agent» para ver «todos los bots» o aislar uno concreto como «Googlebot» o «Googlebot Smartphone» para análisis detallados.

Tras esta configuración tan sencilla e intuitiva, tendrás exactamente las URL rastreadas por el bot, filtradas en la pestaña «URLs» y ordenadas según el número de eventos generados en un periodo.

Pestaña URLs de Log File Analyser con el menú Verification Status abierto en Verified y el filtro All Googlebots
Pestaña URLs de Log File Analyser con el menú Verification Status abierto en Verified y el filtro All Googlebots

Identificar URL de poco valor

El contenido es uno de los factores de posicionamiento más importantes, y entender qué URL se rastrean y con qué frecuencia te ayuda a descubrir zonas de desperdicio del crawl budget, con navegación facetada, ID de sesión o contenido duplicado.

Por ejemplo, con la barra de búsqueda de la herramienta puedes buscar un signo de interrogación (?) en la ruta de la URL (habitual en e-commerce con filtros), para identificar URL con parámetros quizá no canonicalizadas y rastreadas a menudo por Googlebot.

Pestaña URLs de Log File Analyser filtrada por HTML y ordenada por Num Events: arriba, las URL con parámetros replytocom de los comentarios de WordPress
Pestaña URLs de Log File Analyser filtrada por HTML y ordenada por Num Events: arriba, las URL con parámetros replytocom de los comentarios de WordPress

Como ves en el ejemplo, la primera entrada ha generado 57 eventos, que corresponden a los comentarios de WordPress: no precisamente un recurso de alto valor. En este caso basta con desactivar los comentarios para resolverlo y proteger el crawl budget.

Haciendo clic en el encabezado de la columna «URL» las ordenas alfabéticamente y descubres las URL que solo se diferencian por el ID de sesión o por parámetros que el bot no debería poder rastrear.

Haciendo clic en «Num Events» verás los recursos rastreados con más y menos frecuencia en un periodo.

Frecuencia de rastreo

Analizar la frecuencia de rastreo

La frecuencia con la que Googlebot pide una página depende de varios factores, como la frescura del contenido o la importancia que Google da a un recurso frente a otros. Aunque sea una simplificación, el número de eventos por URL es un indicador muy útil para detectar problemas de fondo.

Con los filtros del menú de la barra principal también puedes elegir qué eventos genera cada rastreador, incluidos bots como Bing, Yandex u otros que podrían distorsionar los datos y crear «falsos positivos» en los análisis estratégicos, o sobrecargar mucho el servidor.

Pestaña URLs de Log File Analyser con el menú de bots abierto: All Bots, Googlebot, Googlebot Smartphone, Bingbot, Yandex, Baidu
Pestaña URLs de Log File Analyser con el menú de bots abierto: All Bots, Googlebot, Googlebot Smartphone, Bingbot, Yandex, Baidu

Si dejas el ajuste por defecto «All Bots», tendrás una visión de conjunto de los eventos por URL, con el desglose por rastreador desplazándote a la derecha en la pestaña.

Pestaña URLs de Log File Analyser con el filtro All Bots y el número de eventos de Googlebot, Googlebot Smartphone, Bingbot, Yandex y Baidu
Pestaña URLs de Log File Analyser con el filtro All Bots y el número de eventos de Googlebot, Googlebot Smartphone, Bingbot, Yandex y Baidu

Frecuencia por subdirectorio

El siguiente paso es analizar los subdirectorios (pestaña Directories).
Así verás qué áreas funcionan bien y cuáles hay que optimizar, quizá porque tienen problemas que impiden al rastreador navegar con fluidez.

Centrándote en las subcarpetas podrás descubrir «zonas de desperdicio».

Pestaña Directories de Log File Analyser con la vista en árbol de las subcarpetas y el número de eventos por directorio
Pestaña Directories de Log File Analyser con la vista en árbol de las subcarpetas y el número de eventos por directorio

Frecuencia por tipo de contenido

Los logs no incluyen el tipo de contenido, pero Log File Analyser analiza las URL según los formatos más habituales y permite filtrar fácilmente la frecuencia de rastreo por tipo: HTML, imágenes, JavaScript, CSS, PDF, etc.

Así podrás ver cuánto tiempo dedica Google, en proporción, a rastrear cada tipo de contenido.

Filtro por tipo de contenido en la pestaña URLs de Log File Analyser: HTML, JavaScript, CSS, imágenes, PDF, Flash
Filtro por tipo de contenido en la pestaña URLs de Log File Analyser: HTML, JavaScript, CSS, imágenes, PDF, Flash

Frecuencia por user agent

Otro punto de análisis es la frecuencia de rastreo según el user agent, que te ayuda a entender cómo se comporta cada buscador.

De aquí puedes sacar el número de URL únicas rastreadas en el periodo analizado, lo que da una idea aproximada del tiempo que tardaría cada buscador en rastrear todas las URL del sitio. Así tienes una visión del crawl budget (crawl rate) que se dedica a tu sitio.

Pestaña User Agents de Log File Analyser con las URL únicas y el número de eventos por user agent
Pestaña User Agents de Log File Analyser con las URL únicas y el número de eventos por user agent

Es muy interesante entender el comportamiento de los distintos bots, pero sobre todo es vital ver si «Googlebot» y «Googlebot Smartphone» se comportan de forma distinta. Por ejemplo, podrás ver si hay cuellos de botella en la versión móvil o si el sitio está en mobile first indexing.

URL rastreadas por día, semana y mes

La función «Overview» te da un resumen preciso de los eventos del periodo elegido, en un panel muy visual e intuitivo.

Otro punto de vista es el número total de URL únicas rastreadas y el número de URL únicas rastreadas cada día. Con esto puedes estimar cuántos días necesitarían los buscadores para volver a rastrear todas tus URL.

Pestaña Overview de Log File Analyser con URL únicas, eventos, bytes, códigos de respuesta y gráficos diarios
Pestaña Overview de Log File Analyser con URL únicas, eventos, bytes, códigos de respuesta y gráficos diarios

El panel permite exportar en «.csv» los datos de los gráficos y, pasando el ratón por los puntos, ver el detalle por user agent o código de estado.

Errores y respuestas del servidor

Analizar los 404 y los errores de servidor

Los logs permiten analizar rápidamente el último código de respuesta que recibieron los buscadores para cada URL rastreada.

En la pestaña «Response Codes» puedes usar el filtro para ver los errores de cliente 4XX y encontrar enlaces rotos, o los errores de servidor 5XX.

También verás qué URL son potencialmente más importantes de corregir, porque están ordenadas por frecuencia de rastreo.

Analizar los 404: ¿Screaming Frog o archivos de log?

Screaming Frog permite analizar todos los enlaces existentes y los posibles 404 en enlaces internos o hacia recursos externos, pero se queda ahí.

Con los logs también puedes identificar URL que ya no existen en el sitio pero que quizá se indexaron en la base de datos de Google en versiones anteriores del sitio (no cubiertas por migraciones SEO previas).

Pestaña Response Codes de Log File Analyser filtrada por Client Error (4xx) con la opción Last Response
Pestaña Response Codes de Log File Analyser filtrada por Client Error (4xx) con la opción Last Response

En esta fase, recuerda marcar la casilla «Last Response» junto al filtro 4xx; si no, Log File Analyser mostrará todas las URL con un evento correspondiente en el tiempo (y no solo la última respuesta), lo que puede engañar, porque el error quizá ya se corrigió desde el primer día de registro.

Respuestas incoherentes

Un filtro muy interesante, en línea con el punto anterior, es «Inconsistent», que identifica los recursos con respuestas incoherentes: por ejemplo, porque un enlace roto se corrigió después, o porque el sitio da más errores de servidor con carga alta y hay un problema intermitente que investigar.

Filtro Inconsistent de Log File Analyser para encontrar URL con respuestas incoherentes
Filtro Inconsistent de Log File Analyser para encontrar URL con respuestas incoherentes

Auditoría de redirecciones

Los registros de log muestran todas las URL que piden los buscadores y que responden con una redirección.

Esto incluye no solo las redirecciones actuales del sitio, sino también las históricas que todavía se piden de vez en cuando, quizá por migraciones anteriores.

Para ver las URL con códigos 3xx basta con usar la pestaña correspondiente con el filtro «Redirection (3XX)» y la casilla «Last Response».

Seguridad y rendimiento

Bots suplantados

La pestaña IPs, con el filtro «Verification Status» en «Spoofed», muestra rápidamente las IP de las peticiones que imitan a los bots de los buscadores usando su user agent, pero sin estar verificadas. Con estos datos puedes bloquear esos rastreos y aliviar el servidor.

Menú Verification Status de Log File Analyser con las opciones Verified y Spoofed para detectar bots falsos
Menú Verification Status de Log File Analyser con las opciones Verified y Spoofed para detectar bots falsos

Si cambias el filtro «Verification Status» a «Verified», verás todas las IP de bots de buscadores verificados. Es útil para sitios con páginas localizadas que sirven contenidos distintos según el país.

Identificar páginas pesadas

Otro elemento muy importante es el tiempo de respuesta de cada recurso a las peticiones de los bots.

Las páginas muy pesadas y lentas afectan mucho al crawl budget; analizando los «bytes medios» de las URL identificarás rápidamente las zonas que optimizar.

Pestaña Bytes de Log File Analyser ordenada por Average Bytes para encontrar los recursos más pesados
Pestaña Bytes de Log File Analyser ordenada por Average Bytes para encontrar los recursos más pesados

Hackeos y archivos de log

Los archivos de log son esenciales en caso de hackeo o malware. A menudo se descubre demasiado tarde que un sitio ha sido comprometido, por avisos de Search Console o por una caída brusca en las SERP debida a penalizaciones manuales.

En ese caso, rastrear y eliminar las URL comprometidas («410» gone) puede no bastar (solución inmediata): los logs te muestran el daño real del ataque para el buscador, con una visión completa de las páginas o carpetas creadas que seguirían haciendo daño si no se eliminan del todo.

Un caso muy frecuente es un archivo «.php» u otro que genera de forma intermitente nuevos recursos spam; el rastreo por sí solo no bastaría, mientras que los logs te darían varias alertas con el tiempo, con margen para arreglarlo.

Logs y estrategia SEO

Análisis rastreo vs logs

Uno de los análisis más interesantes es comparar los logs con los datos de un rastreo. Así sabrás si algunas URL, o zonas enteras del sitio, no las rastrea el bot.

Basta con exportar en «.csv» las URL de un rastreo de Screaming Frog e importarlas en Log File Analyser: con el filtro «Not in Log File» de la pestaña URLs encontrarás fácilmente las zonas en las que trabajar para mejorar la navegación del bot, por ejemplo el enlazado interno.

Pestaña URLs de Log File Analyser con la vista Not in Log File: URL del rastreo que los bots nunca han pedido
Pestaña URLs de Log File Analyser con la vista Not in Log File: URL del rastreo que los bots nunca han pedido

Al revés, «Not in URL Data» muestra las URL presentes en la actividad de los bots pero no en el rastreo de Screaming Frog: ahí encontrarás los eventos generados por direcciones que ya no existen, o páginas huérfanas sin enlaces pero presentes en el sitio. Esto también se puede analizar con las API de GA4 y Search Console, que permiten encontrar recursos con impresiones o visitas sin enlaces internos (p. ej. páginas enlazadas desde sitios externos).

Páginas más rastreadas

A estas alturas habrás entendido la importancia de los archivos de log, pero quiero llamar tu atención sobre otro aspecto, más allá de buscar errores.

Conocer tus logs te da una visión de 360° de la estrategia y la arquitectura del sitio. Puedes comparar las páginas más rastreadas por los buscadores (según los eventos) con las que deberían ser tus páginas más visitadas. Si no coinciden, podrás cambiar enseguida el enlazado interno o reestructurar la arquitectura o la profundidad de rastreo de cada recurso, y luego enviar un nuevo sitemap y esperar la respuesta del bot.

Fin de la guía

¿Dudas sobre Los archivos de log y el SEO?

Estas guías nacen de proyectos reales. Si algo no cuadra en tu rastreo, o quieres aplicar este proceso a tu sitio, escríbeme.

Actualizada por alguien que usa SEO Spider cada díaBeta tester de Screaming Frog
Raffaele VisintinAutor.Raffaele Visintin.Search & Strategic Marketing Advisor
SF ClubBeta tester · SEO Spider