¿Bloqueado por robots.txt?.
Descubre cómo analizar los efectos de las directivas del robots.txt
Cómo descubrir qué URL y recursos bloquea el robots.txt, un error frecuente en las migraciones. Usa el filtro Blocked by Robots.txt y la columna Matched Robots.txt Line para llegar a la directiva exacta que bloquea el rastreo.
El robots.txt y el SEO
El archivo robots.txt es crucial para el SEO porque indica a los buscadores qué partes del sitio no deben rastrear, para que se centren en los contenidos más relevantes. Una configuración correcta del robots.txt puede influir directamente en el posicionamiento del sitio, con un mejor control sobre el rastreo y la indexación. Sin embargo, una mala gestión de este archivo puede excluir por accidente páginas importantes y comprometer el posicionamiento general del sitio. Pasa mucho en las migraciones SEO: al publicar, el robots.txt del entorno de staging sigue demasiado a menudo completamente cerrado y bloquea por completo el rastreo.
User-agent: *
Disallow: /Analizar el robots.txt con Screaming Frog
Configurar el robots.txt en SEO Spider
Como ya hemos visto en nuestras guías, Screaming Frog permite revisar a fondo el robots.txt y probar cada ruta directamente desde la aplicación, en 1Configuration›2robots.txt.
Desde aquí puedes respetar el archivo (Respect robots.txt) o ignorarlo (Ignore robots.txt) durante el rastreo, según el objetivo del análisis, y escribir un robots.txt personalizado para usarlo en el rastreo.
Con esta función puedes comprobar carpetas y rutas una a una, pero no en bloque, y eso es muy limitado.
El filtro Blocked by Robots.txt
Con el filtro Blocked by Robots.txt de la pestaña 1Response Codes, Screaming Frog muestra todas las URL bloqueadas por el archivo; con Export descargas la lista para tus comprobaciones.
Probablemente ya conocías este filtro, pero quizá nunca te has fijado en una de sus columnas: Matched Robots.txt Line.
La columna Matched Robots.txt Line
Si el robots.txt está bien configurado, con el filtro anterior solo verás los recursos que de verdad querías bloquear. ¿Pero qué pasa si incluye páginas importantes que querías indexar? Y sobre todo, ¿cómo encuentras el error del robots.txt en un ecommerce de cientos de miles de URL?
Aquí te ayuda la columna Matched Robots.txt Line, que para cada URL indica la regla (la línea de la directiva en el archivo) que bloquea su rastreo.
Para una vista mucho más sencilla, haz clic en el encabezado de la columna y ordénalo todo por la línea correspondiente: así, incluso en sitios web o ecommerce muy grandes, corregir cualquier configuración será mucho más fácil.
Para profundizarPestaña Response Codes.Todas las columnas y filtros de la pestaña de códigos de respuesta: URL bloqueadas, redirecciones, errores 4xx y 5xx.Leer la panorámica Para profundizarProblemas de rastreo.Qué hacer cuando SEO Spider solo rastrea una página o se bloquea: robots.txt, DNS, tiempos de espera y errores del servidor.Leer la guía¿Dudas sobre Bloqueado por robots.txt?
Estas guías nacen de proyectos reales. Si algo no cuadra en tu rastreo, o quieres aplicar este proceso a tu sitio, escríbeme.
Autor.Raffaele Visintin.Search & Strategic Marketing Advisor