¿Bloqueado por Robots.txt?

Descubre cómo analizar los efectos de las directivas Robots.txt

Robots.txt y SEO

El archivo robots.txt es crucial para el SEO, ya que te permite indicar a los motores de búsqueda qué páginas de tu sitio deben excluirse de la indexación, optimizando la visibilidad del contenido más relevante. Una configuración correcta del robots.txt puede influir directamente en la clasificación de un sitio en los resultados de búsqueda, permitiendo un mejor control sobre la indexación y el rastreo por parte de los motores de búsqueda. Sin embargo, un manejo inadecuado de este archivo podría llevar a la exclusión accidental de páginas importantes, comprometiendo así la clasificación general del sitio. Este escenario es muy frecuente durante las migraciones SEO, en la fase de “Staging” donde, en demasiadas ocasiones, permanece completamente cerrado e inhibe por completo la indexación de la araña.

Copy to Clipboard

Robots.txt y Screaming Frog

Como ya hemos visto con nuestras guías, Screaming Frog permite comprobar minuciosamente el Robots.txt y probar “URLs de ruta” individuales directamente desde la consola.
A través de la Araña SEO, es posible respetar (“Respetar Robots.txt”) o ignorar Robots.txt (“Ignorar Robots.txt”) durante el rastreo, en función de la finalidad del análisis.

configurazione custom robots txt con il seo spider

Mediante la función anterior, es posible comprobar carpetas o rutas individualmente para ver si el Robots.txt crea bloqueos, pero no permite un análisis “Masivo”.

Screaming Frog, a través del filtro‘Bloqueado por Robots.txt‘, de la pestaña‘Código de Estado‘ permite ver todas las URLs afectadas por el fichero, y a través de la exportación es posible descargar un documento de referencia para su posible control o análisis.

Probablemente ya conocías esta opción, pero quizás nunca consideraste una de las columnas disponibles con este filtro, la“Línea Robots.txt coincidente“.

Línea Robots.txt coincidente

Al analizar el archivo robots.txt, si todo está configurado correctamente con el filtro anterior, sólo encontrarás los recursos que realmente querías bloquear, pero ¿qué ocurre si se incluyen páginas importantes que de otro modo querías indexar? Pero, sobre todo, ¿cómo desentrañar, en el caso de un comercio electrónico con cientos de miles de URL, el posible fallo en la compilación del archivo Robots.txt?

Para ayudarte, Screaming Frog ha proporcionado la columna “Línea Robots.txt coincidente”, que para cada URL individual te indica qué regla (línea directiva en el archivo) del archivo robots.txt está bloqueando la indexación.

Para obtener una vista muy simplificada, puedes hacer clic en la cabecera de la columna y ordenarlo todo según la línea de referencia, de modo que, incluso al analizar grandes sitios web o comercios electrónicos, la resolución de cualquier configuración puede simplificarse enormemente.

Ficha Seo Spider