Rastreo de sitios en staging.
Descubre cómo hacer una auditoría SEO de un sitio en staging y estar listo para publicarlo.
Cómo rastrear un sitio en staging sorteando los bloqueos pensados para los buscadores: robots.txt, autenticación, restricciones por IP, noindex y nofollow. Al final comparas el staging con el sitio en producción.
Análisis de sitios en staging
Los sitios en staging no suelen poder ser rastreados por buscadores ni rastreadores. Como hay varias formas de impedir el rastreo, Screaming Frog ofrece distintos enfoques y configuraciones para rastrearlos igualmente y sortear estos límites.
robots.txt
El caso más habitual es un robots.txt que bloquea el rastreo. SEO Spider solo recoge una URL, el estado muestra «Blocked by robots.txt» y la URL aparece como «Non-Indexable».
Para superar esta barrera basta con configurar Ignore robots.txt en 1Configuration›2robots.txt.
Otra opción es configurar un robots.txt personalizado en la sección Custom Robots de la misma ventana, para quitar las directivas «disallow» y añadir, si hace falta, otras reglas que SEO Spider deba seguir.
Autenticación
Si el servidor pide autenticación, puedes dar a SEO Spider usuario y contraseña para rastrear el sitio.
Autenticación básica
SEO Spider detecta automáticamente la autenticación basic y digest al rastrear el sitio: aparece una ventana de autenticación, como en un navegador, que pide usuario y contraseña.
También puedes introducir las credenciales antes del rastreo en 1Configuration›2Authentication›3Standards Based: activa Allow standards based authentication, haz clic en Add y rellena URL/Host, Username y Password.
Con las credenciales correctas, SEO Spider empieza a rastrear con normalidad el sitio en staging.
Autenticación por formulario web
Si hay formularios o áreas que requieren acceso con cookies, SEO Spider permite iniciar sesión en ellos desde su navegador Chrome integrado.
Para acceder con autenticación por formulario, ve a 1Configuration›2Authentication›3Forms Based, haz clic en Add, introduce la URL de la página de acceso e inicia sesión desde el navegador.
Dirección IP
Algunas plataformas de staging limitan el acceso según la dirección IP.
Como SEO Spider rastrea en local desde el equipo en el que se ejecuta, hay que facilitar esa dirección IP para que se incluya en la lista blanca.
Configuración de SEO Spider
Los sitios en desarrollo pueden responder a las peticiones HTTP de forma distinta a los de producción y a menudo tienen directivas para robots que requieren configuraciones adicionales en SEO Spider.
Velocidad de rastreo
Los sitios en staging suelen ser más lentos y no soportan la misma carga que un servidor de producción. Si notas inestabilidad, tiempos de espera agotados o errores del servidor, reduce la velocidad de rastreo en 1Configuration›2Speed.
También puedes ajustar el tiempo de espera de respuesta y el de AJAX en los rastreos con renderizado JavaScript.
Nofollow
Para protegerse de los bots, muchos sitios en desarrollo tienen una meta robots «nofollow» en todo el sitio, o una X-Robots-Tag en la cabecera HTTP. «nofollow» es una directiva muy distinta de noindex: indica al rastreador que no siga ningún enlace saliente de la página.
En este caso, ve a 1Configuration›2Spider›3Crawl y activa Follow Internal “nofollow” para rastrear los enlaces salientes de esas páginas y obtener una auditoría completa.
URL con noindex
Otra etiqueta habitual en staging es el noindex, que permite el rastreo pero no la indexación. Lo ves en la pestaña Directives con el filtro Noindex. Te recomiendo comprobar que se quita en cuanto se publica el sitio: demasiadas veces se ven sitios ya publicados con el robots.txt o el noindex todavía activos.
Además de la publicación, ten en cuenta que SEO Spider rastrea las páginas con noindex (como un bot normal) pero las considera «no indexables». Por defecto las excluye de los filtros de problemas: no te señala contenidos duplicados, titles ausentes, meta descriptions, etc., así que el análisis podría quedar muy incompleto.
La solución es desactivar Ignore Non-Indexable URLs for Issues para un rastreo completo del sitio en staging:
1Configuration›2Spider›3Advanced
La directiva none
La directiva «none» se infravalora y malinterpreta demasiado a menudo, como si significara «sin directivas»: en realidad equivale a «noindex, nofollow».
Si es tu caso, sigue los mismos pasos descritos antes.
Sitio en producción vs staging
Con las últimas versiones de Screaming Frog puedes comparar dos rastreos para ver las diferencias, también gracias al URL Mapping, que permite comparar dos estructuras de URL distintas como un sitio de staging y el entorno de producción.
Para comparar el staging con el sitio en producción, haz clic en 1Mode›2Compare y selecciona los dos rastreos.
Vídeo sobre el rastreo de sitios en staging
¿Dudas sobre Rastreo de sitios en staging?
Estas guías nacen de proyectos reales. Si algo no cuadra en tu rastreo, o quieres aplicar este proceso a tu sitio, escríbeme.
Autor.Raffaele Visintin.Search & Strategic Marketing Advisor