Auditoria de centros de ensayo

Averigua cómo realizar una auditoría seo de los sitios web en fase de preparación y prepárate para entrar en Internet.

Análisis del lugar de la puesta en escena

Por lo general, los motores de búsqueda y los rastreadores no pueden escanear los sitios web de escenificación. Dado que existen varios métodos para impedir el rastreo, hay varios enfoques o configuraciones de Screaming Frog que pueden aplicarse para conseguir el rastreo y eludir estas limitaciones.

Robots.txt

  • 1. Robots.txt

El caso más común se refiere al archivo robots.txt que bloquea el escaneado. En este caso, la araña Seo sólo recoge una URL, el registro muestra el mensaje “Bloqueado por robots.txt” y el estado es “Indexable”. Para superar esta barrera, simplemente establece ‘Ignorar Robots.txt’ desde Config. > Robots.txt

Analisi siti instaging bloccati da file robots txt

> > Una alternativa es configurar un robots.txt personalizado a través de “Config robots.txt Personalizado” para eliminar cualquier directiva “disallow” y añadir, si es necesario, otras personalizaciones que deba seguir la araña Seo.

configurazione custom robots txt con il seo spider

Autenticación

  • 2. Autenticación

En caso de que el servidor requiera autenticación, es posible proporcionar nombre de usuario y contraseña a la Araña Seo para que escanee el sitio.

Autenticación básica

La autenticación básica y los compendios son detectados automáticamente por la Araña Seo al escanear el sitio web.

Al escanear el sitio en desarrollo, aparece una ventana emergente de autenticación, como en un navegador web, que te pide un nombre de usuario y una contraseña.

Al introducir las credenciales correctas, la araña Seo inicia el rastreo normal de las páginas del sitio web en staging.

Autenticación de formularios web

Si hay otros formularios web o áreas que requieren inicio de sesión con cookies para la autenticación, la Araña Seo permite a los usuarios acceder a estos formularios web dentro del navegador Chrome integrado en la herramienta.

> > Para iniciar sesión utilizando la autenticación de formularios web, haz clic en “Configuración Autenticación basada en formularios”. A continuación, haz clic en el botón “Añadir”, introduce la URL del sitio que deseas rastrear e inicia sesión desde tu navegador.

Dirección IP

Algunas plataformas de montaje pueden restringir el acceso en función de la dirección IP.

Dado que el SEO Spider realiza un rastreo local desde la máquina desde la que se ejecuta, es necesario proporcionar esta dirección IP para que se incluya en la “lista blanca”.

Configuración Seo Spider

Los sitios en desarrollo pueden responder de forma diferente a las peticiones HTTP que los que están en un entorno activo, y a menudo pueden tener directivas de robot que requieren una configuración adicional en el SEO Spider.

Velocidad de escaneado

Los sitios web escenificados suelen ser más lentos y no pueden soportar la misma carga que un servidor de producción. Si observas inestabilidad en el sitio y errores de tiempo de espera o errores del servidor, tienes que reducir la velocidad de exploración de la araña.

O gestionar el tiempo de espera y el tiempo de espera AJAX en el caso de escanear con renderizado Javascript.

No Seguir

Para proteger posibles intrusiones BOT, muchos sitios en desarrollo pueden presentar una etiqueta meta robots “nofollow” en todo el sitio, o una etiqueta X-Robots en la cabecera HTTP. Un “nofollow” es una directiva muy diferente de un noindex, e indica a un rastreador que no siga ningún enlace saliente de una página.

> En caso de que tengas la condición del ejemplo, ve a ‘Config Spider’ y activa ‘Follow Internal Nofollow’ para escanear los outlinks de estas páginas y obtener una auditoría completa.

Sin Urls de Índice

Otra etiqueta que puedes encontrar en un sitio de ensayo es la noindex, que permite al rastreador rastrearlo pero no indexarlo. El uso de noindex puede verse en la pestaña “Directivas” y en el filtro “noindex”. Lo que recomiendo es comprobar que esta etiqueta se elimina inmediatamente cuando el sitio web se publica en línea, demasiadas veces se ven sitios con el archivo robots.txt o la etiqueta noindex aún activos aunque ya se hayan publicado en línea.

Además de los aspectos relacionados con la navegación, debes tener en cuenta que la araña Seo escanea las páginas con un noindex (como un BOT normal), pero ve estas páginas como “no indexables”. Esto significa que, por defecto, la araña no tiene en cuenta las métricas relevantes en los filtros y no te proporciona elementos como contenido duplicado, o falta de títulos de página, meta descripciones, etc., por lo que el análisis puede ser muy sesgado.

La solución es desactivar “Ignorar URL no indexables para filtros en la página” para realizar un análisis completo del sitio web de prueba.

> > Config Araña Avanzada

gestione della direttiva no index con il seo spider

Ninguna Directiva

Demasiadas veces se subestima la directiva “Ninguna” y se malinterpreta pensando que significa que no hay directivas, ¡en lugar de eso equivale a “noindex, no follow”!

Si es así, debes seguir los mismos pasos descritos anteriormente.

Sitio en vivo vs Puesta en escena

Con la última versión de Screaming Frog the Seo Spider puedes comparar dos rastreos para ver las diferencias a través de la función “Mapeo de URL”, que te permite comparar dos estructuras de URL diferentes, como un sitio web de ensayo frente a un entorno de producción o en vivo.

Funzione compare per analisi siti staging contro live

> Para comparar la puesta en escena con el sitio web en vivo, simplemente haz clic en “Modo Comparar” y selecciona los dos rastreos.

Url mapping per analisi siti staginig e live

Sitios de rastreo Vídeo de puesta en escena

Ficha Seo Spider