An\u00e1lisis del lugar de la puesta en escena<\/h2><\/span><\/div><\/div><\/div>Por lo general, los motores de b\u00fasqueda y los rastreadores no pueden escanear los sitios web de escenificaci\u00f3n. Dado que existen varios m\u00e9todos para impedir el rastreo, hay varios enfoques o configuraciones de Screaming Frog que pueden aplicarse para conseguir el rastreo y eludir estas limitaciones.<\/p>\n<\/div>
<\/div><\/div><\/span>Robots.txt<\/h3><\/span><\/div><\/div><\/div>\n- 1. Robots.txt<\/li>\n<\/ul>\n
El caso m\u00e1s com\u00fan se refiere al archivo robots.txt que bloquea el escaneado. En este caso, la ara\u00f1a Seo s\u00f3lo recoge una URL, el registro muestra el mensaje \u00abBloqueado por robots.txt\u00bb y el estado es \u00abIndexable\u00bb. Para superar esta barrera, simplemente establece ‘Ignorar Robots.txt’ desde Config. > Robots.txt<\/p>\n<\/div>
![\"Analisi](\"http:\/\/screamingfrog.club\/wp-content\/uploads\/2024\/03\/how-to-crawl-staging-website-blocked-robots.jpeg\" "\\"how-to-crawl-staging-website-blocked-robots\\"")
<\/span><\/div>![](\"http:\/\/screamingfrog.club\/wp-content\/uploads\/2024\/03\/sito-bloccato-da-robots.txt.png\" "\\"sito")
<\/span><\/div>> > Una alternativa es configurar un robots.txt personalizado a trav\u00e9s de \u00abConfig robots.txt Personalizado\u00bb para eliminar cualquier directiva \u00abdisallow\u00bb y a\u00f1adir, si es necesario, otras personalizaciones que deba seguir la ara\u00f1a Seo.<\/p>\n<\/div>
![\"configurazione](\"http:\/\/screamingfrog.club\/wp-content\/uploads\/2024\/03\/custom-robots-txt-con-seo-spider.png\")
<\/a><\/span><\/div><\/div><\/div><\/span>Autenticaci\u00f3n<\/h3><\/span><\/div><\/div><\/div>\n- 2. Autenticaci\u00f3n<\/li>\n<\/ul>\n
En caso de que el servidor requiera autenticaci\u00f3n, es posible proporcionar nombre de usuario y contrase\u00f1a a la Ara\u00f1a Seo para que escanee el sitio.<\/p>\n<\/div>
<\/div><\/div><\/span>Autenticaci\u00f3n b\u00e1sica<\/h4><\/span><\/div><\/div><\/div>La autenticaci\u00f3n b\u00e1sica y los compendios son detectados autom\u00e1ticamente por la Ara\u00f1a Seo al escanear el sitio web.<\/p>\n
Al escanear el sitio en desarrollo, aparece una ventana emergente de autenticaci\u00f3n, como en un navegador web, que te pide un nombre de usuario y una contrase\u00f1a.<\/p>\n<\/div>
![](\"http:\/\/screamingfrog.club\/wp-content\/uploads\/2024\/03\/autenticazione-di-base-seo-spider.png\")
<\/a><\/span><\/div>Al introducir las credenciales correctas, la ara\u00f1a Seo inicia el rastreo normal de las p\u00e1ginas del sitio web en staging.<\/p>\n<\/div>
<\/div><\/div><\/span>Autenticaci\u00f3n de formularios web<\/h4><\/span><\/div><\/div><\/div>Si hay otros formularios web o \u00e1reas que requieren inicio de sesi\u00f3n con cookies para la autenticaci\u00f3n, la Ara\u00f1a Seo permite a los usuarios acceder a estos formularios web dentro del navegador Chrome integrado en la herramienta.<\/p>\n
> > Para iniciar sesi\u00f3n utilizando la autenticaci\u00f3n de formularios web, haz clic en \u00abConfiguraci\u00f3n Autenticaci\u00f3n basada en formularios\u00bb. A continuaci\u00f3n, haz clic en el bot\u00f3n \u00abA\u00f1adir\u00bb, introduce la URL del sitio que deseas rastrear e inicia sesi\u00f3n desde tu navegador.<\/p>\n<\/div>
![](\"http:\/\/screamingfrog.club\/wp-content\/uploads\/2024\/03\/Autenticazione-web-form.png\")
<\/a><\/span><\/div><\/div><\/div><\/span>Direcci\u00f3n IP<\/h3><\/span><\/div><\/div><\/div>Algunas plataformas de montaje pueden restringir el acceso en funci\u00f3n de la direcci\u00f3n IP.<\/p>\n
Dado que el SEO Spider realiza un rastreo local desde la m\u00e1quina desde la que se ejecuta, es necesario proporcionar esta direcci\u00f3n IP para que se incluya en la \u00ablista blanca\u00bb.<\/p>\n<\/div>
<\/div><\/div><\/span>Configuraci\u00f3n Seo Spider<\/h3><\/span><\/div><\/div><\/div>Los sitios en desarrollo pueden responder de forma diferente a las peticiones HTTP que los que est\u00e1n en un entorno activo, y a menudo pueden tener directivas de robot que requieren una configuraci\u00f3n adicional en el SEO Spider.<\/p>\n<\/div>
<\/div><\/div><\/span>Velocidad de escaneado<\/h4><\/span><\/div><\/div><\/div>Los sitios web escenificados suelen ser m\u00e1s lentos y no pueden soportar la misma carga que un servidor de producci\u00f3n. Si observas inestabilidad en el sitio y errores de tiempo de espera o errores del servidor, tienes que reducir la velocidad de exploraci\u00f3n de la ara\u00f1a.<\/p>\n<\/div>
![](\"http:\/\/screamingfrog.club\/wp-content\/uploads\/2024\/03\/configurazione-velocita-scansione-seo-spider.png\")
<\/a><\/span><\/div>O gestionar el tiempo de espera y el tiempo de espera AJAX en el caso de escanear con renderizado Javascript.<\/p>\n<\/div>
<\/div><\/div><\/span>No Seguir<\/h4><\/span><\/div><\/div><\/div>Para proteger posibles intrusiones BOT, muchos sitios en desarrollo pueden presentar una etiqueta meta robots \u00abnofollow\u00bb en todo el sitio, o una etiqueta X-Robots en la cabecera HTTP. Un \u00abnofollow\u00bb es una directiva muy diferente de un noindex, e indica a un rastreador que no siga ning\u00fan enlace saliente de una p\u00e1gina.<\/p>\n<\/div>
![](\"http:\/\/screamingfrog.club\/wp-content\/uploads\/2024\/03\/how-to-crawl-staging-sito-web-nofollow.jpeg\")
<\/a><\/span><\/div>> En caso de que tengas la condici\u00f3n del ejemplo, ve a ‘Config Spider’ y activa ‘Follow Internal Nofollow’ para escanear los outlinks de estas p\u00e1ginas y obtener una auditor\u00eda completa.<\/p>\n
<\/div>\n<\/div>![](\"http:\/\/screamingfrog.club\/wp-content\/uploads\/2024\/03\/Crawler-pagine-con-no-follow-link.png\")
<\/a><\/span><\/div><\/div><\/div><\/span>Sin Urls de \u00cdndice<\/h4><\/span><\/div><\/div><\/div>Otra etiqueta que puedes encontrar en un sitio de ensayo es la noindex, que permite al rastreador rastrearlo pero no indexarlo. El uso de noindex puede verse en la pesta\u00f1a \u00abDirectivas\u00bb y en el filtro \u00abnoindex\u00bb. Lo que recomiendo es comprobar que esta etiqueta se elimina inmediatamente cuando el sitio web se publica en l\u00ednea, demasiadas veces se ven sitios con el archivo robots.txt o la etiqueta noindex a\u00fan activos aunque ya se hayan publicado en l\u00ednea.<\/p>\n<\/div>
![](\"http:\/\/screamingfrog.club\/wp-content\/uploads\/2024\/03\/crawl-staging-website-noindex.jpeg\")
<\/a><\/span><\/div>Adem\u00e1s de los aspectos relacionados con la navegaci\u00f3n, debes tener en cuenta que la ara\u00f1a Seo escanea las p\u00e1ginas con un noindex (como un BOT normal), pero ve estas p\u00e1ginas como \u00abno indexables\u00bb. Esto significa que, por defecto, la ara\u00f1a no tiene en cuenta las m\u00e9tricas relevantes en los filtros y no te proporciona elementos como contenido duplicado, o falta de t\u00edtulos de p\u00e1gina, meta descripciones, etc., por lo que el an\u00e1lisis puede ser muy sesgado.<\/p>\n
La soluci\u00f3n es desactivar \u00abIgnorar URL no indexables para filtros en la p\u00e1gina\u00bb para realizar un an\u00e1lisis completo del sitio web de prueba.<\/p>\n<\/div><\/div><\/div><\/div><\/div>
Por lo general, los motores de b\u00fasqueda y los rastreadores no pueden escanear los sitios web de escenificaci\u00f3n. Dado que existen varios m\u00e9todos para impedir el rastreo, hay varios enfoques o configuraciones de Screaming Frog que pueden aplicarse para conseguir el rastreo y eludir estas limitaciones.<\/p>\n<\/div>
Robots.txt<\/h3><\/span><\/div><\/div><\/div>\n- 1. Robots.txt<\/li>\n<\/ul>\n
El caso m\u00e1s com\u00fan se refiere al archivo robots.txt que bloquea el escaneado. En este caso, la ara\u00f1a Seo s\u00f3lo recoge una URL, el registro muestra el mensaje \u00abBloqueado por robots.txt\u00bb y el estado es \u00abIndexable\u00bb. Para superar esta barrera, simplemente establece ‘Ignorar Robots.txt’ desde Config. > Robots.txt<\/p>\n<\/div>
<\/span><\/div><\/span><\/div>> > Una alternativa es configurar un robots.txt personalizado a trav\u00e9s de \u00abConfig robots.txt Personalizado\u00bb para eliminar cualquier directiva \u00abdisallow\u00bb y a\u00f1adir, si es necesario, otras personalizaciones que deba seguir la ara\u00f1a Seo.<\/p>\n<\/div>
<\/a><\/span><\/div><\/div><\/div><\/span>Autenticaci\u00f3n<\/h3><\/span><\/div><\/div><\/div>\n- 2. Autenticaci\u00f3n<\/li>\n<\/ul>\n
En caso de que el servidor requiera autenticaci\u00f3n, es posible proporcionar nombre de usuario y contrase\u00f1a a la Ara\u00f1a Seo para que escanee el sitio.<\/p>\n<\/div>
<\/div><\/div><\/span>Autenticaci\u00f3n b\u00e1sica<\/h4><\/span><\/div><\/div><\/div>La autenticaci\u00f3n b\u00e1sica y los compendios son detectados autom\u00e1ticamente por la Ara\u00f1a Seo al escanear el sitio web.<\/p>\n
Al escanear el sitio en desarrollo, aparece una ventana emergente de autenticaci\u00f3n, como en un navegador web, que te pide un nombre de usuario y una contrase\u00f1a.<\/p>\n<\/div>
<\/a><\/span><\/div>Al introducir las credenciales correctas, la ara\u00f1a Seo inicia el rastreo normal de las p\u00e1ginas del sitio web en staging.<\/p>\n<\/div>
<\/div><\/div><\/span>Autenticaci\u00f3n de formularios web<\/h4><\/span><\/div><\/div><\/div>Si hay otros formularios web o \u00e1reas que requieren inicio de sesi\u00f3n con cookies para la autenticaci\u00f3n, la Ara\u00f1a Seo permite a los usuarios acceder a estos formularios web dentro del navegador Chrome integrado en la herramienta.<\/p>\n
> > Para iniciar sesi\u00f3n utilizando la autenticaci\u00f3n de formularios web, haz clic en \u00abConfiguraci\u00f3n Autenticaci\u00f3n basada en formularios\u00bb. A continuaci\u00f3n, haz clic en el bot\u00f3n \u00abA\u00f1adir\u00bb, introduce la URL del sitio que deseas rastrear e inicia sesi\u00f3n desde tu navegador.<\/p>\n<\/div>
<\/a><\/span><\/div><\/div><\/div><\/span>Direcci\u00f3n IP<\/h3><\/span><\/div><\/div><\/div>Algunas plataformas de montaje pueden restringir el acceso en funci\u00f3n de la direcci\u00f3n IP.<\/p>\n
Dado que el SEO Spider realiza un rastreo local desde la m\u00e1quina desde la que se ejecuta, es necesario proporcionar esta direcci\u00f3n IP para que se incluya en la \u00ablista blanca\u00bb.<\/p>\n<\/div>
<\/div><\/div><\/span>Configuraci\u00f3n Seo Spider<\/h3><\/span><\/div><\/div><\/div>Los sitios en desarrollo pueden responder de forma diferente a las peticiones HTTP que los que est\u00e1n en un entorno activo, y a menudo pueden tener directivas de robot que requieren una configuraci\u00f3n adicional en el SEO Spider.<\/p>\n<\/div>
<\/div><\/div><\/span>Velocidad de escaneado<\/h4><\/span><\/div><\/div><\/div>Los sitios web escenificados suelen ser m\u00e1s lentos y no pueden soportar la misma carga que un servidor de producci\u00f3n. Si observas inestabilidad en el sitio y errores de tiempo de espera o errores del servidor, tienes que reducir la velocidad de exploraci\u00f3n de la ara\u00f1a.<\/p>\n<\/div>
<\/a><\/span><\/div>O gestionar el tiempo de espera y el tiempo de espera AJAX en el caso de escanear con renderizado Javascript.<\/p>\n<\/div>
<\/div><\/div><\/span>No Seguir<\/h4><\/span><\/div><\/div><\/div>Para proteger posibles intrusiones BOT, muchos sitios en desarrollo pueden presentar una etiqueta meta robots \u00abnofollow\u00bb en todo el sitio, o una etiqueta X-Robots en la cabecera HTTP. Un \u00abnofollow\u00bb es una directiva muy diferente de un noindex, e indica a un rastreador que no siga ning\u00fan enlace saliente de una p\u00e1gina.<\/p>\n<\/div>
<\/a><\/span><\/div>> En caso de que tengas la condici\u00f3n del ejemplo, ve a ‘Config Spider’ y activa ‘Follow Internal Nofollow’ para escanear los outlinks de estas p\u00e1ginas y obtener una auditor\u00eda completa.<\/p>\n
<\/div>\n<\/div><\/a><\/span><\/div><\/div><\/div><\/span>Sin Urls de \u00cdndice<\/h4><\/span><\/div><\/div><\/div>Otra etiqueta que puedes encontrar en un sitio de ensayo es la noindex, que permite al rastreador rastrearlo pero no indexarlo. El uso de noindex puede verse en la pesta\u00f1a \u00abDirectivas\u00bb y en el filtro \u00abnoindex\u00bb. Lo que recomiendo es comprobar que esta etiqueta se elimina inmediatamente cuando el sitio web se publica en l\u00ednea, demasiadas veces se ven sitios con el archivo robots.txt o la etiqueta noindex a\u00fan activos aunque ya se hayan publicado en l\u00ednea.<\/p>\n<\/div>
<\/a><\/span><\/div>Adem\u00e1s de los aspectos relacionados con la navegaci\u00f3n, debes tener en cuenta que la ara\u00f1a Seo escanea las p\u00e1ginas con un noindex (como un BOT normal), pero ve estas p\u00e1ginas como \u00abno indexables\u00bb. Esto significa que, por defecto, la ara\u00f1a no tiene en cuenta las m\u00e9tricas relevantes en los filtros y no te proporciona elementos como contenido duplicado, o falta de t\u00edtulos de p\u00e1gina, meta descripciones, etc., por lo que el an\u00e1lisis puede ser muy sesgado.<\/p>\n
La soluci\u00f3n es desactivar \u00abIgnorar URL no indexables para filtros en la p\u00e1gina\u00bb para realizar un an\u00e1lisis completo del sitio web de prueba.<\/p>\n<\/div><\/div><\/div><\/div><\/div>
- \n
- 1. Robots.txt<\/li>\n<\/ul>\n
El caso m\u00e1s com\u00fan se refiere al archivo robots.txt que bloquea el escaneado. En este caso, la ara\u00f1a Seo s\u00f3lo recoge una URL, el registro muestra el mensaje \u00abBloqueado por robots.txt\u00bb y el estado es \u00abIndexable\u00bb. Para superar esta barrera, simplemente establece ‘Ignorar Robots.txt’ desde Config. > Robots.txt<\/p>\n<\/div>
<\/span><\/div><\/span><\/div>> > Una alternativa es configurar un robots.txt personalizado a trav\u00e9s de \u00abConfig robots.txt Personalizado\u00bb para eliminar cualquier directiva \u00abdisallow\u00bb y a\u00f1adir, si es necesario, otras personalizaciones que deba seguir la ara\u00f1a Seo.<\/p>\n<\/div>
<\/a><\/span><\/div><\/div><\/div><\/span>Autenticaci\u00f3n<\/h3><\/span>
<\/div><\/div><\/div>- \n
- 2. Autenticaci\u00f3n<\/li>\n<\/ul>\n
En caso de que el servidor requiera autenticaci\u00f3n, es posible proporcionar nombre de usuario y contrase\u00f1a a la Ara\u00f1a Seo para que escanee el sitio.<\/p>\n<\/div>
<\/div><\/div><\/span>Autenticaci\u00f3n b\u00e1sica<\/h4><\/span>
<\/div><\/div><\/div>La autenticaci\u00f3n b\u00e1sica y los compendios son detectados autom\u00e1ticamente por la Ara\u00f1a Seo al escanear el sitio web.<\/p>\n
Al escanear el sitio en desarrollo, aparece una ventana emergente de autenticaci\u00f3n, como en un navegador web, que te pide un nombre de usuario y una contrase\u00f1a.<\/p>\n<\/div>
<\/a><\/span><\/div>Al introducir las credenciales correctas, la ara\u00f1a Seo inicia el rastreo normal de las p\u00e1ginas del sitio web en staging.<\/p>\n<\/div>
<\/div><\/div><\/span>Autenticaci\u00f3n de formularios web<\/h4><\/span>
<\/div><\/div><\/div>Si hay otros formularios web o \u00e1reas que requieren inicio de sesi\u00f3n con cookies para la autenticaci\u00f3n, la Ara\u00f1a Seo permite a los usuarios acceder a estos formularios web dentro del navegador Chrome integrado en la herramienta.<\/p>\n
> > Para iniciar sesi\u00f3n utilizando la autenticaci\u00f3n de formularios web, haz clic en \u00abConfiguraci\u00f3n Autenticaci\u00f3n basada en formularios\u00bb. A continuaci\u00f3n, haz clic en el bot\u00f3n \u00abA\u00f1adir\u00bb, introduce la URL del sitio que deseas rastrear e inicia sesi\u00f3n desde tu navegador.<\/p>\n<\/div>
<\/a><\/span><\/div><\/div><\/div><\/span>Direcci\u00f3n IP<\/h3><\/span>
<\/div><\/div><\/div>Algunas plataformas de montaje pueden restringir el acceso en funci\u00f3n de la direcci\u00f3n IP.<\/p>\n
Dado que el SEO Spider realiza un rastreo local desde la m\u00e1quina desde la que se ejecuta, es necesario proporcionar esta direcci\u00f3n IP para que se incluya en la \u00ablista blanca\u00bb.<\/p>\n<\/div>
<\/div><\/div><\/span>Configuraci\u00f3n Seo Spider<\/h3><\/span>
<\/div><\/div><\/div>Los sitios en desarrollo pueden responder de forma diferente a las peticiones HTTP que los que est\u00e1n en un entorno activo, y a menudo pueden tener directivas de robot que requieren una configuraci\u00f3n adicional en el SEO Spider.<\/p>\n<\/div>
<\/div><\/div><\/span>Velocidad de escaneado<\/h4><\/span>
<\/div><\/div><\/div>Los sitios web escenificados suelen ser m\u00e1s lentos y no pueden soportar la misma carga que un servidor de producci\u00f3n. Si observas inestabilidad en el sitio y errores de tiempo de espera o errores del servidor, tienes que reducir la velocidad de exploraci\u00f3n de la ara\u00f1a.<\/p>\n<\/div>
<\/a><\/span><\/div>O gestionar el tiempo de espera y el tiempo de espera AJAX en el caso de escanear con renderizado Javascript.<\/p>\n<\/div>
<\/div><\/div><\/span>No Seguir<\/h4><\/span>
<\/div><\/div><\/div>Para proteger posibles intrusiones BOT, muchos sitios en desarrollo pueden presentar una etiqueta meta robots \u00abnofollow\u00bb en todo el sitio, o una etiqueta X-Robots en la cabecera HTTP. Un \u00abnofollow\u00bb es una directiva muy diferente de un noindex, e indica a un rastreador que no siga ning\u00fan enlace saliente de una p\u00e1gina.<\/p>\n<\/div>
<\/a><\/span><\/div>> En caso de que tengas la condici\u00f3n del ejemplo, ve a ‘Config Spider’ y activa ‘Follow Internal Nofollow’ para escanear los outlinks de estas p\u00e1ginas y obtener una auditor\u00eda completa.<\/p>\n
<\/div>\n<\/div><\/a><\/span><\/div><\/div><\/div><\/span>Sin Urls de \u00cdndice<\/h4><\/span>
<\/div><\/div><\/div>Otra etiqueta que puedes encontrar en un sitio de ensayo es la noindex, que permite al rastreador rastrearlo pero no indexarlo. El uso de noindex puede verse en la pesta\u00f1a \u00abDirectivas\u00bb y en el filtro \u00abnoindex\u00bb. Lo que recomiendo es comprobar que esta etiqueta se elimina inmediatamente cuando el sitio web se publica en l\u00ednea, demasiadas veces se ven sitios con el archivo robots.txt o la etiqueta noindex a\u00fan activos aunque ya se hayan publicado en l\u00ednea.<\/p>\n<\/div>
<\/a><\/span><\/div>Adem\u00e1s de los aspectos relacionados con la navegaci\u00f3n, debes tener en cuenta que la ara\u00f1a Seo escanea las p\u00e1ginas con un noindex (como un BOT normal), pero ve estas p\u00e1ginas como \u00abno indexables\u00bb. Esto significa que, por defecto, la ara\u00f1a no tiene en cuenta las m\u00e9tricas relevantes en los filtros y no te proporciona elementos como contenido duplicado, o falta de t\u00edtulos de p\u00e1gina, meta descripciones, etc., por lo que el an\u00e1lisis puede ser muy sesgado.<\/p>\n
La soluci\u00f3n es desactivar \u00abIgnorar URL no indexables para filtros en la p\u00e1gina\u00bb para realizar un an\u00e1lisis completo del sitio web de prueba.<\/p>\n<\/div><\/div><\/div><\/div><\/div>
- 2. Autenticaci\u00f3n<\/li>\n<\/ul>\n