PESTAÑA DIRECTIVAS.

Panorámica de la pestaña Directivas

La pestaña de directivas muestra los datos de la metaetiqueta robots y de la X-Robots-Tag en la cabecera HTTP. Estas directivas controlan cómo aparecen tu contenido y tus URL en buscadores como Google.

Para entender su importancia, piensa en dos escenarios que puede encontrarse el bot del buscador:

1. El robots.txt no existe o permite rastrear una URL: los buscadores consideran ese recurso rastreable e indexable, salvo que haya directivas más específicas definidas con las meta robots.
2. El robots.txt bloquea la URL con «disallow» e impide su rastreo. En este caso las meta robots no se detectarán y sus instrucciones no se aplicarán.

La metaetiqueta robots debe colocarse en el head de la página HTML, o en la cabecera HTTP con la X-Robots-Tag, y se pueden combinar varias directivas:

<meta name="robots" content="noindex, nofollow">

X-Robots-Tag: noindex, nofollow

La pestaña tiene tres columnas: la primera para la dirección de la URL (Address) y las otras para las meta robots y la X-Robots-Tag, de las que SEO Spider recoge todas las apariciones.

123

1DirectivesLa pestaña de las directivas robots.2FiltrosDe Index a Outside head.3Meta Robots y X-Robots-TagLas directivas encontradas en el HTML y en la cabecera HTTP.

Filtros

Los filtros disponibles son:

• Index: las páginas con el atributo «index»; no es necesario, porque los buscadores indexan las URL también sin esta directiva.

• Noindex: este atributo indica a los buscadores que no indexen la página. ¡No bloquea el rastreo! Puede definirse de forma global o para un buscador concreto.

• Follow: la directiva «follow» indica al rastreador que siga todos los enlaces de la página. Si no está, los buscadores siguen los enlaces por defecto.

• Nofollow: una «sugerencia» que pide a los buscadores que no sigan ningún enlace de la página. Se usa a menudo en los entornos de staging junto con «noindex» para evitar rastreos antes de publicar.
  Para rastrear páginas con esta directiva, activa la opción «Follow Internal Nofollow» en 1Configuration›2Spider›3Crawl.
  Recuerda: con esta directiva los enlaces de la página no transmiten PageRank.

• None: la meta «none» no significa ausencia de directivas; al contrario, es muy restrictiva y combina «noindex» y «nofollow».

• NoArchive: indica a Google que no muestre la copia en caché de la página en los resultados. Desde 2024 Google ha eliminado la copia en caché y el operador «cache:», así que hoy esta directiva tiene poco efecto.

• NoSnippet: impide al buscador (por ahora solo Google) mostrar un fragmento como la meta description en los resultados.

• Max-Snippet: limita la longitud del fragmento de texto de la página en Google a [número] caracteres. Valores especiales: 0 para ningún fragmento, o -1 para cualquier longitud.

• Max-Image-Preview: define el tamaño máximo de la vista previa de imagen de la página en Google. Los valores pueden ser:

  • «none»: no se muestra ninguna vista previa;
  • «standard»: se puede mostrar una vista previa predeterminada;
  • «large»: se puede mostrar una vista previa más grande, hasta el ancho de la zona visible.

• Max-Video-Preview: indica a Google que use como máximo [número] segundos como fragmento para los vídeos de la página. También puedes usar 0 para permitir solo una imagen fija, o -1 para cualquier duración.

• NoODP: una meta obsoleta que pedía a Google no usar el Open Directory Project (DMOZ) para sus fragmentos. Se puede eliminar sin problema.

• NoYDIR: una antigua meta que pedía no usar el Yahoo Directory para los fragmentos. Se puede eliminar.

• NoImageIndex: indica a Google que no indexe las imágenes de una página HTML. Si las imágenes de una URL con «noimageindex» también están enlazadas desde otras páginas, podrían indexarse igualmente. Para evitarlo, define una X-Robots-Tag en la cabecera HTTP del archivo de imagen.

• NoTranslate: indica a Google que no ofrezca la traducción de la página en los resultados. Si no está, el buscador puede mostrar un enlace junto al resultado para ver la página traducida.

• Unavailable_After: permite indicar la fecha y hora exactas a partir de las cuales Google debe dejar de mostrar la página en los resultados. Muy útil para páginas de eventos, ferias, promociones temporales, etc.

• Refresh: redirige al usuario a una nueva URL tras un tiempo determinado.

• Outside <head>: las páginas con una meta robots fuera del head, que los buscadores podrían ignorar.