DIRECTIVES TAB

Analyse de la balise méta robots et de la balise x-robots dans l'en-tête http.

Vue d’ensemble
Directives sur les onglets

L’onglet Directives montre les données pour la balise meta robots et la balise X-Robots dans l’en-tête HTTP. Ces directives sur les robots peuvent contrôler l’affichage de votre contenu et de vos URL dans les moteurs de recherche tels que Google.

Pour mieux comprendre l’importance de ces directives, considérez deux scénarios possibles que le Search Engine Bot pourrait rencontrer :

  1. Si le fichier robots.txt est absent ou a autorisé le crawl d’une URL, les moteurs de recherche considèrent que cette ressource peut être crawlée et stockée dans l’index, à moins que des directives plus spécifiques ne soient définies par le biais des Meta Robots.
  2. le fichier robots.txt contient l’url dans la catégorie “disallow” et ne permet pas de l’analyser. Dans ce cas, les méta-robots ne seront pas détectés et leurs instructions ne seront pas exécutées.

> La balise meta robots doit être placée dans l’en-tête d’une page HTML ou dans l’en-tête HTTP à l’aide de la balise X-Robots et plusieurs directives peuvent être combinées – content=”noindex,nofollow”

L’onglet est présenté avec trois colonnes, la première concernant l’adresse URL (Address) et les autres dédiées respectivement aux Meta Robots et X-Robots-Tag pour lesquels le Seo Spider collecte toutes les instances découvertes.

Les filtres à votre disposition sont les suivants :

  • Index: identifie les pages avec l’attribut “index” ; sa présence n’est pas nécessaire car les moteurs de recherche indexent les URL même sans cette directive.
  • Noindex: cet attribut indique aux moteurs de recherche de ne pas indexer les pages. Cette directive ne bloque pas le balayage de l’araignée ! Il peut être défini de manière globale ou spécifique à chaque moteur de recherche.
  • Follow: la directive “follow” indique au robot d’indexation de suivre tous les liens de la page lors de l’indexation. S’il n’est pas présent, les moteurs de recherche suivront les liens par défaut.
  • Nofollow: il s’agit d’un “indice” qui indique aux moteurs de recherche de ne pas suivre les liens de la page pour l’exploration. Cette directive est couramment appliquée dans les sites d’étape avec “noindex” pour éviter les analyses des moteurs de recherche avant la publication.
    > Pour pouvoir effectuer un crawl avec cette directive, vous pouvez activer l’option “Follow Internal Nofollow” dans le menu “Config Spider”.
    Rappelez-vous : avec cette directive, les liens de la page ne transmettent pas de PageRank.
  • None: la balise méta “none” ne correspond pas à aucune directive, elle est au contraire très restrictive et combine “noindex” et “nofollow”.
  • NoArchive: cette balise robots indique à Google de ne pas afficher la copie en cache de la page dans les résultats de recherche. Par défaut, la copie du cache d’une ressource est disponible dans Chrome à l’aide de la commande “cache:www.dominio.xxx”.
  • NoSnippet: ce méta-robot empêche le moteur de recherche (actuellement uniquement Google) d’afficher la “méta-description” et le lien vers la version mise en cache dans les résultats de la recherche.
  • [numero] Max-Snippet: cette valeur vous permet de limiter la longueur de l’extrait de texte pour cette page à des caractères dans Google. Les valeurs spéciales incluent – 0 pour aucun extrait, ou -1 pour autoriser n’importe quelle longueur d’extrait.
  • Max-Image-Preview : cette valeur définit la taille maximale de l’aperçu de l’image d’une page Html dans Google. Les valeurs de l’indice peuvent être :
    • none” : aucun aperçu de l’image ne doit être affiché ;
    • standard” : un aperçu prédéfini de l’image peut être affiché ;
    • “grand” : il est possible d’afficher un aperçu de l’image dont la largeur ne dépasse pas celle de la zone visible.
  • [numero] Max-Video-Preview: cette directive indique à Google d’utiliser un maximum de secondes comme extrait des vidéos d’une page dans les résultats de recherche. Vous pouvez également spécifier 0 pour n’autoriser qu’une image statique, ou -1 pour autoriser n’importe quelle longueur de prévisualisation.
  • NoODP: cette balise méta, aujourd’hui désaffectée, indiquait à Google de ne pas utiliser l’Open Directory Project (DMOZ) pour ses extraits. Il peut être retiré en toute sécurité.NoYDIR: il s’agit d’une ancienne balise méta qui indique à Google de ne pas utiliser l’annuaire Yahoo pour ses extraits. Ces méta-robots peuvent être supprimés.

    NoImageIndex: les méta robots contenant cette directive indiquent à Google de ne pas indexer les images d’une page html. Il peut arriver que les images d’une url spécifique avec l’instruction “NoimageIndex” soient également liées à d’autres pages, auquel cas elles peuvent encore être indexées. Pour éviter cette situation, une solution consiste à placer la balise X-Robots dans l’en-tête HTTP du fichier image.

    NoTranslate: cette valeur indique à Google de ne pas proposer la traduction de la page dans les résultats de recherche. S’il n’est pas présent, le moteur de recherche peut afficher un lien à côté du résultat dans Serp avec la possibilité de voir la page traduite.

    Unavailable_After: cette instruction vous permet de spécifier l’heure et la date exactes auxquelles vous souhaitez que Google cesse d’afficher la page dans les résultats de recherche. Instruction très utile pour les pages relatives aux événements, aux foires, aux promotions basées sur le temps, etc.

    Refresh: cette directive redirige l’utilisateur vers une nouvelle URL après un certain temps.

Seo Spider Tab