Ebook gratuit · Kill SEO, Vol. 1 : le guide Screaming Frog préfacé par Dan Sharp (en italien) Télécharger le PDF
Brief

Comment analyser les fichiers de logs avec le Log File Analyser de Screaming Frog pour voir ce que les robots crawlent vraiment. Tu trouves les URL à faible valeur, la fréquence de crawl, les erreurs, les redirections, les faux robots et les écarts entre crawl et logs.

Les fichiers de logs et le SEO

Que sont les fichiers de logs ?

En 2026, le SEO ne peut plus se fier uniquement aux crawls : il est temps de plonger dans les fichiers de logs. Les logs web ne sont pas de simples traces techniques : ils révèlent le comportement des vrais robots des moteurs, pas des robots simulés (sauf s’ils sont usurpés). Avec Screaming Frog Log File Analyser, l’analyse des fichiers de logs devient accessible à tout SEO et permet de découvrir :

  • quelles URL Googlebot crawle réellement (et lesquelles il ignore) ;
  • où se perd le crawl budget et quelles erreurs 404 ou redirections méritent la priorité ;
  • les pages orphelines, les contenus non indexés et les anomalies structurelles jusque-là invisibles.

Grâce à cet outil, les professionnels du SEO transforment les logs, simple texte brut, en insights stratégiques essentiels pour optimiser l’architecture du site et garantir un crawl cohérent et ciblé. À une époque où le SEO est de plus en plus technique et fondé sur des données réelles, l’analyse des logs n’est plus une option mais une nécessité.

Quand on parle d’analyser les logs d’un serveur web, on parle des logs d’accès (Access Log).
Les serveurs produisent aussi d’autres logs, comme les logs d’erreurs, mais pour le SEO on n’a besoin que des logs d’accès au site.

En général, le fichier contient une ligne par requête, avec tout ou partie des données suivantes :

  • Heure de la requête ;
  • URL demandée ;
  • User agent fourni avec la requête ;
  • Code de réponse du site ;
  • Taille de la réponse ;
  • Adresse IP du client qui a fait la requête ;
  • Temps nécessaire pour servir la requête ;
  • Referrer, la page qui contenait le lien de la requête.

Disposer d’un enregistrement précis de toutes les requêtes reçues par un serveur est extrêmement utile : cela permet une analyse efficace et polyvalente pour trouver les erreurs et problèmes et évaluer l’architecture du projet.

Pourquoi analyser les fichiers de logs ?

Les fichiers de logs sont un moyen incroyablement puissant, mais encore peu utilisé, d’obtenir de précieuses informations sur la façon dont chaque moteur de recherche crawle ton site.

C’est pourquoi tout SEO devrait les analyser, même si les logs d’accès peuvent être difficiles à obtenir auprès du client (et/ou de l’hébergeur, du serveur et de l’équipe de développement).

L’analyse des logs peut t’aider à :

  1. Vérifier exactement ce qui peut ou ne peut pas être crawlé. Un crawl est une simulation, alors que les logs montrent exactement ce qui a été crawlé (toute l’histoire).
  2. Voir les réponses rencontrées par les moteurs pendant leur crawl (et comparer les données dans le temps). Avec l’analyse des logs, les problèmes peuvent être qualifiés : si tu trouves plusieurs 404 lors d’un crawl, difficile de savoir lesquels comptent le plus ; les logs montrent leur fréquence et t’aident à prioriser.
  3. Identifier les lacunes de crawl, qui peuvent avoir des implications plus larges (comme la hiérarchie ou la structure des liens internes).
  4. Voir quelles pages les moteurs priorisent et jugent les plus importantes, et lesquelles pourraient être optimisées pour une fréquence de crawl plus adaptée. C’est sous-estimé, mais la vision stratégique du site ne correspond souvent pas au comportement du moteur.
  5. Découvrir les zones de gaspillage du crawl budget.
  6. Repérer les URL orphelines. Une URL non liée en interne ne sera pas trouvée par un crawl du site. Les URL liées uniquement depuis l’extérieur (ou par le passé) apparaissent dans les logs, ce qui permet de les gérer, les optimiser ou les supprimer.
  7. Voir les évolutions dans le temps. Un crawl est une photo à un instant donné, alors que les logs fournissent l’historique de chaque ressource.

Grâce à ces données précieuses, tu peux préserver le crawl budget et identifier les éléments qui pénalisent la navigation du robot.
Voici des problèmes très courants :

  • Navigation à facettes et identifiants de session.
  • Contenus dupliqués sur le site.
  • Pages d’erreur soft.
  • Pages piratées.
  • Espaces infinis et proxys.
  • Contenus de faible qualité et spam.

Il vaut donc mieux éviter que le robot perde du temps et de l’énergie à crawler ce type d’URL, car cela réduit son activité et retarde le crawl des pages les plus importantes.

Log File Analyser

Importer les logs et vérifier les robots

La base de l’analyse des logs, c’est de pouvoir vérifier exactement quelles URL ont été crawlées par les robots des moteurs. Avec Log File Analyser, tu importes tes fichiers de logs par simple glisser-déposer dans l’interface, et les robots des moteurs sont vérifiés automatiquement.

Après l’import, utilise le filtre « Verification Status » pour n’afficher que les robots vérifiés et le filtre « User-Agent » pour voir « tous les robots » ou isoler un robot en particulier, comme « Googlebot » ou « Googlebot Smartphone », pour des analyses fines.

Après cette configuration très simple, tu obtiens exactement les URL crawlées par le robot, filtrées dans l’onglet « URLs » et classées selon le nombre d’événements générés sur une période donnée.

Onglet URLs de Log File Analyser avec le menu Verification Status ouvert sur Verified et le filtre All Googlebots
Onglet URLs de Log File Analyser avec le menu Verification Status ouvert sur Verified et le filtre All Googlebots

Identifier les URL à faible valeur

Le contenu est l’un des facteurs de classement les plus importants ; comprendre quelles URL sont crawlées et à quelle fréquence t’aide à repérer les zones de gaspillage du crawl budget, avec de la navigation à facettes, des ID de session ou du contenu dupliqué.

Par exemple, avec la barre de recherche de l’outil, tu peux chercher un point d’interrogation (?) dans le chemin d’URL (fréquent sur les e-commerces avec filtres), pour identifier des URL à paramètres peut-être non canonicalisées et souvent crawlées par Googlebot.

Onglet URLs de Log File Analyser filtré sur HTML et trié par Num Events : en tête, les URL avec paramètres replytocom des commentaires WordPress
Onglet URLs de Log File Analyser filtré sur HTML et trié par Num Events : en tête, les URL avec paramètres replytocom des commentaires WordPress

Comme tu le vois ci-dessus, la première entrée a généré 57 événements, qui correspondent aux commentaires WordPress : pas vraiment une ressource à forte valeur. Ici, il suffit de désactiver les commentaires pour régler le problème et préserver le crawl budget.

En cliquant sur l’en-tête de la colonne « URL », tu trie les URL par ordre alphabétique et repères celles qui ne diffèrent que par l’ID de session ou par des paramètres que le robot ne devrait pas pouvoir crawler.

En cliquant sur « Num Events », tu vois les ressources crawlées le plus et le moins souvent sur une période donnée.

Fréquence de crawl

Analyser la fréquence de crawl

La fréquence à laquelle Googlebot demande une page dépend de plusieurs facteurs, comme la fraîcheur du contenu ou l’importance que Google accorde à une ressource par rapport aux autres. Même simplifié, le nombre d’événements par URL est un indicateur très utile pour repérer des problèmes de fond.

Avec les filtres du menu de la barre principale, tu peux aussi choisir les événements générés par chaque robot, y compris Bing, Yandex ou d’autres qui pourraient fausser les données et créer des « faux positifs » dans les analyses stratégiques, ou alourdir fortement la charge du serveur.

Onglet URLs de Log File Analyser avec le menu des robots ouvert : All Bots, Googlebot, Googlebot Smartphone, Bingbot, Yandex, Baidu
Onglet URLs de Log File Analyser avec le menu des robots ouvert : All Bots, Googlebot, Googlebot Smartphone, Bingbot, Yandex, Baidu

En gardant le réglage par défaut « All Bots », tu as une vue d’ensemble des événements par URL, avec une répartition par robot en faisant défiler l’onglet vers la droite.

Onglet URLs de Log File Analyser avec le filtre All Bots et le nombre d’événements pour Googlebot, Googlebot Smartphone, Bingbot, Yandex et Baidu
Onglet URLs de Log File Analyser avec le filtre All Bots et le nombre d’événements pour Googlebot, Googlebot Smartphone, Bingbot, Yandex et Baidu

Fréquence par sous-dossier

L’étape suivante consiste à examiner les sous-dossiers (onglet Directories).
Tu vois ainsi les zones performantes et celles à optimiser, qui présentent peut-être des problèmes empêchant le crawler de naviguer de façon fluide.

En te concentrant sur les sous-dossiers, tu repères les « zones de gaspillage ».

Onglet Directories de Log File Analyser avec la vue arborescente des sous-dossiers et le nombre d’événements par dossier
Onglet Directories de Log File Analyser avec la vue arborescente des sous-dossiers et le nombre d’événements par dossier

Fréquence par type de contenu

Les logs ne contiennent pas de type de contenu, mais Log File Analyser analyse les URL selon les formats les plus courants et permet de filtrer facilement la fréquence de crawl par type : HTML, images, JavaScript, CSS, PDF, etc.

Tu vois ainsi combien de temps Google consacre, en proportion, au crawl de chaque type de contenu.

Filtre par type de contenu dans l’onglet URLs de Log File Analyser : HTML, JavaScript, CSS, images, PDF, Flash
Filtre par type de contenu dans l’onglet URLs de Log File Analyser : HTML, JavaScript, CSS, images, PDF, Flash

Fréquence par user agent

Autre angle : la fréquence de crawl selon les user agents, qui t’aide à comprendre le comportement de chaque moteur.

Tu peux en déduire le nombre d’URL uniques crawlées sur la période analysée, ce qui donne une idée approximative du temps qu’il faudrait à chaque moteur pour crawler toutes les URL du site. Tu as ainsi une vue d’ensemble du crawl budget (crawl rate) consacré à ton site.

Onglet User Agents de Log File Analyser avec les URL uniques et le nombre d’événements par user agent
Onglet User Agents de Log File Analyser avec les URL uniques et le nombre d’événements par user agent

Comprendre le comportement des différents robots est très intéressant, mais il est surtout vital de voir si « Googlebot » et « Googlebot Smartphone » se comportent différemment. Tu peux par exemple repérer des goulets d’étranglement sur la version mobile, ou savoir si le site est passé au mobile first indexing.

URL crawlées par jour, semaine et mois

La fonction « Overview » te donne un résumé précis des événements de la période choisie, dans un tableau de bord très visuel et intuitif.

Autre angle de l’analyse : le nombre total d’URL uniques crawlées, et le nombre d’URL uniques crawlées chaque jour. Tu peux ainsi estimer combien de jours il faudrait aux moteurs pour recrawler entièrement toutes tes URL.

Onglet Overview de Log File Analyser avec URL uniques, événements, octets, codes de réponse et graphiques quotidiens
Onglet Overview de Log File Analyser avec URL uniques, événements, octets, codes de réponse et graphiques quotidiens

Le tableau de bord permet d’exporter les données des graphiques en « .csv » et, en survolant les points du graphique, de voir le détail par user agent ou code de statut.

Erreurs et réponses du serveur

Analyser les 404 et les erreurs serveur

Les logs permettent d’analyser rapidement le dernier code de réponse reçu par les moteurs pour chaque URL crawlée.

Dans l’onglet « Response Codes », utilise le filtre pour afficher les erreurs client 4XX et trouver les liens cassés, ou les erreurs serveur 5XX.

Tu vois aussi quelles URL sont potentiellement les plus importantes à corriger, car elles sont triées par fréquence de crawl.

Analyser les 404 : Screaming Frog ou fichiers de logs ?

Screaming Frog permet d’analyser tous les liens existants et les éventuelles 404 dans les liens internes ou vers des ressources externes, mais s’arrête là.

Avec les logs, tu peux aussi identifier des URL qui n’existent plus sur le site mais qui ont peut-être été indexées dans la base de Google avec d’anciennes versions du site (non couvertes par des migrations SEO précédentes).

Onglet Response Codes de Log File Analyser filtré sur Client Error (4xx) avec l’option Last Response
Onglet Response Codes de Log File Analyser filtré sur Client Error (4xx) avec l’option Last Response

À cette étape, n’oublie pas de cocher « Last Response » à côté du filtre 4xx, sinon Log File Analyser affichera toutes les URL ayant eu un événement correspondant dans le temps (et pas seulement la dernière réponse), ce qui peut être trompeur puisque l’erreur a peut-être déjà été corrigée depuis le premier jour d’enregistrement.

Réponses incohérentes

Un filtre très intéressant, dans la continuité du point précédent, est « Inconsistent » : il identifie les ressources aux réponses incohérentes, par exemple parce qu’un lien cassé a été corrigé ensuite, ou parce que le site renvoie plus d’erreurs serveur sous forte charge, avec un problème intermittent à creuser.

Filtre Inconsistent de Log File Analyser pour trouver les URL aux réponses incohérentes
Filtre Inconsistent de Log File Analyser pour trouver les URL aux réponses incohérentes

Audit des redirections

Les logs montrent toutes les URL demandées par les moteurs qui renvoient une redirection.

Cela inclut les redirections actuelles du site, mais aussi les redirections historiques encore demandées de temps en temps, peut-être issues d’anciennes migrations.

Pour voir les URL en 3xx, il suffit d’utiliser l’onglet correspondant avec le filtre « Redirection (3XX) » et la case « Last Response ».

Sécurité et performances

Robots usurpés

L’onglet IPs, avec le filtre « Verification Status » réglé sur « Spoofed », affiche rapidement les adresses IP des requêtes qui imitent les robots des moteurs en utilisant leur user agent, sans être vérifiées. Avec ces données, tu peux bloquer ces crawls et alléger le serveur.

Menu Verification Status de Log File Analyser avec les options Verified et Spoofed pour repérer les faux robots
Menu Verification Status de Log File Analyser avec les options Verified et Spoofed pour repérer les faux robots

En passant le filtre « Verification Status » sur « Verified », tu vois toutes les IP des robots de moteurs vérifiés. C’est utile pour les sites aux pages localisées qui servent des contenus différents selon le pays.

Identifier les pages lourdes

Autre élément très important : les temps de réponse des ressources aux requêtes des robots.

Les pages très lourdes et peu performantes pèsent beaucoup sur le crawl budget : en analysant les « octets moyens » des URL, tu identifies vite les zones à optimiser.

Onglet Bytes de Log File Analyser trié par Average Bytes pour trouver les ressources les plus lourdes
Onglet Bytes de Log File Analyser trié par Average Bytes pour trouver les ressources les plus lourdes

Piratage et fichiers de logs

Les fichiers de logs deviennent essentiels en cas de piratage ou de malware. Souvent, on découvre trop tard qu’un site a été compromis, via des alertes de la Search Console ou une chute brutale dans les SERP due à des pénalités manuelles.

Dans ce cas, crawler et supprimer les URL compromises (« 410 » gone) peut ne pas suffire (solution immédiate) : les logs te montrent les vrais dégâts de l’attaque aux yeux du moteur, avec une vision complète des pages ou dossiers créés qui continueraient à nuire s’ils n’étaient pas supprimés entièrement.

Un cas très fréquent : un fichier « .php » ou autre qui génère par intermittence de nouvelles ressources spammy ; le crawl seul serait insuffisant, alors que les logs te donneraient plusieurs alertes dans le temps, avec le temps de corriger.

Logs et stratégie SEO

Analyse crawl vs logs

L’une des analyses les plus intéressantes consiste à comparer les logs aux données d’un crawl. Tu vois ainsi si certaines URL, voire des zones entières du site, ne sont pas crawlées par le robot.

Il suffit d’exporter en « .csv » les URL d’un crawl Screaming Frog et de les importer dans Log File Analyser : avec le filtre « Not in Log File » de l’onglet URLs, tu trouves facilement les zones à travailler pour améliorer la navigation du robot, par exemple le maillage interne.

Onglet URLs de Log File Analyser avec la vue Not in Log File : URL du crawl jamais demandées par les robots
Onglet URLs de Log File Analyser avec la vue Not in Log File : URL du crawl jamais demandées par les robots

À l’inverse, « Not in URL Data » montre les URL présentes dans l’activité des robots mais pas dans le crawl Screaming Frog : tu y trouves les événements générés par des adresses qui n’existent plus, ou des pages orphelines non liées mais présentes sur le site. Ce point s’analyse aussi avec les API de GA4 et de la Search Console, qui révèlent les ressources qui reçoivent impressions ou visites sans lien interne (par ex. des pages liées depuis des sites externes).

Pages les plus crawlées

Tu as maintenant compris l’importance des fichiers de logs, mais j’aimerais attirer ton attention sur un autre aspect que la simple recherche d’erreurs.

Connaître tes logs te donne une vision à 360° de la stratégie et de l’architecture du site. Tu peux comparer les pages les plus crawlées par les moteurs (selon les événements) avec celles qui devraient être tes pages les plus visitées. En cas d’écart, tu peux immédiatement modifier le maillage interne ou restructurer l’architecture ou la profondeur de crawl des ressources, puis soumettre un nouveau sitemap et attendre la réaction du robot.

Fin du guide

Des questions sur Les fichiers de logs et le SEO?

Ces guides naissent de projets réels. Si quelque chose ne colle pas dans ton crawl, ou si tu veux appliquer cette méthode à ton site, écris-moi.

Mis à jour par quelqu’un qui utilise SEO Spider chaque jourBêta-testeur Screaming Frog
Raffaele VisintinAuteur.Raffaele Visintin.Search & Strategic Marketing Advisor
SF ClubBeta tester · SEO Spider