Crawl planifié.
Comment lancer un crawl planifié avec Screaming Frog.
Comment planifier les crawls de SEO Spider avec la fonction Scheduling : fréquence, profil de crawl, intégrations API et exports automatiques en local ou sur Google Drive.
La fonction Scheduling
Une fois compris le potentiel de la fonction « Scheduling », il ne te reste plus qu’à la configurer en suivant les étapes ci-dessous.
Planifie le crawl
Le crawl planifié se crée depuis 1File›2Scheduling (raccourci ⌘T sur Mac).
Clique sur Add pour créer une nouvelle tâche. Dans l’onglet General, tu définis quelques aspects généraux du crawl :
- Task Name : un nom descriptif pour le crawl.
- Project Name : le projet auquel rattacher le crawl.
- Description : très utile pour décrire en toutes lettres les particularités et options du crawl.
- Date/Time : la date et l’heure du crawl et sa périodicité (une fois, quotidienne, hebdomadaire ou mensuelle).
Configuration de SEO Spider
Dans le deuxième onglet, Spider, tu choisis le mode de crawl entre Spider et List, saisis le domaine racine ou le sous-domaine dans le champ Crawl Seed et choisis la configuration à appliquer en chargeant un fichier de configuration enregistré (s’il existe).
Toujours dans l’onglet Spider se trouve l’option Headless Mode : le crawl s’exécute sans interface, pour éviter toute interaction non voulue, et elle est obligatoire si tu veux exporter les données ou recevoir des notifications.
APIs
Dans l’onglet APIs, tu peux enrichir le crawl avec les données de Google Analytics 4, Search Console et PageSpeed Insights, les métriques de liens de Majestic, Ahrefs et Moz et les API des modèles d’IA (OpenAI, Gemini, Ollama et Anthropic) pour une vision plus fine du projet.
Enregistrer les données
Dans l’onglet Exports, tu définis les onglets, les « Bulk Exports » et les rapports à exporter. L’onglet est divisé en pages Output Settings, Spreadsheets, Local Files, Data Studio et Presets. N’oublie pas que les exports ne fonctionnent qu’avec le Headless Mode activé.
Dans Output Settings, tu choisis le dossier local, le compte Google Drive et le format des fichiers. Les données sont fournies en « .csv » (ou dans d’autres formats comme xlsx) et enregistrées en local, ou en « gsheet » : avec cette seconde option, tu trouveras les documents exportés dans le dossier « Screaming Frog SEO Spider » de Google Drive (ton compte Google doit être connecté).
Autre option très pratique du « Scheduling » pour les crawls récurrents : l’Output Mode. Tu peux choisir, à la fin de chaque crawl planifié, d’écraser automatiquement les fichiers d’origine pour ne garder que le dernier crawl, ou de créer un dossier « horodaté » qui ajoute les nouveaux documents et garde l’historique des crawls.
Dans la page Spreadsheets, tu choisis les onglets, Bulk Exports et rapports à exporter : tu peux télécharger un seul onglet (par ex. « Internal », « Meta Description » ou « H1 ») ou combiner plusieurs onglets et rapports.
À noter : avec le mode de stockage « Database Storage », le crawl planifié reste toujours disponible pour être rouvert plus tard.
Si plusieurs crawls planifiés se chevauchent, Screaming Frog les exécute en même temps. Cela demande plus de ressources au système : les temps peuvent s’allonger et l’ordinateur ralentir.
Pour aller plus loinAudits de crawl automatisés avec Data Studio.Du crawl planifié au rapport automatique : export du Crawl Overview vers Google Sheets et modèle Data Studio.Lire le guideTutoriel vidéo (en italien)
Des questions sur Crawl planifié?
Ces guides naissent de projets réels. Si quelque chose ne colle pas dans ton crawl, ou si tu veux appliquer cette méthode à ton site, écris-moi.
Auteur.Raffaele Visintin.Search & Strategic Marketing Advisor