Réécriture d’URL.

La fonction URL Rewriting

La fonction « URL Rewriting » te permet de réécrire les URL en quelques secondes et elle est extrêmement utile pour supprimer les paramètres et les identifiants de session.

Elle s’applique à toutes les URL découvertes pendant le crawl, sauf l’URL de départ en mode « Spider » et la liste d’URL ajoutée par l’utilisateur en mode « List ».

Par exemple, si un site utilise des identifiants de session qui donnent des URL comme « example.com/?sid=6578 », il suffit d’ajouter « sid » (sans les guillemets) dans le champ Remove Parameters de la fonction URL Rewriting : 1Configuration›2URL Rewriting

Un autre cas très courant, pour les sites qui font des campagnes PPC, des newsletters ou autre, concerne les paramètres de suivi comme :

utm_source
utm_medium
utm_campaign

Là aussi, il suffit de les saisir dans la fenêtre « URL Rewriting » pour obtenir des URL sans paramètres.

Une fois les paramètres à supprimer identifiés, je te conseille de vérifier que tout fonctionne avant de lancer le crawl : saisis une URL d’exemple dans le champ URL before rewriting en bas de la fenêtre et contrôle le résultat dans URL after rewriting. Pour supprimer tous les paramètres sans les lister, active Remove all.

12345

1URL RewritingLa section de la Crawl Config dédiée à la réécriture des URL.2Remove ParametersUn paramètre par ligne, ou Remove all pour tous les supprimer.3Regex ReplaceLes règles de remplacement avancées, à ajouter avec Add.4Lowercase discovered URLsPasse en minuscules toutes les URL découvertes.5TestURL d’exemple et résultat après réécriture.

En plus de cette fonction, tu peux opter pour l’option avancée « Regex Replace ».

Cette option s’exécute sur chaque URL trouvée pendant un crawl ou en mode liste. Avec la syntaxe regex, tu peux très simplement remplacer chaque sous-chaîne d’une URL qui correspond à ton motif par la chaîne de ton choix. Elle aussi se teste avec les champs URL before rewriting et URL after rewriting en bas de la fenêtre de configuration.

Exemples de réécriture d’URL

Avec les regex, les possibilités sont infinies. En voici quelques-unes :

Passer les URL de HTTP à HTTPS

Regex: http
Replace: https

Changer toutes les URL de domaine.com en domaine.fr

Regex: .com
Replace: .fr

Uniformiser tous les liens contenant page=numéro sur un numéro fixe, par exemple

• www.example.com/page.php?page=1
• www.example.com/page.php?page=2
• www.example.com/page.php?page=3
• www.example.com/page.php?page=4

Regex: page=\d+
Replace: page=1

Retirer www. de n’importe quelle URL avec un ‘Replace’ vide.

Regex: www.
Replace:

Supprimer tous les paramètres

Regex: \?.*
Replace:

Passer de HTTP à HTTPS uniquement les liens des sous-domaines de example.com

Regex: http://(.*example.com)
Replace: https://$1

Supprimer tout ce qui suit un dièse en mode de rendu JavaScript

Regex: #.*
Replace:

Ajouter des paramètres aux URL

Regex: $
Replace: ?parametre=valeur

Cela ajoute ‘?parametre=valeur’ à la fin de chaque URL rencontrée

Quand le site a déjà des paramètres, il faut des expressions plus complexes pour que le paramètre soit ajouté correctement :

Regex: (.*?\?.*)
Replace: $1&parametre=valeur
Regex: (^((?!\?).)*$)
Replace: $1?parametre=valeur

Dernière possibilité de l’URL Rewriting : supprimer du crawl toutes les URL dupliquées à cause des majuscules, en activant Lowercase discovered URLs dans la même fenêtre.