Reescritura de URL.

La función URL Rewriting

La función «URL Rewriting» te permite reescribir las URL en pocos segundos y es muy útil para eliminar parámetros e ID de sesión.

Se aplica a todas las URL descubiertas durante el rastreo, excepto la URL de inicio en el modo «Spider» y la lista de URL añadida por el usuario en el modo «List».

Por ejemplo, si un sitio usa ID de sesión que generan URL como «example.com/?sid=6578», basta con añadir «sid» (sin comillas) en el campo Remove Parameters de la función URL Rewriting: 1Configuration›2URL Rewriting

Otro caso muy habitual, en sitios con campañas PPC, newsletters u otras acciones, son los parámetros de seguimiento como:

utm_source
utm_medium
utm_campaign

También en este caso basta con añadirlos en la ventana «URL Rewriting» para obtener las URL sin parámetros.

Una vez identificados los parámetros que quitar, te recomiendo comprobar que todo funciona antes de lanzar el rastreo: introduce una URL de ejemplo en el campo URL before rewriting al final de la ventana y revisa el resultado en URL after rewriting. Si quieres eliminar todos los parámetros sin enumerarlos, activa Remove all.

12345

1URL RewritingLa sección de la Crawl Config dedicada a reescribir las URL.2Remove ParametersUn parámetro por línea, o Remove all para quitarlos todos.3Regex ReplaceLas reglas de sustitución avanzadas, que se añaden con Add.4Lowercase discovered URLsPasa a minúsculas todas las URL descubiertas.5PruebaURL de ejemplo y resultado tras la reescritura.

Además de esta función, puedes optar por la opción avanzada «Regex Replace».

Esta opción se ejecuta en cada URL encontrada durante un rastreo o en modo lista. Con la sintaxis regex puedes sustituir de forma muy sencilla cualquier subcadena de una URL que coincida con el patrón por la cadena que elijas. También se puede probar con los campos URL before rewriting y URL after rewriting al final de la ventana de configuración.

Ejemplos de reescritura de URL

Con las regex las posibilidades son infinitas. Veamos algunas:

Cambiar el protocolo de las URL de HTTP a HTTPS

Regex: http
Replace: https

Cambiar todas las URL de dominio.com a dominio.es

Regex: .com
Replace: .es

Unificar todos los enlaces que contienen page=número en un número fijo, por ejemplo

• www.example.com/page.php?page=1
• www.example.com/page.php?page=2
• www.example.com/page.php?page=3
• www.example.com/page.php?page=4

Regex: page=\d+
Replace: page=1

Quitar www. de cualquier URL con un ‘Replace’ vacío.

Regex: www.
Replace:

Eliminar todos los parámetros

Regex: \?.*
Replace:

Cambiar de HTTP a HTTPS solo los enlaces de los subdominios de example.com

Regex: http://(.*example.com)
Replace: https://$1

Eliminar todo lo que va detrás de una almohadilla en modo de renderizado JavaScript

Regex: #.*
Replace:

Añadir parámetros a las URL

Regex: $
Replace: ?parametro=valor

Esto añade ‘?parametro=valor’ al final de cada URL encontrada

Cuando el sitio ya tiene parámetros, hacen falta expresiones más complejas para que el parámetro se añada correctamente:

Regex: (.*?\?.*)
Replace: $1&parametro=valor
Regex: (^((?!\?).)*$)
Replace: $1?parametro=valor

Una última posibilidad de la reescritura de URL es eliminar del rastreo todas las URL duplicadas por mayúsculas, activando Lowercase discovered URLs en la misma ventana.