Escludere tutti i parametri dagli URL

In alcuni casi è necessario scansionare un dominio senza considerare tutte le varianti di URL che vengono prodotte tramite i parametri. Ad esempio se scansionate un e-commerce potreste ritrovarvi in una situazione del genere

  • www.sitoecommerce.com/scarpe/modellobello?size=42&color=rosso
  • www.sitoecommerce.com/scarpe/modellobello?size=43&color=rosso
  • www.sitoecommerce.com/scarpe/modellobello?size=42&color=blu
  • www.sitoecommerce.com/scarpe/modellobello?size=41&color=giallo

in questo caso le possibili combinazioni di URL, considerando anche altre caratteristiche che l’utente tipicamente può spuntare sono potenzialmente infinite.

Ci sono quindi due modi per dire a Screaming Frog di non analizzare gli URL parametriche.

Il primo modo è quello di inserirle tra gli URL in esclusione, come abbiamo visto nel capitolo precedente

Il secondo modo, più rapido è quello di andare sotto URL Revriting all’interno di Crawl Config e spuntare l’opzione Remove all sotto Remove Parameters

se invece non volete eliminare tutti i parametri ma solo una parte di questi potreste aggiungerli come nell’immagine successiva.

Usare Regex per escludere tutti i parametri

Prima che la funzione venisse implementata nativamente da Screaming Frog per escludere tutti gli URL che contenevano query string (parametri) si usava la sezione exclude andando ad impostare questa regex

.*\?.*
Escludere tutti i parametri dagli URL 14 - image

Per capire invece come aggiungere dei parametri ad una scansione e perchè potremmo avere la necessità di farlo, vi rimando al prossimo capitolo.

Aiutaci a far crescere la nostra community. Condividi l'articolo se ti è piaciuto.

Lascia un commento