Ogni scansione è una “nuova avventura” e quindi dobbiamo essere capaci di scegliere cosa far scansionare al nostro Crawler e cosa no.
Come abbiamo visto in precedenza il robots.txt ci aiuta in questa operazione ma in alcuni casi si potrebbe scegliere di escludere o includere volontariamente alcuni URL.
Includere elementi
Partiamo dal video ufficiale di Screaming Frog che vi consiglio di vedere
quello che c’è da sapere che gli URL che puoi aggiungere in questo tab
devono essere inseriti tramite REGEX (per una guida completa e ben fatta vi rimando all’articolo sempre aggiornato di Giovanni Sacheli)
In generale se vogliamo aggiungere tutti gli URL che contengono il path /prodotto/ ci basterà scrivere la regex
.*/prodotto/.*Escludere elementi
Se invece di includere degli elementi li vogliamo escludere, sempre utilizzando le regex potremmo utilizzare il tab exclude, subito sotto nel menù di configurazione.
Poniamo il caso di voler escludere tutti gli url che contengono dei parametri. In questo caso ci basterà scrivere
.*\?.*Nella guida ufficiale di Screaming frog ci sono molti esempi da cui prendere spunto.
