Cambiare lo user agent in Screaming Frog è sicuramente una delle operazioni più semplici. Ma perchè cambiare lo user agent?
La configurazione di default di SF prevede l’utilizzo di user-agent “Screaming Frog SEO Spider”
A volte può capitare che la scansione tramite strumenti terzi venga bloccata o dal robots.txt oppure da firewall impostati sul server.
Nel primo caso, di blocco da parte del robots.txt, possiamo dire a screaming frog di ignorare tale blocco. In questa fase diciamo che possiamo provare a cambiare user-agent delle richieste HTTP effettuate dal SEO Spider.
Possiamo quindi selezionare Googlebot, Bingbot o vari browser e altro ancora. Ciò consente di passare rapidamente da uno all’altro quando necessario.
Inoltre questa funzione ha anche un’impostazione user-agent personalizzata che ti consente di specificare il tuo user-agent.
Ricordiamo inoltre che impostare uno user-agent personalizzato può essere utile quando si concorda un grant in base ad uno user-agent specifico (se volete sapere di più su questo punto scrivetemi per una consulenza) .
Per ultimo ricordiamo che uno user agent viene individuato da tre fattori
Un crawler può essere individuato da vari elementi.
I più semplici da usare sono:
- token dello user agent
- stringa completa dello user agent
- indirizzo IP (google fornisce la lista di IP per riconoscere in automatico il proprio bot)
