Come cambiare lo user agent?

Cambiare lo user agent in Screaming Frog è sicuramente una delle operazioni più semplici. Ma perchè cambiare lo user agent?

La configurazione di default di SF prevede l’utilizzo di user-agent “Screaming Frog SEO Spider”

A volte può capitare che la scansione tramite strumenti terzi venga bloccata o dal robots.txt oppure da firewall impostati sul server.

Nel primo caso, di blocco da parte del robots.txt, possiamo dire a screaming frog di ignorare tale blocco. In questa fase diciamo che possiamo provare a cambiare user-agent delle richieste HTTP effettuate dal SEO Spider.

Possiamo quindi selezionare Googlebot, Bingbot o vari browser e altro ancora. Ciò consente di passare rapidamente da uno all’altro quando necessario.

Inoltre questa funzione ha anche un’impostazione user-agent personalizzata che ti consente di specificare il tuo user-agent.

Ricordiamo inoltre che impostare uno user-agent personalizzato può essere utile quando si concorda un grant in base ad uno user-agent specifico (se volete sapere di più su questo punto scrivetemi per una consulenza) .

Per ultimo ricordiamo che uno user agent viene individuato da tre fattori

Un crawler può essere individuato da vari elementi. 

I più semplici da usare sono:

  1. token dello user agent
  2. stringa completa dello user agent
  3. indirizzo IP (google fornisce la lista di IP per riconoscere in automatico il proprio bot)

Come cambiare lo user agent? 8 - DB0dF9qD5Fx8tNVr3TALacRK57sLHXeUz6JsaCBEUNIctJfkEq4Dl nHeoW6gn

Aiutaci a far crescere la nostra community. Condividi l'articolo se ti è piaciuto.

Lascia un commento