La velocità di scansione è una cosa che viene troppo spesso sottovalutata.
Ma attenzione che potete fare una marea di danni al sito del vostro cliente se non gestite bene la velocità di scansione di Screaming Frog.
Partiamo dai concetti base.
Screaming Frog ha un menù dedicato per gestire la velocità di scansione che si trova sotto Configuration > Crawl Config > Speed.
La configurazione della velocità ti consente di controllare la velocità del crawler, sia in base al numero di thread simultanei, sia in base agli URL richiesti al secondo.
Quindi limitare il numero di Max URL/s indica il numero di richieste che viene effettuato dal crawler al secondo. Nel caso dell’immagine si richiederanno 2 URL al secondo.
Cosa accade se aumento il numero di Threads di Screaming Frog?
Aumentare il numero di thread corrisponde ad aumentare sensibilmente la velocità di richieste che Screaming Frog farà. Per impostazione predefinita il numero di thread è 5 per non sovraccaricare i server.
Come vi dicevo all’inizio, utilizzare più di 5 thread può sovraccaricare il server del vostro cliente ed in casi estremi può anche portarlo al down. Quindi creare un disservizio molto importante.
3 consigli legati alla velocità di scansione
- Informarsi sull’infrastruttura Hardware su cui gira il sito del vostro cliente può tornarvi molto utile non solo per tarare la giusta velocità di scansione, ma soprattutto in ottica di Performance.
- Far partire la scansione con un limite di URL/s e poi aumentarlo piano piano può essere una strategia saggia
- Risottomettete tutti gli errori che trovate nei tab Response Code seguenti prima di iniziare la vostra analisi su queste pagine.
- Internal No Response
- Internal Client Error (4xx)
- Internal Server Error (5xx)
Soprattutto l’ultimo punto può essere fondamentale. Senza troppi tecnicismi, i server potrebbero essere andati in “protezione” e quindi rispondere con codici di stato come 403, 503 oppure non rispondere affatto e quindi è fondamentale, aspettare e poi riscansionare gli errori che trovate.
