Crawler

Un crawler è un programma che legge automaticamente i siti web seguendo i link da una pagina all'altra. I motori di ricerca usano i crawler per creare i propri indici, gli assistenti IA li usano per leggere il web e Silktide ne utilizza uno per scoprire e testare le pagine del tuo sito web.

Il crawler di Silktide carica le pagine in un vero browser invece di limitarsi a leggere solo l'HTML grezzo - vedi Come Silktide esegue la scansione. I siti controllano i crawler con il robots.txt e con le regole del firewall, motivo per cui una pagina che funziona nel tuo browser può comunque essere invisibile a un crawler.

Approfondisci

• Che cos'è Googlebot - il crawler di Google, come esempio di riferimento
• Scansione
• Crawler IA
• robots.txt