Crawler

En crawler er et program som leser nettsteder automatisk ved å følge lenker fra side til side. Søkemotorer bruker crawlere for å bygge indeksene sine, KI-assistenter bruker dem til å lese nettet, og Silktide bruker én til å oppdage og teste sidene på nettstedet ditt.

Silktides crawler laster inn sider i en ekte nettleser i stedet for bare å lese rå HTML – se Slik gjennomsøker Silktide. Nettsteder styrer crawlere med robots.txt og brannmurregler, og derfor kan en side som fungerer i nettleseren din likevel være usynlig for en crawler.

Lær mer

• Hva er Googlebot - Googles egen crawler, som et referanseeksempel
• Gjennomsøking
• KI-crawlere
• robots.txt