Crawler

En crawler er et program, der automatisk læser websites ved at følge links fra side til side. Søgemaskiner bruger crawlere til at opbygge deres indekser, AI-assistenter bruger dem til at læse nettet, og Silktide bruger en til at finde og teste siderne på dit website.

Silktides crawler indlæser sider i en rigtig browser i stedet for kun at læse rå HTML – se Sådan crawler Silktide. Websites styrer crawlere med robots.txt og firewallregler, hvilket er grunden til, at en side, der virker i din browser, stadig kan være usynlig for en crawler.

Lær mere

• Hvad er Googlebot – Googles egen crawler, som referenceeksempel
• Crawling
• AI-crawlere
• robots.txt