Crawler

Een crawler is een programma dat websites automatisch leest door links van pagina naar pagina te volgen. Zoekmachines gebruiken crawlers om hun indexen op te bouwen, AI-assistenten gebruiken ze om het web te lezen, en Silktide gebruikt er één om de pagina's van je website te ontdekken en te testen.

De crawler van Silktide laadt pagina's in een echte browser in plaats van alleen ruwe HTML te lezen – zie Hoe Silktide crawlt. Websites sturen crawlers aan met robots.txt en firewallregels, waardoor een pagina die in je browser werkt toch onzichtbaar kan zijn voor een crawler.

Meer informatie

• Wat is Googlebot – Google's eigen crawler, als referentievoorbeeld
• Crawlen
• AI-crawlers
• robots.txt