Crawler

Ein Crawler ist ein Programm, das Websites automatisch durchsucht, indem er Links von Seite zu Seite folgt. Suchmaschinen verwenden Crawler, um ihre Indizes aufzubauen, KI-Assistenten verwenden sie, um das Web auszulesen, und Silktide nutzt einen, um die Seiten Ihrer Website zu entdecken und zu testen.

Der Crawler von Silktide lädt Seiten in einem echten Browser, anstatt nur den reinen HTML-Code zu lesen – siehe Wie Silktide crawlt. Websites steuern Crawler mit robots.txt und Firewall-Regeln; deshalb kann eine Seite, die in Ihrem Browser funktioniert, für einen Crawler trotzdem unsichtbar sein.

Mehr erfahren

• Was ist der Googlebot - Googles eigener Crawler, als Referenzbeispiel
• Crawling
• KI-Crawler
• robots.txt