Wie Silktide crawlt

Silktide crawlt nicht wie ein herkömmlicher, nur auf HTML basierender Bot. Jede Seite wird in einem echten Browser – Headless Chrome – geladen, sodass Silktide ungefähr das sieht, was eine Person sieht, nachdem Skripte ausgeführt wurden, Layouts sich neu berechnet haben und Ressourcen geladen sind.

Darum kann Silktide moderne, JavaScript-lastige Websites testen, die Quellcode‑Crawler übersehen, und Ergebnisse können Layout, Kontrast, Screenshots und das endgültige HTML enthalten, nachdem sich die Seite stabilisiert hat.

So läuft ein Crawl ab

Ein typischer Testdurchlauf:

Startet auf der Startseite der Website (und allen von Ihnen konfigurierten erzwungenen Seiten).
Lädt jede Seite im Geltungsbereich im Browser auf dem Desktop und, sofern aktiviert, auf Mobilgeräten.
Entdeckt weitere URLs über Links und häufig über Sitemaps.
Macht weiter, bis alles im Geltungsbereich abgedeckt ist oder das der Website erreicht ist.

Sie steuern, welche URLs zu diesem Geltungsbereich gehören, über Was wir testen. Erweiterte Crawler-Einstellungen beeinflussen, wie aggressiv Silktide diese URLs entdeckt und lädt – siehe Eine Seite laden.

Seiten vs. Dateien

Nicht alles, was Silktide findet, wird auf die gleiche Weise geladen:

HTML-Seiten werden im Browser geöffnet. JavaScript wird ausgeführt, die Seite kann gescrollt werden, und Silktide kann ein konfiguriertes Bedienelement anklicken (z. B. um einen Cookie-Banner zu schließen), bevor Ergebnisse erfasst werden.
PDFs und viele andere Dokumente werden beim Crawlen entdeckt – meist als Links auf Seiten – und als Dateien heruntergeladen, statt als vollständige Browserseiten gerendert zu werden. Sie zählen dennoch zum Dokumentenkontingent und müssen weiterhin erreichbar sein.

Wenn eine PDF-URL nicht wie eine PDF aussieht (z. B. keine .pdf-Endung hat), kann Silktide sie als Seite einstufen und stattdessen Seitenkontingent verbrauchen. Siehe Warum können Seitenlimits verhindern, dass PDFs getestet werden?.

Warum das wichtig ist

Weil Silktide einen echten Browser verwendet:

Es verarbeitet clientseitig gerenderte Inhalte, nicht nur die rohe HTML-Antwort
Es kann mit Seiten interagieren – Banner schließen, Benutzerabläufe ausführen oder eine konfigurierte Authentifizierung durchlaufen
Es kann Screenshots aufnehmen und visuelle Eigenschaften wie Kontrast und Layout messen
Anfragen kommen weiterhin aus der Silktide-Infrastruktur (oder über einen Proxy), sodass Firewalls und Bot‑Schutzmechanismen weiterhin stören können

Für eine kürzere Antwort auf „Sieht Silktide dasselbe wie ich?“ siehe Wie sieht Silktide Websites?.