Hoe Silktide crawlt

Silktide crawlt niet zoals een traditionele bot die alleen HTML verwerkt. Het laadt elke pagina in een echte browser — headless Chrome — en ziet daardoor ongeveer wat een persoon ziet nadat scripts zijn uitgevoerd, lay-outs opnieuw zijn opgebouwd en bronnen zijn geladen.

Daarom kan Silktide moderne websites die zwaar leunen op JavaScript testen, terwijl crawlers die alleen de broncode verwerken deze missen. Daarom kunnen de resultaten ook lay-out, contrast, schermafbeeldingen en de uiteindelijke HTML bevatten nadat de pagina volledig is geladen.

Wat een crawl doet

Een typische testrun:

Begint op de homepage van de website (en op alle geforceerde pagina's die je hebt geconfigureerd).
Laadt elke pagina binnen de scope in de browser op desktop en, indien ingeschakeld, op mobiel.
Ontdekt meer URL's via links en vaak ook via sitemaps.
Gaat door totdat alles binnen de scope is verwerkt of totdat de van de website is bereikt.

Je bepaalt met Wat we testen welke URL's binnen die scope vallen. Geavanceerde crawlerinstellingen bepalen hoe grondig Silktide deze URL's ontdekt en laadt — zie Een pagina laden.

Pagina's versus bestanden

Niet alles wat Silktide vindt, wordt op dezelfde manier geladen:

HTML-pagina's worden in de browser geopend. JavaScript wordt uitgevoerd, de pagina kan worden gescrold en Silktide kan op een geconfigureerde bedieningselement klikken (bijvoorbeeld om een cookiebanner te sluiten) voordat de resultaten worden vastgelegd.
Pdf's en veel andere documenten worden tijdens het crawlen ontdekt — meestal als links vanaf pagina's — en als bestanden gedownload in plaats van als volledige browserpagina's weergegeven. Ze tellen nog steeds mee voor de documentcapaciteit en moeten nog steeds bereikbaar zijn.

Als een pdf-URL er niet uitziet als een pdf (bijvoorbeeld omdat de URL geen extensie .pdf heeft), kan Silktide deze als pagina classificeren en in plaats daarvan paginatoewijzing verbruiken. Zie Waarom kunnen paginalimieten ervoor zorgen dat pdf's niet worden getest?.

Waarom dit belangrijk is

Omdat Silktide een echte browser gebruikt:

Het verwerkt content die aan de clientzijde wordt weergegeven, niet alleen de onbewerkte HTML-reactie
Het kan interactie hebben met pagina's — banners sluiten, gebruikersflows uitvoeren of geconfigureerde authenticatie voltooien
Het kan schermafbeeldingen maken en visuele eigenschappen zoals contrast en lay-out meten
Verzoeken komen nog steeds uit de infrastructuur van Silktide (of via een proxy), waardoor firewalls en botbeveiliging nog steeds voor problemen kunnen zorgen

Raadpleeg voor een korter antwoord op de vraag “ziet Silktide wat ik zie?” Hoe ziet Silktide websites?.