Crawlen
Voordat Silktide iets kan testen, moet het eerst de content ophalen. Een begint op de homepage van je website, leest wat het vindt, volgt links en gaat door totdat alles binnen de scope is afgedekt.
Meestal gebeurt dit onzichtbaar en zie je alleen de resultaten in Inventaris. In dit gedeelte leggen we uit hoe het ophalen werkt en wat je kunt doen wanneer een website langzaam antwoordt, verzoeken weigert of iets anders aan Silktide aanbiedt dan aan jou.
Hoe crawlen werkt
- Hoe Silktide crawlt - testen met een echte browser, pagina's versus bestanden en het algemene ophaalmodel.
- Ontdekking - hoe URL's vanuit links, sitemaps en geforceerde pagina's in de wachtrij komen.
- Scoperegels - toegestane, geweigerde en geforceerde regels, en waarom de hele website alleen uit URL's bestaat.
Verbinding maken en laden
- Vanwaar Silktide verbinding maakt - AWS-IP-adressen, proxy's en de user-agent.
- Een pagina laden - time-outs, cookiebanners, scrollen, stealth en andere geavanceerde instellingen.
Wanneer er iets misgaat
- Rate limiting en nieuwe pogingen - wat er gebeurt wanneer een website verzoeken weigert die te snel achter elkaar binnenkomen.
- Wanneer crawlen mislukt - botbeveiliging, authenticatie, onjuiste content en andere veelvoorkomende blokkades.
Gerelateerd
- Testscope - hoe Silktide bepaalt welke content moet worden ontdekt en geanalyseerd.
- Wat we testen - configureer toegestane, geweigerde en geforceerde URL-regels.
- Geavanceerde instellingen - parallelle verzoeken, time-outs voor pagina's, proxy's en andere laadinstellingen.
- Dekking van de inventaris - waarom wat Silktide heeft gevonden kan verschillen van een lijst in een .