Crawling
Før Silktide kan teste noget, skal det hente det. En starter fra dit websites forside, læser det, den finder, følger links og fortsætter, indtil den har dækket alt inden for omfanget.
Det meste af tiden er dette usynligt, og du ser kun resultaterne i Inventory. Dette område forklarer, hvordan hentningen fungerer – og hvad du skal gøre, når et website svarer langsomt, afviser forespørgsler eller viser noget andet til Silktide end til dig.
Sådan fungerer crawling
- Sådan crawler Silktide - test i en rigtig browser, sider kontra filer og den overordnede hentningsmodel.
- Opdagelse - hvordan URL'er kommer i køen fra links, sitemaps og tvungne sider.
- Omfangsregler - tilladte, afviste og tvungne regler, og hvorfor hele websitet kun er URL-baseret.
Forbindelse og indlæsning
- Hvor Silktide opretter forbindelse fra - AWS-IP-adresser, proxyer og brugeragenten.
- Indlæsning af en side - timeouts, cookiebannere, scrolling, stealth og andre avancerede indstillinger.
Når noget går galt
- Hastighedsbegrænsning og genforsøg - hvad der sker, når et website afviser forespørgsler, der ankommer for hurtigt.
- Når crawling fejler - botbeskyttelse, godkendelse, forkert indhold og andre almindelige blokeringer.
Relateret
- Testomfang - hvordan Silktide afgør, hvilket indhold der skal opdages og analyseres.
- Hvad vi tester - konfigurer tilladte, afviste og tvungne URL-regler.
- Avancerede indstillinger - parallelle forespørgsler, sidetimeouts, proxy og andre indlæsningskontroller.
- Inventory-dækning - hvorfor det, Silktide fandt, kan afvige fra en -liste.