Gjennomsøking

Før Silktide kan teste noe, må det hentes. En crawler starter på startsiden til nettstedet ditt, leser det den finner, følger lenker og fortsetter til den har dekket alt som er innenfor omfanget.

Som oftest skjer dette i bakgrunnen, og du ser bare resultatene i Inventar. Her forklarer vi hvordan hentingen fungerer – og hva du kan gjøre når et nettsted svarer sakte, avslår forespørsler eller leverer noe annet til Silktide enn til deg.

Slik fungerer gjennomsøking

• Slik gjennomsøker Silktide – testing i en ekte nettleser, sider kontra filer og den overordnede modellen for henting.
• Oppdagelse – hvordan nettadresser legges i kø fra lenker, nettstedskart og tvungne sider.
• Regler for omfang – regler som tillater, avviser eller tvinger gjennom henting, og hvorfor hele nettstedet bare håndteres med nettadresser.

Tilkobling og innlasting

• Hvor Silktide kobler seg til fra – AWS-IP-adresser, proxyer og brukeragenten.
• Laste inn en side – tidsavbrudd, informasjonskapselbanner, rulling, stealth og andre avanserte innstillinger.

Når noe går galt

• Begrensning av forespørselsfrekvens og nye forsøk – hva som skjer når et nettsted avslår forespørsler som kommer for raskt.
• Når gjennomsøkingen mislykkes – bot-beskyttelse, autentisering, feil innhold og andre vanlige hindringer.

Relatert

• Testomfang – hvordan Silktide avgjør hvilket innhold som skal oppdages og analyseres.
• Hva vi tester – konfigurer regler for nettadresser som tillates, avvises eller tvinges gjennom.
• Avanserte innstillinger – parallelle forespørsler, tidsavbrudd for sider, proxy og andre kontroller for innlasting.
• Dekning i inventaret – hvorfor det Silktide fant, kan avvike fra en liste fra et CMS.