Omfangsregler

Hva vi tester styrer hvilke URL-er som hører til på et eller i en . Disse reglene er den viktigste måten kundene kan forme crawlingen på før og under oppdagelsen.

Tillatte, avviste og tvungne regler

Tillatte regler beskriver URL-mønstre Silktide kan inkludere. Hvis du angir tillatte regler, er bare samsvarende URL-er (i tillegg til tvungne sider) med i omfanget.
Avviste regler fjerner samsvarende URL-er fra det tillatte omfanget. Avviste regler har alltid forrang foran tillatte regler.
Tvungne sider ber Silktide inkludere bestemte viktige URL-er, selv når de ikke oppdages gjennom vanlige lenker. De må fortsatt være tilgjengelige når testen kjøres.

Regler støtter flere samsvarstyper, blant annet begynnelse og slutt på URL-er, tekstsamsvar, regulære uttrykk og betingelser for URL-lengde. Hold reglene så avgrensede som mulig, samtidig som de fortsatt gjenspeiler nettstedet korrekt. Når du har endret dem, kjører du en ny test og går gjennom dekning av beholdningen.

Hvorfor hele nettstedet bare kan bruke URL-er

Nettstedet som helhet (rotvisningen for «alle sider») kan bare bruke URL-regler. Silktide må avgjøre om en URL er verdt å hente før siden lastes ned. På det tidspunktet er den eneste pålitelige informasjonen selve URL-en.

er annerledes. En seksjon er en definert del av nettstedet som rapporteres som om den var et eget nettsted. Når en side allerede er lastet ned for nettstedet, kan Silktide også bruke innholdsbaserte regler på en seksjon – regler som ser på hva som finnes på siden, ikke bare på URL-en. Disse reglene kan plassere en side i en seksjon eller holde den utenfor, basert på ting som tekst eller annet sideinnhold.

Det er derfor avanserte, innholdsbaserte regler er tilgjengelige for seksjoner, men ikke for nettstedet som helhet: Avgjørelsen på nettstedsnivå må kunne tas ut fra URL-en alene, ellers måtte oppdagelsen ha lastet ned alle kandidatsider først.

Hvorfor det ikke ville fungert å laste ned først for hele nettstedet

Hvis nettstedets omfang var avhengig av sideinnhold, måtte Silktide hente en side før det var kjent om den var tillatt. På et stort nettsted ville det bety å laste ned langt mer enn du har tenkt å teste, for så å forkaste det meste – tregere, dyrere og mer sannsynlig å utløse frekvensbegrensninger. URL-regler gjør den ytre grensen rimelig å evaluere. Seksjoner finjusterer medlemskapet etterpå, når sideinnholdet allerede er tilgjengelig.

Slik henger dette sammen med resten av omfanget

URL- og seksjonsregler er bare en del av testomfanget. Autentisering, crawlbarhet, viderekoblinger, robots.txt (håndheves ikke som standard), avanserte crawlerinnstillinger og påvirker også hva som blir funnet.

Konfigurer de daglige reglene under Hva vi tester. Bruk denne artikkelen når du trenger modellen som ligger bak disse kontrollene.