Når crawling mislykkes

Når et nettsted ikke vil starte, fullføre eller returnere sidene du forventer, bør du gå gjennom disse årsakene i rekkefølge. Mange problemer med «tom beholdning» skyldes crawling, ikke poengberegningen.

Bekreft adressen

Små URL-feil er vanlige:

• www. er lagt til eller mangler
• http kontra https
• En staging-vert som bare kan slås opp på nettverket ditt
• En bane som videresender et annet sted

Silktide prøver å oppdage og hjelpe deg rundt mange av disse problemene, men kan ikke finne på en URL som ikke eksisterer.

Bot-beskyttelse og brannmurer

Mange nettsteder ligger bak Cloudflare eller lignende anti-bot-lag. Silktide laster inn sider i en ekte nettleser, men disse beskyttelsene kan fortsatt blokkere eller utfordre crawleren.

Angi en proxy under Avanserte innstillinger slik at trafikken kommer fra kjente Silktide-IP-adresser. Se Hvor Silktide kobler seg til fra. Hvis nettstedet begrenser forespørselsfrekvensen under testing, bør du redusere maksimalt antall tilkoblinger før du gjør noe annet.

Innhold som er annerledes enn i nettleseren din

Hvis Silktide ser et annet språk, en annen valuta, en annen startside eller manglende seksjoner:

• Nettstedet kan variere etter geografisk plassering – velg en proxy nær målgruppen du bryr deg om
• Personalisering eller A/B-tester kan avhenge av informasjonskapsler du har, men som crawleren ikke har
• Bot-beskyttelse kan vise en utfordringsside i stedet for det faktiske nettstedet

Mer informasjon: Hvorfor viser Silktide annet innhold enn nettleseren min?.

Autentisering

Passordbeskyttede nettsteder trenger påloggingsinformasjon. HTTP-autentisering konfigureres i Avanserte innstillinger, mens skjemabasert innlogging krever en konfigurert innloggingsflyt. Silktide kan ikke fullføre CAPTCHA-er eller flerfaktorkoder. Se Kan Silktide teste passordbeskyttede nettsteder?.

Omfang og mangler i oppdagelsen

Hvis nettstedet testes, men viktige sider mangler:

• Kontroller regler for tillatte, avviste og tvungne sider
• Bekreft lenker, nettstedskart og tvungne sider under Oppdagelse
• Gå gjennom dekning i beholdningen og, når Analytics er koblet til, Utestede sider

Silktide behandler ikke robots.txt som en absolutt begrensning som standard – se Respekterer Silktide robots.txt?.

Mislykkede nedlastinger

Sider Silktide ikke kunne hente, vises under Inventory > Mislykkede nedlastinger, med en status som Frekvensbegrenset og HTTP-koden. Dette skiller sider som ikke er tilgjengelige, fra sider som ikke eksisterer.

Be om hjelp

Hvis Silktide AI er aktivert, kan du be AI-agenten om hjelp til å diagnostisere feilen. Ellers kan du kontakte Silktide kundestøtte med nettstedets URL og det du ser (feil, delvis crawling eller tom beholdning).