När crawlingen misslyckas

När en webbplats inte startar, slutförs eller returnerar de sidor du förväntar dig går du igenom dessa orsaker i ordning. Många problem med en ”tom inventering” beror på crawlningen, inte på poängsättningen.

Bekräfta adressen

Små URL-fel är vanliga:

• www. finns med eller saknas
• http i stället för https
• En staging-värd som bara kan slås upp i ditt nätverk
• En sökväg som omdirigerar någon annanstans

Silktide försöker upptäcka och hjälpa dig runt många av dessa problem, men kan inte hitta på en URL som inte finns.

Botskydd och brandväggar

Många webbplatser ligger bakom Cloudflare eller liknande lager mot bottrafik. Silktide läser in sidor i en riktig webbläsare, men dessa skydd kan fortfarande blockera eller utmana crawlningen.

Ange en proxy under Avancerade inställningar så att trafiken kommer från kända Silktide-IP-adresser. Se Var Silktide ansluter från. Om webbplatsen begränsar hastigheten för testningen bör du först sänka det maximala antalet anslutningar.

Innehåll som skiljer sig från det i din webbläsare

Om Silktide ser ett annat språk, en annan valuta, en annan startsida eller saknade avsnitt:

• Webbplatsen kan variera beroende på geografisk plats – välj en proxy nära den målgrupp du bryr dig om
• Personalisering eller A/B-tester kan bero på cookies som du har, men som crawlningen inte har
• Botskydd kan visa en utmaningssida i stället för den riktiga webbplatsen

Mer information: Varför visar Silktide annat innehåll än min webbläsare?.

Autentisering

Lösenordsskyddade webbplatser behöver inloggningsuppgifter. HTTP-autentisering konfigureras i Avancerade inställningar; formulärbaserad inloggning kräver ett konfigurerat inloggningsflöde. Silktide kan inte slutföra CAPTCHA eller koder för flerfaktorsautentisering. Se Kan Silktide testa lösenordsskyddade webbplatser?.

Omfattning och luckor i upptäckten

Om webbplatsen testas men viktiga sidor saknas:

• Kontrollera regler för tillåtna, nekade och tvingade sidor
• Bekräfta länkar, webbplatskartor och tvingade sidor under Upptäckt
• Granska inventeringens täckning och, när Analytics är anslutet, Otestade sidor

Silktide behandlar inte robots.txt som en hård begränsning som standard – se Respekterar Silktide robots.txt?.

Misslyckade hämtningar

Sidor som Silktide inte kunde hämta visas under Inventering > Misslyckade hämtningar, med en status som Hastighetsbegränsad och HTTP-koden. Det skiljer sidor som inte kan nås från sidor som inte finns.

Be om hjälp

Om Silktide AI är aktiverat kan du be AI-agenten om hjälp med att diagnostisera felet. Annars kontaktar du Silktides support med webbplatsens URL och vad du ser (fel, delvis genomförd crawling eller tom inventering).