Wanneer crawlen mislukt

Wanneer een website niet start, niet wordt voltooid of niet de verwachte pagina's oplevert, loop je deze oorzaken in deze volgorde na. Veel problemen met een "lege inventaris" zijn crawlproblemen en geen scoreproblemen.

Controleer het adres

Kleine URL-fouten komen vaak voor:

• www. aanwezig of ontbrekend
• http versus https
• Een staginghost die alleen op jouw netwerk kan worden gevonden
• Een pad dat ergens anders naartoe doorverwijst

Silktide probeert veel van deze problemen te detecteren en je eromheen te leiden, maar het kan geen URL verzinnen die niet bestaat.

Botbescherming en firewalls

Veel sites bevinden zich achter Cloudflare of vergelijkbare anti-botlagen. Silktide laadt pagina's in een echte browser, maar die beveiligingen kunnen de crawler nog steeds blokkeren of een uitdaging laten uitvoeren.

Stel een proxy in onder Geavanceerde instellingen, zodat het verkeer afkomstig is van bekende Silktide-IP-adressen. Zie Vanwaar Silktide verbinding maakt. Als de site het testen aan snelheidsbeperkingen onderwerpt, verlaag dan eerst het maximumaantal verbindingen.

Inhoud die verschilt van je browser

Als Silktide een andere taal, valuta of startpagina ziet, of onderdelen mist:

• De site kan per geografische locatie verschillen — kies een proxy dicht bij de doelgroep die je belangrijk vindt
• Personalisatie of A/B-tests kunnen afhankelijk zijn van cookies die jij wel hebt, maar de crawler niet
• Botbescherming kan een uitdagingspagina tonen in plaats van de echte site

Meer informatie: Waarom toont Silktide andere inhoud dan mijn browser?.

Authenticatie

Sites die met een wachtwoord zijn beveiligd, hebben inloggegevens nodig. HTTP-authenticatie configureer je in Geavanceerde instellingen; voor inloggen via een formulier is een geconfigureerde inlogflow nodig. Silktide kan geen CAPTCHA's of meervoudige-authenticatiecodes voltooien. Zie Kan Silktide websites testen die met een wachtwoord zijn beveiligd?.

Bereik en hiaten in de ontdekking

Als de site wel wordt getest, maar belangrijke pagina's ontbreken:

• Controleer regels voor toestaan, weigeren en forceren
• Controleer links, sitemaps en geforceerde pagina's onder Ontdekking
• Bekijk Dekking van de inventaris en, wanneer Analytics is gekoppeld, Niet-geteste pagina's

Silktide behandelt robots.txt standaard niet als een harde limiet — zie Respecteert Silktide robots.txt?.

Mislukte downloads

Pagina's die Silktide niet kon ophalen, verschijnen onder Inventory > Mislukte downloads, met een status zoals Snelheidsbeperking en de HTTP-code. Zo kun je onbereikbare pagina's onderscheiden van pagina's die niet bestaan.

Vraag om hulp

Als Silktide AI is ingeschakeld, vraag dan de AI-agent om te helpen de oorzaak van de fout vast te stellen. Neem anders contact op met de ondersteuning van Silktide en vermeld de URL van de website en wat je ziet (fouten, een gedeeltelijk uitgevoerde crawl of een lege inventaris).