Blockering av AI-crawlare

Silktide testar om förfrågningar som identifierar sig som de stora AI-crawlerna faktiskt släpps igenom till din webbplats. En webbplats kan välkomna dessa crawlare på pappret, medan en brandvägg eller säkerhetsprodukt avvisar dem vid dörren.

Din kan säga att är välkomna, medan din brandvägg avvisar dem. - och säkerhetsprodukter levereras med knappar för att med ett klick "blockera AI-botar" – vissa är aktiverade som standard – som avvisar alla förfrågningar som identifierar sig som GPTBot, ClaudeBot, PerplexityBot eller liknande, oavsett vad robots.txt anger. Webbplatsägare har ofta ingen aning om att detta är aktiverat: för dig fungerar webbplatsen perfekt, medan den för alla AI-assistenter inte existerar.

Varför detta är viktigt

AI-assistenter kan bara hänvisa till och rekommendera innehåll som deras crawlare kan hämta. En blockering på brandväggsnivå är osynlig vid normal användning – din webbplats laddas utan problem i alla webbläsare och din Analytics ser bra ut – men sökmotorer som genererar svar misslyckas i tysthet med att läsa dig och citerar i stället konkurrenter. Eftersom inget synligt fel uppstår är detta ett av de svåraste synlighetsproblemen att upptäcka utan att testa det direkt.

Silktides separata kontroll av AI-crawleråtkomst omfattar vad din robots.txt anger. Den här kontrollen omfattar vad som faktiskt händer på nätet. De två är ofta inte överens, och när de inte är det vinner brandväggen.

Så åtgärdar du problemet

Kontrollera om din CDN- eller säkerhetspanel blockerar AI-botar. I Cloudflare går du till Security och letar efter "AI bots" eller "Bot Fight Mode"; andra leverantörer som Akamai, Imperva och DataDome har motsvarande inställningar. Dessa är ibland aktiverade som standard.
Om blockeringen är oavsiktlig stänger du av inställningen eller lägger till de specifika crawlare som du vill tillåta i din tillåtelselista.
Om du har egna brandväggs- eller serverregler som matchar användaragenter för botar tar du bort de AI-crawlare som du vill släppa igenom.
Om du avsiktligt blockerar AI-crawlare kan du resultatet – det är ett legitimt val.

Så testar Silktide detta

Vi begär din startsida med en vanlig webbläsaridentitet. Om den förfrågan i sig avvisas eller utmanas är kontrollen inte tillämplig – inget kan tillskrivas diskriminering av crawlare.
Vi begär startsidan igen och identifierar oss som var och en av de stora AI-crawlerna (GPTBot, ClaudeBot, PerplexityBot och CCBot) med de User-Agent- strängar som deras operatörer publicerar. Alla förfrågningar kommer från samma plats, så eventuella skillnader i svaret beror på crawleridentiteten.
Vi räknar en crawler som blockerad när dess förfrågan får en direkt avvisnings- status (till exempel 403 Forbidden, 429 Too Many Requests eller 503), en utmanings- eller -sida som en crawler inte kan lösa, eller inget svar alls trots att webbläsarförfrågan lyckades.
Vi varnar när någon crawler avvisas och listar vilka det gäller.

Alla förfrågningar riktas endast mot startsidan och körs en gång per kontroll.

Felsökning

Vi verifierar crawlare via deras nätverk, inte bara deras namn

Vissa webbplatser släpper endast igenom förfrågningar som kommer från verifierade nätverksadresser hos en crawleroperatör. Silktides kontrollförfrågan skickar crawlerns publicerade identitet från sitt eget nätverk, så en sådan webbplats kan avvisa kontrollförfrågan trots att den släpper igenom den riktiga crawlern. Denna konfiguration är mycket ovanligare än blockering baserad enbart på identitet; om du har bekräftat att du använder den kan du godkänna resultatet.

Kontrollen godkänns, men assistenterna hittar fortfarande inte mitt innehåll

Att släppas igenom dörren är nödvändigt, men inte tillräckligt. Kontrollera att din robots.txt tillåter AI-crawlare (AI-crawleråtkomst) och att ditt innehåll inte kräver för att visas (Innehåll utan JavaScript).