Blokering af AI-crawlere

Silktide tester, om anmodninger, der identificerer sig som de største AI-crawlere, faktisk kan komme igennem til dit website. Et website kan byde disse crawlere velkommen på papiret, mens en firewall eller et sikkerhedsprodukt afviser dem ved døren.

Din kan angive, at er velkomne, mens din firewall afviser dem. - og sikkerhedsprodukter leveres med kontaktløsninger til "blokering af AI-bots" – nogle er aktiveret som standard – der afviser enhver anmodning, der identificerer sig som GPTBot, ClaudeBot, PerplexityBot eller lignende, uanset hvad robots.txt angiver. Ejere af websites ved ofte ikke, at dette er aktiveret: For dig fungerer websitet perfekt, mens det ikke eksisterer for nogen AI-assistent.

Hvorfor dette er vigtigt

AI-assistenter kan kun citere og anbefale indhold, som deres crawlere kan hente. En blokering på firewallniveau er usynlig ved normal brug – dit website indlæses fint i alle browsere, og din analyse ser sund ud – men svarmotorer kan i stilhed ikke læse dit indhold og citerer i stedet konkurrenter. Da intet giver en synlig fejl, er dette et af de sværeste synlighedsproblemer at opdage uden at teste direkte for det.

Silktides separate tjek af adgang for AI-crawlere dækker, hvad din robots.txt angiver. Dette tjek dækker, hvad der faktisk sker på netværket. De to er ofte uenige, og når de er det, vinder firewallen.

Sådan løser du det

Tjek dit CDN eller sikkerhedsdashboard for blokering af AI-bots. I Cloudflare skal du se under Sikkerhed efter "AI bots" eller "Bot Fight Mode"; andre udbydere som Akamai, Imperva og DataDome har tilsvarende indstillinger. Disse er nogle gange aktiveret som standard.
Hvis blokeringen er utilsigtet, skal du slå indstillingen fra eller føje de specifikke crawlere, du vil tillade, til din tilladelsesliste.
Hvis du har dine egne firewall- eller serverregler, der matcher bot-brugeragenter, skal du fjerne de AI-crawlere, du vil give adgang, fra reglerne.
Hvis du med vilje blokerer AI-crawlere, fundet – det er et legitimt valg.

Sådan tester Silktide dette

Anmod om din startside med en almindelig browseridentitet. Hvis den anmodning selv afvises eller udfordres, er tjekket ikke relevant – intet kan tilskrives forskelsbehandling af crawlere.
Anmod om startsiden igen, idet du identificerer dig som hver større AI-crawler (GPTBot, ClaudeBot, PerplexityBot og CCBot) ved hjælp af de User-Agent-strenge, som deres operatører offentliggør. Alle anmodninger kommer fra det samme sted, så enhver forskel i respons skyldes crawleridentiteten.
Tæl en crawler som blokeret, når dens anmodning modtager en direkte afvisningsstatus (for eksempel 403 Forbidden, 429 Too Many Requests eller 503), en udfordring eller en -side, som en crawler ikke kan løse, eller slet intet svar, mens browseranmodningen lykkedes.
Vis en advarsel, når en crawler afvises, og angiv hvilke.

Alle anmodninger er kun rettet mod startsiden og køres én gang pr. test.

Fejlfinding

Vi verificerer crawlere via deres netværk, ikke kun deres navn

Nogle websites tillader kun anmodninger, der kommer fra en crawleroperatørs verificerede netværksadresser. Silktides prøve sender crawlerens offentliggjorte identitet fra sit eget netværk, så et sådant website kan afvise prøven, mens den tillader den rigtige crawler. Denne opsætning er langt sjældnere end generel blokering baseret på identitet; hvis du har bekræftet, at du bruger den, skal du godkende fundet.

Tjekket består, men assistenter overser stadig mit indhold

At komme ind ad døren er nødvendigt, men ikke tilstrækkeligt. Tjek, at din robots.txt tillader AI-crawlere (adgang for AI-crawlere), og at dit indhold ikke kræver for at blive vist (Indhold uden JavaScript).