Blokkering av AI-crawlere

Silktide tester om forespørsler som identifiserer seg som de største AI-crawlerne faktisk kommer gjennom til nettstedet ditt. Et nettsted kan ønske disse crawlerne velkommen på papiret, mens en brannmur eller et sikkerhetsprodukt avviser dem ved døren.

kan si at er velkomne, mens brannmuren din avviser dem. og sikkerhetsprodukter leveres med brytere for å «blokkere AI-roboter» med ett klikk – noen er aktivert som standard – som avviser alle forespørsler som identifiserer seg som GPTBot, ClaudeBot, PerplexityBot eller lignende, uavhengig av hva robots.txt erklærer. Nettstedseiere er ofte ikke klar over at dette er aktivert: For deg fungerer nettstedet perfekt, mens det for alle AI-assistenter ikke eksisterer.

Hvorfor dette er viktig

AI-assistenter kan bare sitere og anbefale innhold som crawlerne deres kan hente. En blokkering på brannmurnivå er usynlig ved normal bruk – nettstedet ditt lastes inn fint i alle nettlesere, og Analytics ser bra ut – men svarmotorer klarer i stillhet ikke å lese innholdet ditt og siterer konkurrentene i stedet. Fordi ingenting gir synlige feilmeldinger, er dette et av de vanskeligste synlighetsproblemene å oppdage uten å teste spesifikt for det.

Silktides separate kontroll for AI-crawler-tilgang dekker det robots.txt erklærer. Denne kontrollen dekker det som faktisk skjer på linjen. De to er ofte uenige, og når de er det, vinner brannmuren.

Slik løser du problemet

Sjekk CDN-et eller sikkerhetsdashbordet ditt for blokkering av AI-roboter. I Cloudflare finner du dette under Security, med «AI bots» eller «Bot Fight Mode»; andre leverandører som Akamai, Imperva og DataDome har tilsvarende brytere. Disse er noen ganger aktivert som standard.
Hvis blokkeringen er utilsiktet, slår du av bryteren eller legger til crawlerne du vil tillate, i tillatelseslisten.
Hvis du har egne brannmur- eller serverregler som samsvarer med brukeragenter for roboter, fjerner du AI-crawlerne du vil slippe inn.
Hvis du blokkerer AI-crawlere med hensikt, funnet – det er et legitimt valg.

Slik tester Silktide dette

Vi sender en forespørsel til hjemmesiden din med en vanlig nettleseridentitet. Hvis denne forespørselen i seg selv avvises eller blir utfordret, gjelder ikke kontrollen – ingenting kan tilskrives forskjellsbehandling av crawlere.
Vi sender en ny forespørsel til hjemmesiden, der vi identifiserer oss som hver av de største AI-crawlerne (GPTBot, ClaudeBot, PerplexityBot og CCBot), ved hjelp av User-Agent-strengene operatørene deres har publisert. Alle forespørslene kommer fra samme sted, så enhver forskjell i svaret skyldes crawleridentiteten.
Vi teller en crawler som blokkert når forespørselen får en direkte avvisningsstatus (for eksempel 403 Forbidden, 429 Too Many Requests eller 503), en utfordring eller en -side som en crawler ikke kan løse, eller ikke får noe svar i det hele tatt, mens nettleserforespørselen lyktes.
Vi varsler når en crawler avvises, og oppgir hvilke crawlere det gjelder.

Alle forespørsler er kun rettet mot hjemmesiden og kjøres én gang per test.

Feilsøking

Vi bekrefter crawlere via nettverket deres, ikke bare navnet

Noen nettsteder slipper bare gjennom forespørsler som kommer fra bekreftede nettverksadresser til crawleroperatøren. Silktides kontrollforespørsel sender crawlerens publiserte identitet fra sitt eget nettverk, så et slikt nettsted kan avvise kontrollforespørselen samtidig som det slipper gjennom den virkelige crawleren. Dette oppsettet er langt sjeldnere enn generell blokkering basert på identitet. Hvis du har bekreftet at du bruker dette, kan du godkjenne funnet.

Kontrollen består, men assistenter finner fortsatt ikke innholdet mitt

Å komme gjennom døren er nødvendig, men ikke tilstrekkelig. Kontroller at robots.txt tillater AI-crawlere (AI-crawler-tilgang), og at innholdet ditt ikke krever for å vises (Innhold uten JavaScript).