Gå til indhold
SilktideHjælp

Adgang for AI-crawlere

AI-assistenter som ChatGPT, Claude og Perplexity læser internettet ved hjælp af deres egne automatiske crawlere. Silktide tjekker, om dit website fortæller disse crawlere, at de skal holde sig væk, hvilket normalt betyder, at AI-assistenter ikke kan læse, citere eller anbefale dit indhold.

Websites styrer crawleradgang via en -fil. En enkelt regel i den fil kan udelukke alle større AI-systemer:

# Blokerer OpenAI's crawler fra hele sitet
User-agent: GPTBot
Disallow: \/

Blokering af kan være et bevidst valg, f.eks. for at fravælge modeltræning. Da det nogle gange er med vilje, rapporterer Silktide dette som en advarsel, du kan godkende, frem for en bekræftet fejl.

Hvorfor det er vigtigt

En stigende andel af mennesker spørger en AI-assistent i stedet for en søgemaskine. Disse assistenter kan kun beskrive, citere og linke til websites, som deres crawlere har tilladelse til at læse. Hvis dit site blokerer dem, fylder konkurrenternes indhold svarene i stedet, og du mister besøgende uden nogensinde at se en fejl.

Mange robots.txt-filer blokerer AI-crawlere ved et uheld: Reglerne blev kopieret fra en skabelon eller en vejledning om sikkerhedshærdning, og ingen indså, hvad de udelukkede. Dette tjek gør opmærksom på det, så blokeringen bliver en beslutning og ikke en forglemmelse.

Sådan løser du det

  1. Åbn dit sites robots.txt-fil (på https:\/\/yoursite.com\/robots.txt), og find reglerne, der navngiver de blokerede crawlere, eller en User-agent: *-regel med Disallow: \/, der blokerer alt.
  2. Hvis blokeringen er utilsigtet, skal du fjerne disse regler eller begrænse dem til de stier, du reelt vil holde private, og derefter udgive filen igen:
# Før: blokerer hele sitet
User-agent: GPTBot
Disallow: \/

# Efter: tillader sitet, men holder ét område privat
User-agent: GPTBot
Disallow: \/internal\/
  1. Hvis blokeringen er bevidst – f.eks. fordi du ikke ønsker, at dit indhold bruges til AI-træning – fundet. Bemærk, at nogle crawlere bruges til træning, mens andre bruges til live-svar, så du kan også blokere selektivt: Ved at tillade OAI-SearchBot, mens du blokerer GPTBot, forbliver du synlig i ChatGPT-søgning uden at bidrage til træning.

Sådan tester Silktide dette

  1. Hent robots.txt-filen fra roden af dit website.
  2. Hvis filen ikke findes eller ikke kan hentes, består tjekket: Ingen robots.txt betyder, at ingen crawler er blokeret.
  3. Analysér reglerne, og test hver af en liste med omkring 20 velkendte AI-crawler- user agents (herunder GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended, Applebot-Extended og CCBot) mod roden af dit site.
  4. Advar, når en eller flere af disse crawlere er blokeret fra roden, og angiv de blokerede crawlere.

Fejlfinding

Tjekket består, men AI-assistenter kan stadig ikke læse mit site

Dette tjek læser kun dine robots.txt-regler. En crawler, der har tilladelse på papiret, kan stadig blive blokeret i praksis af en firewall eller botbeskyttelse – se AI-crawlere blokeret i praksis. Indhold, der først vises, efter er kørt, kan også være usynligt for AI-crawlere – se Indhold tilgængeligt uden JavaScript.

Jeg blokerer AI-crawlere med vilje

Det er et legitimt valg. Godkend fundet, og det vil ikke tælle imod dit site. Overvej, om du vil blokere alle AI-crawlere eller kun dem, der bruges til modeltræning.

Få mere at vide

Sidst opdateret

Var denne side nyttig?

Adgang for AI-crawlere | Silktide Hjælp