Hopp til innhold
SilktideHjelp

Tilgang for AI-crawlere

AI-assistenter som ChatGPT, Claude og Perplexity leser nettet ved hjelp av sine egne automatiserte crawlere. Silktide kontrollerer om nettstedet ditt ber disse crawlerne om å holde seg borte, noe som vanligvis betyr at AI-assistenter ikke kan lese, sitere eller anbefale innholdet ditt.

Nettsteder styrer crawler-tilgang gjennom en -fil. Én enkelt regel i denne filen kan stenge ute alle større AI-systemer:

# Blokkerer OpenAIs crawler fra hele nettstedet
User-agent: GPTBot
Disallow: /

Blokkering av kan være et bevisst valg, for eksempel for å reservere seg mot modelltrening. Fordi det noen ganger er tilsiktet, rapporterer Silktide dette som en advarsel du kan godkjenne, i stedet for en bekreftet feil.

Hvorfor dette er viktig

En stadig større andel av befolkningen spør en AI-assistent i stedet for en søkemotor. Disse assistentene kan bare beskrive, sitere og lenke til nettsteder crawlerne deres har tillatelse til å lese. Hvis nettstedet ditt blokkerer dem, fylles svarene i stedet med konkurrentenes innhold, og du mister besøkende uten å se en feilmelding.

Mange robots.txt-filer blokkerer AI-crawlere ved et uhell: Reglene ble kopiert fra en mal eller en veiledning om sikkerhetsherding, og ingen innså hva de utelukket. Denne kontrollen synliggjør dette, slik at blokkeringen blir et bevisst valg og ikke en forglemmelse.

Slik løser du det

  1. Åpne nettstedets robots.txt-fil (på https://yoursite.com/robots.txt) og finn reglene som navngir de blokkerte crawlerne, eller en User-agent: *-regel med Disallow: / som blokkerer alt.
  2. Hvis blokkeringen er utilsiktet, fjerner du disse reglene eller begrenser dem til banene du faktisk ønsker å holde private, og publiserer deretter filen på nytt:
# Før: blokkerer hele nettstedet
User-agent: GPTBot
Disallow: /

# Etter: tillater nettstedet, men holder ett område privat
User-agent: GPTBot
Disallow: /internal/
  1. Hvis blokkeringen er bevisst – for eksempel fordi du ikke vil at innholdet ditt skal brukes til AI-trening – du funnet. Merk at noen crawlere brukes til trening, mens andre brukes til direkte svar, så du kan også blokkere selektivt: Hvis du tillater OAI-SearchBot og blokkerer GPTBot, forblir du synlig i ChatGPT-søk uten å bidra til trening.

Slik tester Silktide dette

  1. Henter robots.txt-filen fra roten av nettstedet ditt.
  2. Hvis filen ikke finnes eller ikke kan hentes, består kontrollen: Uten robots.txt blir ingen crawler blokkert.
  3. Tolker reglene og tester hver av en liste med rundt 20 kjente AI-crawleres user agent-strenger (inkludert GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended, Applebot-Extended og CCBot) mot roten av nettstedet ditt.
  4. Viser en advarsel når én eller flere av disse crawlerne er blokkert fra roten, og viser hvilke crawlere som er blokkert.

Feilsøking

Kontrollen består, men AI-assistenter kan fortsatt ikke lese nettstedet mitt

Denne kontrollen leser bare robots.txt-reglene dine. En crawler som er tillatt på papiret, kan fortsatt blokkeres i praksis av en brannmur eller bot-beskyttelse – se AI-crawlere som blokkeres i praksis. Innhold som bare vises etter at er kjørt, kan også være usynlig for AI-crawlere – se Innhold tilgjengelig uten JavaScript.

Jeg blokkerer AI-crawlere med vilje

Det er et legitimt valg. Godkjenn funnet, så vil det ikke telle negativt for nettstedet ditt. Vurder om du vil blokkere alle AI-crawlere eller bare dem som brukes til modelltrening.

Les mer

Sist oppdatert

Var denne siden nyttig?