Neidio i'r cynnwys
SilktideCymorth

Mynediad ymlusgwyr AI

Mae cynorthwywyr AI fel ChatGPT, Claude, a Perplexity yn darllen y we gan ddefnyddio eu ymlusgwyr awtomataidd eu hunain. Mae Silktide yn gwirio a yw eich gwefan yn dweud wrth yr ymlusgwyr hynny am gadw draw, sydd fel arfer yn golygu na all cynorthwywyr AI ddarllen, dyfynnu na argymell eich cynnwys.

Mae gwefannau yn rheoli mynediad ymlusgwyr drwy ffeil . Gall un rheol yn y ffeil honno wahardd pob system AI fawr:

# Yn rhwystro ymlusgwr OpenAI o'r wefan gyfan
User-agent: GPTBot
Disallow: /

Gall rhwystro fod yn ddewis bwriadol, er enghraifft i optio allan o hyfforddi modelau. Gan ei fod weithiau'n fwriadol, mae Silktide yn adrodd hyn fel rhybudd y gallwch ei gymeradwyo yn hytrach na chamgymeriad wedi'i gadarnhau.

Pam mae hyn yn bwysig

Mae cyfran gynyddol o bobl yn gofyn i gynorthwyydd AI yn hytrach nag injan chwilio. Dim ond gwefannau y caniateir i'w hymlysgwyr eu darllen y gall y cynorthwywyr hynny eu disgrifio, eu dyfynnu a chysylltu atynt. Os yw eich gwefan yn eu rhwystro, cynnwys eich cystadleuwyr sy'n llenwi'r atebion yn lle hynny, ac rydych yn colli ymwelwyr heb erioed weld camgymeriad.

Mae llawer o ffeiliau robots.txt yn rhwystro ymlusgwyr AI drwy ddamwain: cafodd y rheolau eu copïo o templed neu ganllaw caledu diogelwch, ac ni sylweddolodd neb beth roeddent yn ei wahardd. Mae'r gwiriad hwn yn amlygu hynny fel bod y rhwystr yn benderfyniad, nid yn esgeulustod.

Sut i'w drwsio

  1. Agorwch ffeil robots.txt eich gwefan (yn https://yoursite.com/robots.txt) a dewch o hyd i'r rheolau sy'n enwi'r ymlusgwyr sydd wedi'u rhwystro, neu reol User-agent: * gyda Disallow: / sy'n rhwystro popeth.
  2. Os nad yw'r rhwystr yn fwriadol, tynnwch y rheolau hynny neu eu cyfyngu i'r llwybrau rydych wir eisiau eu cadw'n breifat, yna ailgyhoeddwch y ffeil:
# Cyn: yn rhwystro'r wefan gyfan
User-agent: GPTBot
Disallow: /

# Ar ôl: yn caniatáu'r wefan, yn cadw un ardal yn breifat
User-agent: GPTBot
Disallow: /internal/
  1. Os yw'r rhwystr yn fwriadol - er enghraifft, nid ydych am i'ch cynnwys gael ei ddefnyddio ar gyfer hyfforddi AI - y canfyddiad. Sylwer fod rhai ymlusgwyr yn bwydo hyfforddiant ac eraill yn bwydo atebion byw, felly gallwch hefyd rwystro'n ddetholus: mae caniatáu OAI-SearchBot wrth rwystro GPTBot yn eich cadw'n weladwy yn chwiliad ChatGPT heb gyfrannu at hyfforddiant.

Sut mae Silktide yn profi hyn

  1. Nôl y ffeil robots.txt o wraidd eich gwefan.
  2. Os nad yw'r ffeil yn bodoli neu os na ellir ei nôl, mae'r gwiriad yn llwyddo: nid yw diffyg robots.txt yn golygu bod unrhyw ymlusgwr wedi'i rwystro.
  3. Dosrannu'r rheolau a phrofi pob un o restr o tua 20 o asiantau defnyddiwr ymlusgwyr AI adnabyddus (gan gynnwys GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended, Applebot-Extended, a CCBot) yn erbyn gwraidd eich gwefan.
  4. Rhybuddio pan fo un neu fwy o'r ymlusgwyr hyn wedi'u rhwystro o'r gwraidd, gan restru yr ymlusgwyr sydd wedi'u rhwystro.

Datrys problemau

Mae'r gwiriad yn llwyddo ond ni all cynorthwywyr AI ddarllen fy ngwefan o hyd

Dim ond eich rheolau robots.txt y mae'r gwiriad hwn yn eu darllen. Gall ymlusgwr a ganiateir ar bapur barhau i gael ei rwystro'n ymarferol gan wal dân neu ddiogelwch botiaid - gweler Ymlusgwyr AI wedi'u rhwystro'n ymarferol. Gall cynnwys sy'n ymddangos ar ôl i redeg hefyd fod yn anweledig i ymlusgwyr AI - gweler Cynnwys ar gael heb JavaScript.

Rwy'n rhwystro ymlusgwyr AI yn fwriadol

Mae hynny'n ddewis dilys. Cymeradwywch y canfyddiad ac ni fydd yn cyfrif yn erbyn eich gwefan. Ystyriwch a ydych am rwystro pob ymlusgwr AI neu dim ond y rhai a ddefnyddir ar gyfer hyfforddi modelau.

Dysgwch ragor

Diweddarwyd ddiwethaf

A oedd y dudalen hon yn ddefnyddiol?