Neidio i'r cynnwys
SilktideCymorth

Polisi mynediad cropianwyr AI

Mae polisi mynediad cropianwyr AI yn gyfluniad bwriadol o (ac weithiau wal dân) sy'n nodi pa systemau AI a gaiff nôl eich tudalennau cyhoeddus - ac at ba ddiben. Mae'n dibynnu ar y sefyllfa oherwydd bod yr ateb "cywir" yn dibynnu ar a ydych yn poeni mwy am gael eich dyfynnu mewn atebion cynorthwywyr, cadw cynnwys allan o hyfforddiant modelau, neu'r ddau. Yr hyn nad yw'n dibynnu ar y sefyllfa yw trin templed "blocio pob AI" wedi'i ludo fel pe bai'n gam caledu diogelwch niwtral. Mae gan y dewis hwnnw ganlyniadau marchnata.

Drwy'r dudalen hon, tybiwch fod Fernwood am ymddangos mewn atebion ChatGPT a Claude am reoli treuliau, ond bod yn well gan ei dîm cyfreithiol beidio â chyfrannu tudalennau newydd at gorpysau hyfforddi modelau sylfaen.

Mae'r dechneg hon yn ymwneud â mynediad. Unwaith y caniateir cropiwr i mewn, mae'n rhaid iddo dderbyn HTML go iawn o hyd - gweler Cynnwys y gellir ei ddarllen heb JavaScript - a chaiff map wedi'i guradu dewisol ei drafod ar wahân yn llms.txt.

Pam mae hyn yn dibynnu ar y sefyllfa

Nid yw cynhyrchion AI bellach yn defnyddio un "bot AI" yn unig. Mae gwerthwyr mawr yn rhannu cropianwyr yn ôl swydd:

SwyddBotiau nodweddiadolBeth mae blocio'n ei wneud
Hyfforddi modelauOpenAI GPTBot, Anthropic ClaudeBot, Common Crawl CCBot, Google Google-Extended (rheolaeth hyfforddi / seilio Gemini - nid Googlebot)Yn dynodi na ddylid defnyddio'r cynnwys i hyfforddi (neu, yn achos Google-Extended, i hyfforddi Gemini / pweru nodweddion AI penodol). Nid yw'n eich tynnu o Google Search clasurol ar ei ben ei hun.
Mynegeio chwilio / atebionOpenAI OAI-SearchBot, Anthropic Claude-SearchBot, PerplexityBotYn lleihau neu'n dileu'r cymhwystra i gael eich dangos a'ch dyfynnu yn atebion tebyg i chwiliad y cynnyrch hwnnw.
Nôl a sbardunir gan ddefnyddiwrOpenAI ChatGPT-User, Anthropic Claude-User, asiantau tebyg "gofynnodd defnyddiwr am yr URL hwn"Yn rheoli nôliadau byw pan fydd person yn pwyntio'r cynorthwyydd at dudalen. Mae rheolau gwerthwyr yn amrywio o ran a barchir robots.txt ar gyfer yr asiantau hyn - gwiriwch ddogfennaeth gyfredol y gwerthwr cyn tybio bod Disallow yn gweithio.

Mae dogfennaeth cropianwyr OpenAI ei hun yn nodi'r annibyniaeth yn benodol: gall gwefeistr ganiatáu OAI-SearchBot i ymddangos yn nodweddion chwilio ChatGPT wrth wrthod GPTBot fel na ddefnyddir cynnwys sydd wedi'i gropian i hyfforddi modelau sylfaen cynhyrchiol. Mae Anthropic yn dogfennu'r un rhaniad tair ffordd ar gyfer ClaudeBot (hyfforddi), Claude-SearchBot (ansawdd chwilio), a Claude-User (adfer a gyfeirir gan ddefnyddiwr).

Felly nid "AI: ymlaen neu i ffwrdd?" yw'r cwestiwn polisi. Mae'n dri phenderfyniad ar wahân a ddylai gyfateb i oddefgarwch risg ac amcanion AEO Fernwood.

Caniatewch gropianwyr chwilio / atebion fel arfer pan:

  • Rydych am i gynorthwywyr ddyfynnu dogfennau, ymchwil a thudalennau cymharu Fernwood.
  • Mae cystadleuwyr eisoes yn ymddangos yn yr atebion hynny ac nid ydych chi.
  • Mae gwiriad mynediad cropianwyr AI Silktide yn rhybuddio oherwydd i dempled flocio popeth yn ddamweiniol.

Blociwch neu gyfyngwch gropianwyr hyfforddi yn aml pan:

  • Mae polisi cyfreithiol neu frand yn gwahardd cyfrannu cynnwys y safle at hyfforddiant modelau trydydd parti.
  • Rydych yn cyhoeddi ymchwil berchnogol, rhesymeg prisio, neu ddeunydd sy'n agos at gynnwys â phorth mynediad y mae'n rhaid iddo aros y tu allan i gorpysau hyfforddi hyd yn oed os ydych yn dal am ddyfyniadau byw.

Blociwch yn eang pan:

  • Mae'r safle'n an-gyhoeddus, yn safle llwyfannu, neu nid oes ganddo reswm marchnata i fod mewn atebion cynorthwywyr (mewnrwyd, UI ap pur, porth partneriaid).
  • Rydych wedi gwneud penderfyniad cynnyrch ymwybodol i aros allan o atebion AI yn gyfan gwbl - ac rydych yn barod i golli'r sianel honno.

Sut i benderfynu (taflen waith Fernwood)

Gweithiwch drwy'r rhain yn eu trefn. Ysgrifennwch yr atebion; dim ond amgodio'r daflen waith yw'r ffeil robots.txt.

  1. A ydym am gael ein dyfynnu mewn atebion AI o gwbl? Os na, gwrthodwch y botiau chwilio / atebion mawr a chymeradwywch rybudd Silktide. Os oes, parhewch.
  2. Pa gynorthwywyr sy'n bwysig? Mae gan ChatGPT, Claude, Perplexity, nodweddion Google AI, ac eraill eu hasiantaethau eu hunain. Blaenoriaethwch y rhai y mae eich prynwyr yn eu defnyddio mewn gwirionedd.
  3. A oes angen optio allan o hyfforddiant? Os yw'r gyfraith yn dweud ie, gwrthodwch asiantau hyfforddi (GPTBot, ClaudeBot, Google-Extended, CCBot, a chyfoedion) gan gadw asiantau chwilio wedi'u caniatáu lle mae'r gwerthwr yn cefnogi'r rhaniad.
  4. A oes llwybrau y mae'n rhaid iddynt aros yn breifat beth bynnag? \/app\/, \/internal\/, URLau rhagolwg drafft - gwrthodwch y rheini ar gyfer * (a chadarnhewch fod dilysu'n eu diogelu o hyd; nid rheolaeth mynediad yw robots.txt).
  5. A ellir nôl yr HTML mewn gwirionedd? Mae robots.txt ganiataol â chragen SPA wag yn dal i fethu AEO - trwsiwch y rendro nesaf.

Gweithredu'r polisi yn robots.txt

Mae robots.txt yn byw yn https://fernwood.example/robots.txt. Mae rheolau fesul grŵp asiant defnyddiwr. Mae grwpiau mwy penodol yn diystyru'r grŵp cyffredinol ar gyfer yr asiant hwnnw. Mae'n well gennych asiantau a enwir na gobeithio bod User-agent: * yn mynegi eich polisi AI - mae templedi sy'n gosod Disallow: / o dan * hefyd yn rhwystro Googlebot a phawb arall.

Patrwm A - Gweladwy mewn atebion, allan o hyfforddiant (cyffredin ar gyfer safleoedd sy'n canolbwyntio ar AEO)

# OpenAI: dyfynnwch yn chwiliad ChatGPT, peidiwch â defnyddio ar gyfer hyfforddi modelau sylfaen
User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

# Anthropic: caniatewch fynegeio chwilio; rhwystrwch gropian hyfforddi
User-agent: Claude-SearchBot
Allow: /

User-agent: ClaudeBot
Disallow: /

# Google: mae Googlebot (Chwilio) ar wahân; mae Google-Extended yn rheoli hyfforddiant Gemini / nodweddion AI
User-agent: Google-Extended
Disallow: /

# Cadwch lwybrau ap preifat ar gau i bawb
User-agent: *
Disallow: /app/
Disallow: /internal/

Mae OpenAI yn nodi y gall newidiadau robots.txt ar gyfer chwilio gymryd tua ~24 awr i ddod i rym. Gwiriwch eto ar ôl cyhoeddi.

Patrwm B - Cwbl agored (cyrhaeddiad mwyaf i beiriannau ateb)

Hepgorwch reolau Disallow sy'n benodol i AI. Sicrhewch nad oes dim o dan User-agent: * yn gwahardd y safle cyfan yn ddamweiniol. Diogelwch lwybrau preifat o hyd.

Patrwm C - Cwbl gaeedig i gynhyrchion AI

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Claude-SearchBot
Disallow: /

User-agent: Claude-User
Disallow: /

User-agent: PerplexityBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

Defnyddiwch hyn fel dewis ymwybodol yn unig. Yna rybudd cropianwyr AI Silktide fel bod y canfyddiad yn peidio â chyfrif yn erbyn y safle.

Gwiriwch pwy sy'n eich taro mewn gwirionedd

Mae llinynnau User-Agent yn hawdd iawn eu ffugio. Defnyddiwch restrau IP a gyhoeddir gan werthwyr pan fydd angen sicrwydd arnoch:

Mae blocio yn ôl IP yn unig, heb signal robots.txt, yn frau - mae Anthropic yn nodi y gall blociau IP ymyrryd â gallu'r bot i ddarllen eich robots.txt a chwblhau optio allan yn lân.

Yr hyn nad yw robots.txt yn ei drwsio

  • Canlyniadau positif ffug wal dân / rheoli botiau. Gall wal dân cymhwysiad gwe (WAF) - yr haen hidlo y mae gwasanaethau fel Cloudflare yn ei rhoi o flaen safle - sy'n herio neu'n dychwelyd 403 i gleientiaid "nad ydynt yn borwyr" flocio GPTBot hyd yn oed pan fo robots.txt yn ei ganiatáu. Mae Silktide yn profi hynny ar wahân fel cropianwyr AI wedi'u blocio yn ymarferol.
  • Cregyn JavaScript gwag. Nid yw caniatáu'r cropiwr i mewn i <div id="root"></div> yn helpu neb. Parwch y dechneg hon â Cynnwys y gellir ei ddarllen heb JavaScript.
  • Hwb safle hudol. Mae caniatáu cropianwyr yn gwneud dyfynnu'n bosibl. Mae tudalennau y gellir eu dyfynnu, dyddiadau, hunaniaeth a thystiolaeth yn dal i benderfynu a gewch eich dewis - gweler Strwythur tudalen sy'n rhoi ateb yn gyntaf a Marcio hunaniaeth sefydliad.
  • llms.txt fel eilydd. Ni all ffeil fynegai ddiystyru Disallow. Gweler llms.txt.

Sut mae Silktide yn helpu

  • Mae mynediad cropianwyr AI yn dosrannu robots.txt yn erbyn rhestr o asiantau defnyddiwr AI adnabyddus ac yn rhybuddio pan wrthodir gwraidd y safle - fel rhybudd y gallwch ei gymeradwyo pan fo'r bloc yn fwriadol.
  • Mae cropianwyr AI wedi'u blocio yn ymarferol yn nôl fel y cropianwyr hynny i ddal blociau wal dân ac ymyl na all robots.txt eu hegluro.
  • Mae Cynnwys heb JavaScript yn dal y modd methu "wedi'i ganiatáu ond yn wag".

Cysylltiedig

Diweddarwyd ddiwethaf

A oedd y dudalen hon yn ddefnyddiol?