Téigh go dtí an t-ábhar
SilktideCabhair

Beartas rochtana do chraoltóirí IS

Is cumraíocht d'aon turas de (agus, uaireanta, den bhalla dóiteáin) é beartas rochtana do chraoltóirí IS a shonraíonn na córais IS a fhéadfaidh do leathanaigh phoiblí a fháil — agus cén cuspóir atá leis sin. Tá sé ag brath ar an gcás mar braitheann an freagra "ceart" ar cibé acu is mó atá imní ort faoi bheith luaite i bhfreagraí cúntóirí, ábhar a choinneáil amach as oiliúint samhlacha, nó an dá rud. An rud nach bhfuil ag brath ar an gcás ná caitheamh le teimpléad greamaithe "bac ar gach IS" amhail is gur céim neodrach chun slándáil a neartú atá ann. Tá iarmhairtí margaíochta ag an rogha sin.

Ar fud an leathanaigh seo, glac leis gur mian le Fernwood teacht chun cinn i bhfreagraí ChatGPT agus Claude faoi bhainistíocht costas, ach gurbh fhearr lena fhoireann dlí gan leathanaigh nua a chur le corpas oiliúna samhlacha bunaidh.

Baineann an teicníc seo le rochtain. Nuair a cheadaítear craoltóir isteach, ní mór dó HTML fíor a fháil fós — féach Ábhar atá inléite gan JavaScript — agus clúdaítear léarscáil choimeádta roghnach ar leithligh in llms.txt.

Cén fáth a mbraitheann sé seo ar an gcás

Ní úsáideann táirgí IS "róbat IS" aonair a thuilleadh. Scarann mórsholáthraithe craoltóirí de réir poist:

PostRóbait choitiantaÉifeacht an bhacainn
Oiliúint samhlachaGPTBot ó OpenAI, ClaudeBot ó Anthropic, CCBot ó Common Crawl, Google-Extended ó Google (rialú oiliúna / bunú Gemini — ní Googlebot)Tugann sé le fios nár cheart ábhar a úsáid le hoiliúint a chur ar fáil (nó, i gcás Google-Extended, chun Gemini a oiliúint / cumhacht a thabhairt do ghnéithe IS áirithe). Ní bhaineann sé seo, ann féin, tú de Chuardach Google clasaiceach.
Innéacsú cuardaigh / freagraíOAI-SearchBot ó OpenAI, Claude-SearchBot ó Anthropic, PerplexityBotLaghdaíonn nó baintear an incháilitheacht chun teacht chun cinn agus a bheith luaite i bhfreagraí ar nós cuardaigh an táirge sin.
Fáil a spreagann úsáideoirChatGPT-User ó OpenAI, Claude-User ó Anthropic, gníomhairí cosúla "d'iarr úsáideoir an URL seo"Rialaíonn sé fáil bheo nuair a dhíríonn duine an cúntóir ar leathanach. Tá rialacha éagsúla ag soláthraithe maidir le cibé acu a urramaítear robots.txt do na gníomhairí seo — seiceáil cáipéisíocht reatha an tsoláthraí sula nglacann tú leis go n-oibreoidh Disallow.

Luann cáipéisíocht craoltóirí OpenAI féin an neamhspleáchas go follasach: is féidir le stiúrthóir gréasáin OAI-SearchBot a cheadú chun teacht chun cinn i ngnéithe cuardaigh ChatGPT, agus GPTBot a dhícheadú ionas nach n-úsáidfear ábhar craolta le samhlacha bunaidh ginideacha a oiliúint. Déanann Anthropic an deighilt chéanna trí bhealach a cháipéisiú le haghaidh ClaudeBot (oiliúint), Claude-SearchBot (cáilíocht chuardaigh), agus Claude-User (aisghabháil faoi threoir úsáideora).

Mar sin, ní hé ceist an bheartais "IS: casta air nó as?" Is trí chinneadh ar leith iad seo ar cheart dóibh teacht le lamháltas riosca Fernwood agus le spriocanna AEO.

De ghnáth, ceadaigh craoltóirí cuardaigh/freagraí nuair:

  • Is mian leat go luafadh cúntóirí cáipéisí, taighde agus leathanaigh chomparáide Fernwood.
  • Tá iomaitheoirí le feiceáil sna freagraí sin cheana féin agus níl tusa.
  • Tá seiceáil Rochtain craoltóirí IS Silktide ag tabhairt rabhaidh mar gur chuir teimpléad bac ar gach rud trí thimpiste.

Cuir bac nó teorainn ar chraoltóirí oiliúna go minic nuair:

  • Cuireann beartas dlíthiúil nó branda cosc ar ábhar suímh a chur le hoiliúint samhlacha tríú páirtí.
  • Foilsíonn tú taighde dílsithe, loighic praghsála, nó ábhar gar do rochtain shrianta a chaithfidh fanacht amach as corpas oiliúna, fiú más mian leat luanna beo fós.

Cuir bac leathan nuair:

  • Tá an suíomh neamhphoiblí, i gcéim stáitsithe, nó níl cúis mhargaíochta aige a bheith i bhfreagraí cúntóirí (inlíon, comhéadan aipe amháin, tairseach comhpháirtithe).
  • Tá cinneadh comhfhiosach táirge déanta agat fanacht amach as freagraí IS go hiomlán — agus go bhfuil tú sásta an cainéal sin a chailleadh.

Conas cinneadh a dhéanamh (bileog oibre Fernwood)

Téigh tríothu seo in ord. Scríobh na freagraí síos; níl sa chomhad robots.txt ach ionchódú na bileoige oibre.

  1. An mian linn a bheith luaite i bhfreagraí IS ar chor ar bith? Mura mian, dícheadaigh na mór-róbait chuardaigh/freagraí agus ceadaigh rabhadh Silktide. Má mian, lean ar aghaidh.
  2. Cé na cúntóirí atá tábhachtach? Tá a ngníomhairí féin ag ChatGPT, Claude, Perplexity, gnéithe IS Google, agus eile. Tabhair tosaíocht do na cinn a úsáideann do cheannaitheoirí i ndáiríre.
  3. An bhfuil diúltú oiliúna riachtanach? Má deir an fhoireann dlí go bhfuil, dícheadaigh gníomhairí oiliúna (GPTBot, ClaudeBot, Google-Extended, CCBot, agus a gcomhghleacaithe) agus gníomhairí cuardaigh á gcoinneáil ceadaithe san áit a dtacaíonn an soláthraí leis an deighilt.
  4. An bhfuil cosáin ann nach mór fanacht príobháideach ar aon nós? \/app\/, \/internal\/, URLanna réamhamhairc dréachta — dícheadaigh iad sin do * (agus deimhnigh go gcosnaíonn fíordheimhniú iad fós; ní rialú rochtana é robots.txt).
  5. An féidir an HTML a fháil i ndáiríre? Teipeann ar AEO fós má bhíonn blaosc SPA folamh ann taobh le robots.txt ceadaitheach — deisigh rindreáil ina dhiaidh sin.

An beartas a chur i bhfeidhm in robots.txt

Tá robots.txt ag https://fernwood.example/robots.txt. Tá rialacha in aghaidh gach grúpa gníomhairí úsáideora. Sáraíonn grúpaí níos sonraí an uileghrúpa don ghníomhaire sin. B'fhearr gníomhairí ainmnithe ná a bheith ag súil go gcuirfidh User-agent: * do bheartas IS in iúl — cuireann teimpléid a shocraíonn Disallow: / faoi * bac freisin ar Googlebot agus ar gach duine eile.

Patrún A — Infheicthe i bhfreagraí, amach as oiliúint (coitianta do shuíomhanna atá dírithe ar AEO)

# OpenAI: lua i gcuardach ChatGPT, ná húsáid le haghaidh oiliúint samhlacha bunaidh
User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

# Anthropic: ceadaigh innéacsú cuardaigh; cuir bac ar chraoladh oiliúna
User-agent: Claude-SearchBot
Allow: /

User-agent: ClaudeBot
Disallow: /

# Google: tá Googlebot (Cuardach) ar leith; rialaíonn Google-Extended oiliúint Gemini / gnéithe IS
User-agent: Google-Extended
Disallow: /

# Coinnigh cosáin aipe príobháideacha dúnta do chách
User-agent: *
Disallow: /app/
Disallow: /internal/

Tugann OpenAI faoi deara go bhféadfadh sé thart ar 24 uair an chloig a ghlacadh sula dtiocfaidh athruithe robots.txt le haghaidh cuardaigh i bhfeidhm. Seiceáil arís tar éis foilsiú.

Patrún B — Oscailte go hiomlán (uasrochtain ar innill fhreagraí)

Fág rialacha Disallow a bhaineann go sonrach le IS ar lár. Cinntigh nach gcuireann aon rud faoi User-agent: * cosc ar an suíomh iomlán de thaisme. Cosain cosáin phríobháideacha fós.

Patrún C — Dúnta go hiomlán do tháirgí IS

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Claude-SearchBot
Disallow: /

User-agent: Claude-User
Disallow: /

User-agent: PerplexityBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

Ná húsáid é seo ach mar rogha chomhfhiosach. Ansin rabhadh craoltóra IS Silktide ionas nach n-áireofar an toradh i gcoinne an tsuímh a thuilleadh.

Fíoraigh cé atá ag bualadh ort i ndáiríre

Is furasta teaghráin User-Agent a bhréagnú. B'fhearr liostaí IP arna bhfoilsiú ag soláthraithe nuair a theastaíonn cinnteacht uait:

Tá bac bunaithe ar IP amháin, gan comhartha robots.txt, leochaileach — tugann Anthropic faoi deara go bhféadfadh bacainní IP cur isteach ar chumas an róbait do robots.txt a léamh agus diúltú a chomhlánú go glan.

An rud nach socraíonn robots.txt

  • Dearbhuithe dearfacha bréagacha ón mballa dóiteáin / bhainistíocht róbat. Is féidir le balla dóiteáin feidhmchláir ghréasáin (WAF) — an ciseal scagtha a chuireann seirbhísí cosúil le Cloudflare os comhair suímh — a thugann dúshlán nó 403 do chliaint "neamhbhrabhsálaí" bac a chur ar GPTBot fiú nuair a cheadaíonn robots.txt é. Déanann Silktide tástáil air sin ar leithligh mar Craoltóirí IS bactha go praiticiúil.
  • Blaoscanna folmha JavaScript. Ní chabhraíonn sé le duine ar bith an craoltóir a cheadú isteach i <div id="root"></div>. Péireáil an teicníc seo le Ábhar atá inléite gan JavaScript.
  • Treisiú draíochta rangaithe. Má cheadaítear craoltóirí, bíonn lua indéanta. Is iad leathanaigh intagartha, dátaí, aitheantas agus fianaise a chinneann fós cibé an roghnófar thú — féach Struchtúr leathanaigh atá dírithe ar fhreagraí agus Marcáil aitheantais eagraíochta.
  • llms.txt mar ionadach. Ní féidir le comhad innéacs Disallow a shárú. Féach llms.txt.

Mar a chabhraíonn Silktide

  • Déanann Rochtain craoltóirí IS robots.txt a pharsáil i gcoinne liosta de ghníomhairí úsáideora IS aitheanta agus tugann sé rabhadh nuair a bhíonn fréamh an tsuímh dícheadaithe — mar rabhadh is féidir leat a cheadú nuair atá an bac beartaithe.
  • Faigheann Craoltóirí IS bactha go praiticiúil ábhar mar na craoltóirí sin chun bacainní balla dóiteáin agus imeallacha nach féidir le robots.txt a mhíniú a aimsiú.
  • Aimsíonn Ábhar gan JavaScript an modh teipe "ceadaithe ach folamh".

Gaolmhar

Nuashonraithe go deireanach

An raibh an leathanach seo cabhrach?