Rochtain do chraoltóirí IS
Léann cúntóirí IS amhail ChatGPT, Claude agus Perplexity an gréasán ag úsáid a gcraoltóirí uathoibrithe féin. Seiceálann Silktide an ndeir do shuíomh gréasáin leis na craoltóirí sin fanacht amach, rud a chiallaíonn de ghnáth nach féidir le cúntóirí IS d’inneachar a léamh, a lua ná a mholadh.
Rialaíonn suíomhanna gréasáin rochtain craoltóirí trí chomhad . Is féidir le riail aonair sa chomhad sin gach mórchóras IS a choinneáil amach:
# Cuireann sé bac ar chraoltóir OpenAI ón suíomh iomlán
User-agent: GPTBot
Disallow: \/
D’fhéadfadh sé gur rogha d’aon ghnó é bac a chur ar , mar shampla chun tarraingt siar ó oiliúint samhla. Ós rud é go mbíonn sé d’aon ghnó uaireanta, tuairiscíonn Silktide é seo mar rabhadh ar féidir leat a cheadú seachas mar earráid dheimhnithe.
Cén fáth a bhfuil tábhacht leis seo
Cuireann sciar méadaitheach daoine ceist ar chúntóir IS in ionad inneall cuardaigh. Ní féidir leis na cúntóirí sin cur síos a dhéanamh ar shuíomhanna gréasáin, iad a lua ná nasc a dhéanamh leo ach amháin má cheadaítear dá gcaoltóirí iad a léamh. Má chuireann do shuíomh bac orthu, líonann inneachar iomaitheoirí na freagraí ina n-ionad, agus caillfidh tú cuairteoirí gan earráid a fheiceáil riamh.
Cuireann go leor comhad robots.txt bac ar chraoltóirí IS de thaisme: cóipeáladh na rialacha ó theimpléad nó ó threoir chruaithe slándála, agus níor thuig aon duine cad a d’eisiaigh siad. Cuireann an seiceáil seo é sin chun solais, ionas gur cinneadh atá sa bhac, ní rud a ndearnadh dearmad air.
Conas é a cheartú
- Oscail comhad robots.txt do shuímh (ag
https:\/\/yoursite.com\/robots.txt) agus aimsigh na rialacha a ainmníonn na craoltóirí a bhfuil bac orthu, nó riailUser-agent: *leDisallow: \/a chuireann bac ar gach rud. - Mura raibh an bac d’aon ghnó, bain na rialacha sin nó cúngaigh iad go dtí na conairí is mian leat a choinneáil príobháideach i ndáiríre, agus ansin foilsigh an comhad arís:
# Roimhe seo: cuireann sé bac ar an suíomh iomlán
User-agent: GPTBot
Disallow: \/
# Ina dhiaidh: ceadaíonn sé an suíomh, ach coinníonn sé limistéar amháin príobháideach
User-agent: GPTBot
Disallow: \/internal\/
- Más d’aon ghnó atá an bac — mar shampla, mura mian leat d’inneachar a úsáid
le haghaidh oiliúint IS — an toradh.
Tabhair faoi deara go gcuireann roinnt craoltóirí le hoiliúint agus go
gcuireann cinn eile freagraí beo ar fáil, mar sin is féidir leat bac a chur
go roghnach freisin: má cheadaítear
OAI-SearchBotagus bac á chur arGPTBot, fanann tú le feiceáil i gcuardach ChatGPT gan cur le hoiliúint.
Mar a thástálann Silktide é seo
- Faigh an comhad robots.txt ó fhréamh do shuímh gréasáin.
- Mura bhfuil an comhad ann nó mura féidir é a fháil, éiríonn leis an seiceáil: ciallaíonn easpa robots.txt nach bhfuil bac ar aon chraoltóir.
- Parsáil na rialacha agus tástáil gach ceann de liosta de thart ar 20 gníomhaire úsáideora craoltóra IS aitheanta (lena n-áirítear GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended, Applebot-Extended agus CCBot) i gcoinne fhréamh do shuímh.
- Tabhair rabhadh nuair atá bac ar chraoltóir amháin nó níos mó díobh seo ón bhfréamh, agus liostaigh na craoltóirí a bhfuil bac orthu.
Fabhtcheartú
Éiríonn leis an seiceáil ach ní féidir le cúntóirí IS mo shuíomh a léamh fós
Ní léann an seiceáil seo ach do rialacha robots.txt. Is féidir go gcuirfidh balla dóiteáin nó cosaint in aghaidh botaí bac fós, i gcleachtas, ar chraoltóir a cheadaítear ar pháipéar — féach Craoltóirí IS bactha i gcleachtas. D’fhéadfadh inneachar nach dtagann chun solais ach amháin tar éis do rith a bheith dofheicthe do chraoltóirí IS freisin — féach Inneachar ar fáil gan JavaScript.
Cuirim bac ar chraoltóirí IS d’aon ghnó
Is rogha dhlisteanach í sin. Ceadaigh an toradh agus ní áireofar é i gcoinne do shuímh. Smaoinigh ar mhaith leat bac a chur ar gach craoltóir IS nó ar na cinn a úsáidtear le haghaidh oiliúint samhla amháin.
Tuilleadh eolais
- Beartas rochtana craoltóirí IS - botaí oiliúna vs cuardaigh vs beirthe ag úsáideoirí, agus patrúin shamplacha robots.txt
- Inneachar inléite gan JavaScript - nuair a cheadaítear an craoltóir isteach ach nach féidir leis d’inneachar a fheiceáil fós
- llms.txt - innéacs roghnach coimeádta do uirlisí IS (ní ionadach é ar chraoltóirí a cheadú)
- Craoltóirí IS bactha i gcleachtas
- Inneachar ar fáil gan JavaScript
- Doiciméadú craoltóirí OpenAI
- Doiciméadú Google-Extended
- Sonraíocht robots.txt (RFC 9309)