Rhwystro ymlusgwyr AI

Mae Silktide yn profi a yw ceisiadau sy'n nodi eu hunain fel y prif ymlusgwyr AI yn cyrraedd eich gwefan mewn gwirionedd. Gall gwefan groesawu'r ymlusgwyr hyn ar bapur, tra bod wal dân neu gynnyrch diogelwch yn eu gwrthod wrth y drws.

Gall eich ddweud bod yn cael eu croesawu, tra bod eich wal dân yn eu gwrthod. Mae cynhyrchion a diogelwch yn cynnig switshis "rhwystro botiau AI" un clic - rhai wedi'u galluogi'n ddiofyn - sy'n gwrthod unrhyw gais sy'n nodi ei hun fel GPTBot, ClaudeBot, PerplexityBot, neu debyg, waeth beth mae robots.txt yn ei ddatgan. Yn aml, nid oes gan berchnogion gwefannau unrhyw syniad bod hyn ymlaen: i chi, mae'r wefan yn gweithio'n berffaith, ond i bob cynorthwyydd AI nid yw'n bodoli.

Pam mae hyn yn bwysig

Dim ond cynnwys y gall eu hymlysgwyr ei nôl y gall cynorthwywyr AI ei ddyfynnu a'i argymell. Mae rhwystr ar lefel wal dân yn anweledig wrth ei ddefnyddio fel arfer - mae eich gwefan yn llwytho'n iawn ym mhob porwr, mae eich dadansoddeg yn edrych yn iach - ac eto mae peiriannau atebion yn methu'n dawel â'ch darllen ac yn dyfynnu cystadleuwyr yn lle hynny. Gan nad oes dim yn rhoi gwall gweladwy, dyma un o'r problemau gwelededd anoddaf i'w sylwi heb brofi amdano'n uniongyrchol.

Mae gwiriad ar wahân Silktide o fynediad ymlusgwyr AI yn ymdrin â'r hyn mae eich robots.txt yn ei ddatgan. Mae'r gwiriad hwn yn ymdrin â'r hyn sy'n digwydd ar y rhwydwaith mewn gwirionedd. Yn aml, nid yw'r ddau yn cytuno, a phan nad ydynt, y wal dân sy'n ennill.

Sut i'w drwsio

Gwiriwch eich dangosfwrdd CDN neu ddiogelwch am rwystro botiau AI. Yn Cloudflare, edrychwch o dan Security am "AI bots" neu "Bot Fight Mode"; mae gan ddarparwyr eraill fel Akamai, Imperva, a DataDome switshis cyfatebol. Weithiau caiff y rhain eu galluogi'n ddiofyn.
Os yw'r rhwystr yn anfwriadol, trowch y switsh i ffwrdd neu ychwanegwch yr ymlusgwyr penodol rydych am eu caniatáu at eich rhestr ganiatáu.
Os oes gennych reolau wal dân neu weinydd eich hun sy'n cyfateb i asiantau defnyddwyr botiau, dilëwch y cofnodion ymlusgwyr AI rydych am eu derbyn.
Os ydych yn rhwystro ymlusgwyr AI yn fwriadol, y canfyddiad - mae'n ddewis dilys.

Sut mae Silktide yn profi hyn

Gofynnwch am eich hafan gan ddefnyddio hunaniaeth porwr arferol. Os caiff y cais hwnnw ei wrthod neu ei herio ei hun, nid yw'r gwiriad yn gymwys - ni ellir priodoli dim i wahaniaethu yn erbyn ymlusgwyr.
Gofynnwch am yr hafan eto gan nodi eich hun fel pob prif ymlusgwr AI (GPTBot, ClaudeBot, PerplexityBot, a CCBot), gan ddefnyddio'r llinynnau User-Agent y mae eu gweithredwyr yn eu cyhoeddi. Daw pob cais o'r un lle, felly mae unrhyw wahaniaeth yn yr ymateb oherwydd hunaniaeth yr ymlusgwr.
Cyfrwch ymlusgwr fel un sydd wedi'i rwystro pan fydd ei gais yn derbyn statws gwrthodiad llwyr (er enghraifft 403 Forbidden, 429 Too Many Requests, neu 503), her neu dudalen na all ymlusgwr ei datrys, neu ddim ymateb o gwbl tra llwyddodd y cais porwr.
Rhybuddiwch pan gaiff unrhyw ymlusgwr ei wrthod, gan restru pa rai.

Mae pob cais yn targedu'r hafan yn unig ac yn rhedeg unwaith fesul prawf.

Datrys problemau

Rydym yn gwirio ymlusgwyr yn ôl eu rhwydwaith, nid eu henw yn unig

Mae rhai gwefannau yn derbyn ceisiadau sy'n dod o gyfeiriadau rhwydwaith wedi'u gwirio gweithredwr ymlusgwr yn unig. Mae chwiliedydd Silktide yn anfon hunaniaeth gyhoeddedig yr ymlusgwr o'i rwydwaith ei hun, felly gall gwefan o'r fath wrthod y chwiliedydd wrth dderbyn yr ymlusgwr go iawn. Mae'r drefniant hwn yn llawer prinnach na rhwystro hunaniaeth gyffredinol; os ydych wedi cadarnhau eich bod yn ei ddefnyddio, cymeradwywch y canfyddiad.

Mae'r gwiriad yn pasio ond mae cynorthwywyr yn dal i fethu fy nghynnwys

Mae cyrraedd drwy'r drws yn angenrheidiol ond nid yn ddigonol. Gwiriwch fod eich robots.txt yn caniatáu ymlusgwyr AI (Mynediad ymlusgwyr AI) a nad yw eich cynnwys yn gofyn am i ymddangos (Cynnwys heb JavaScript).