Lokun á gervigreindarlesurum

Silktide prófar hvort beiðnir sem auðkenna sig sem helstu gervigreindarlesarana komist í raun í gegnum til vefsvæðisins þíns. Vefsvæði getur virst taka vel á móti þessum lesurum á pappírnum, á meðan eldveggur eða öryggisvara vísar þeim frá við dyrnar.

-skráin þín getur sagt að séu velkomnir á meðan eldveggurinn þinn hafnar þeim. - og öryggisvörur bjóða upp á rofa með einum smelli til að „loka á gervigreindarforrit“ – sumir þeirra eru sjálfgefið virkir – sem hafna öllum beiðnum sem auðkenna sig sem GPTBot, ClaudeBot, PerplexityBot eða eitthvað svipað, óháð því hvað robots.txt lýsir yfir. Eigendur vefsvæða vita oft ekki að þetta sé virkt: vefsvæðið virkar fullkomlega fyrir þér, en fyrir alla gervigreindaraðstoðarmenn er það ekki til.

Af hverju þetta skiptir máli

Gervigreindaraðstoðarmenn geta aðeins vitnað í og mælt með efni sem lesarar þeirra geta sótt. Lokun á eldveggsstigi er ósýnileg við venjulega notkun – vefsvæðið þitt hleðst eðlilega í öllum vöfrum og vefgreiningin þín lítur vel út – en svarvélar geta samt ekki lesið efnið þitt og vitna þess í stað í keppinauta. Þar sem engin sýnileg villa kemur upp er þetta eitt erfiðasta sýnileikavandamálið að taka eftir án þess að prófa það sérstaklega.

Aðskilin prófun Silktide á aðgengi gervigreindarlesara nær yfir það sem robots.txt-skráin þín lýsir yfir. Þessi prófun nær yfir það sem gerist í raun á netinu. Þessu tvennu ber oft ekki saman og þegar svo er hefur eldveggurinn yfirhöndina.

Hvernig á að laga þetta

Athugaðu stjórnborð CDN- eða öryggisþjónustunnar þinnar með tilliti til lokunar á gervigreindarforritum. Í Cloudflare skaltu leita undir Security að „AI bots“ eða „Bot Fight Mode“; aðrir þjónustuaðilar á borð við Akamai, Imperva og DataDome bjóða upp á sambærilega rofa. Þeir eru stundum virkir sjálfgefið.
Ef lokunin er óviljandi skaltu slökkva á rofanum eða bæta tilteknum lesurum sem þú vilt leyfa á leyfislistann þinn.
Ef þú ert með eigin eldvegg eða reglur á netþjóni sem passa við notendaauðkenni forrita skaltu fjarlægja færslur gervigreindarlesara sem þú vilt hleypa inn.
Ef þú lokar viljandi á gervigreindarlesara skaltu niðurstöðuna – það er réttmæt ákvörðun.

Hvernig Silktide prófar þetta

Við biðjum um heimasíðuna þína með venjulegu auðkenni vafra. Ef þeirri beiðni er sjálfri hafnað eða hún stöðvuð með áskorun á prófunin ekki við – ekkert er hægt að rekja til mismununar gagnvart lesurum.
Við biðjum aftur um heimasíðuna og auðkennum okkur sem hvern af helstu gervigreindarlesurunum (GPTBot, ClaudeBot, PerplexityBot og CCBot), með User-Agent-strengjunum sem rekstraraðilar þeirra birta. Allar beiðnir koma frá sama stað, þannig að allur munur á svari stafar af auðkenni lesarans.
Við teljum lesara lokaðan þegar beiðni hans fær beina höfnunarstöðukóða (til dæmis 403 Forbidden, 429 Too Many Requests eða 503), áskorun eða -síðu sem lesari getur ekki leyst, eða ekkert svar yfirleitt á meðan beiðni vafrans tókst.
Við látum vita þegar einhverjum lesara er vísað frá og sýnum hvaða lesarar það eru.

Allar beiðnir beinast eingöngu að heimasíðunni og eru keyrðar einu sinni í hverri prófun.

Úrræðaleit

Við sannreynum lesara út frá netkerfi þeirra, ekki aðeins nafni þeirra

Sum vefsvæði hleypa aðeins inn beiðnum sem koma frá staðfestum netföngum rekstraraðila lesara. Könnun Silktide sendir birt auðkenni lesarans úr eigin netkerfi og því getur slíkt vefsvæði hafnað könnuninni á meðan það hleypir hinum raunverulega lesara inn. Þessi uppsetning er mun sjaldgæfari en almenn lokun út frá auðkenni; ef þú hefur staðfest að þú notir hana skaltu samþykkja niðurstöðuna.

Prófunin stenst en aðstoðarmenn finna samt ekki efnið mitt

Að komast inn fyrir dyrnar er nauðsynlegt en ekki nægjanlegt. Athugaðu að robots.txt leyfi gervigreindarlesurum (aðgengi gervigreindarlesara) og að efnið þitt krefjist ekki til að birtast (Efni án JavaScript).