Fara í efni
SilktideHjálp

Aðgangur gervigreindarskriðara

Gervigreindaraðstoðarmenn á borð við ChatGPT, Claude og Perplexity lesa vefinn með eigin sjálfvirkum skriðurum. Silktide athugar hvort vefsvæðið þitt segi þessum skriðurum að halda sig í burtu, sem þýðir yfirleitt að gervigreindaraðstoðarmenn geta ekki lesið, vitnað í eða mælt með efninu þínu.

Vefsvæði stjórna aðgangi skriðara með skránni . Ein regla í þeirri skrá getur lokað á öll helstu gervigreindarkerfin:

# Lokar á skriðara OpenAI af öllu vefsvæðinu
User-agent: GPTBot
Disallow: \/

Að loka á getur verið meðvituð ákvörðun, til dæmis til að hafna þátttöku í þjálfun líkana. Þar sem þetta er stundum gert af ásetningi skráir Silktide þetta sem viðvörun sem þú getur samþykkt, en ekki sem staðfesta villu.

Hvers vegna þetta skiptir máli

Sífellt fleiri spyrja gervigreindaraðstoðarmann í stað leitarvélar. Þessir aðstoðarmenn geta aðeins lýst vefsvæðum, vitnað í þau og tengt á þau ef skriðarar þeirra hafa leyfi til að lesa þau. Ef vefsvæðið þitt lokar á þá fyllist svarið þess í stað af efni keppinauta og þú missir gesti án þess að sjá nokkurn tíma villu.

Margar robots.txt-skrár loka fyrir gervigreindarskriðara fyrir slysni: reglurnar voru afritaðar úr sniðmáti eða leiðbeiningum um hertu öryggi og enginn áttaði sig á því hverju þær lokuðu á. Þessi prófun bendir á það svo lokunin sé meðvituð ákvörðun en ekki yfirsjón.

Hvernig á að laga þetta

  1. Opnaðu robots.txt-skrá vefsvæðisins þíns (á https:\/\/yoursite.com\/robots.txt) og finndu reglurnar sem nefna skriðarana sem er lokað á, eða User-agent: * reglu með Disallow: \/ sem lokar á allt.
  2. Ef lokunin er óviljandi skaltu fjarlægja þessar reglur eða takmarka þær við slóðirnar sem þú vilt raunverulega hafa lokaðar og birta síðan skrána aftur:
# Fyrir: lokar á allt vefsvæðið
User-agent: GPTBot
Disallow: \/

# Eftir: leyfir aðgang að vefsvæðinu en heldur einu svæði lokuðu
User-agent: GPTBot
Disallow: \/internal\/
  1. Ef lokunin er meðvituð – til dæmis vegna þess að þú vilt ekki að efnið þitt sé notað til að þjálfa gervigreind – skaltu niðurstöðuna. Hafðu í huga að sumir skriðarar senda gögn í þjálfun en aðrir í svör í rauntíma, þannig að þú getur líka lokað sértækt: með því að leyfa OAI-SearchBot en loka á GPTBot heldurðu sýnileika í ChatGPT-leit án þess að leggja efni til þjálfunar.

Hvernig Silktide prófar þetta

  1. Sækir robots.txt-skrána úr rót vefsvæðisins þíns.
  2. Ef skráin er ekki til eða ekki er hægt að sækja hana stenst prófunin: án robots.txt er engum skriðara lokað.
  3. Les reglurnar og prófar hvern notandaefnisstreng úr lista yfir um 20 þekkta gervigreindarskriðara (þar á meðal GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended, Applebot-Extended og CCBot) gagnvart rót vefsvæðisins þíns.
  4. Gefur viðvörun þegar einum eða fleiri þessara skriðara er lokað frá rótinni og telur upp þá skriðara sem er lokað á.

Úrræðaleit

Prófunin stenst en gervigreindaraðstoðarmenn geta samt ekki lesið vefsvæðið mitt

Þessi prófun les aðeins reglurnar í robots.txt. Skriðari sem hefur leyfi á pappír getur samt verið lokaður í reynd af eldvegg eða vörn gegn vélmennum – sjá Gervigreindarskriðarar lokaðir í reynd. Efni sem birtist aðeins eftir að keyrir getur einnig verið ósýnilegt gervigreindarskriðurum – sjá Efni aðgengilegt án JavaScript.

Ég loka viljandi á gervigreindarskriðara

Það er lögmæt ákvörðun. Samþykktu niðurstöðuna og hún mun ekki teljast á móti vefsvæðinu þínu. Íhugaðu hvort þú viljir loka á alla gervigreindarskriðara eða einvörðungu þá sem eru notaðir til að þjálfa líkön.

Frekari upplýsingar

Síðast uppfært

Var þessi síða gagnleg?

Aðgangur gervigreindarskriðara | Hjálp Silktide