Siirry sisältöön
SilktideOhje

Tekoälyhakurobottien pääsy

Tekoälyavustajat, kuten ChatGPT, Claude ja Perplexity, lukevat verkkoa omien automaattisten hakurobottiensa avulla. Silktide tarkistaa, kertooko verkkosivustosi näille hakuroboteille, että niiden tulee pysyä poissa, mikä yleensä tarkoittaa, etteivät tekoälyavustajat voi lukea, lainata tai suositella sisältöäsi.

Verkkosivustot hallitsevat hakurobottien pääsyä -tiedoston avulla. Yksi sääntö kyseisessä tiedostossa voi estää kaikkien merkittävien tekoälyjärjestelmien pääsyn:

# Estää OpenAI:n hakurobotin pääsyn koko verkkosivustolle
User-agent: GPTBot
Disallow: \/

estäminen voi olla tietoinen valinta esimerkiksi mallikoulutuksesta kieltäytymiseksi. Koska se on toisinaan tarkoituksellista, Silktide ilmoittaa tästä varoituksena, jonka voit hyväksyä, eikä vahvistettuna virheenä.

Miksi tämä on tärkeää

Yhä useampi ihminen kysyy tekoälyavustajalta hakukoneen sijaan. Nämä avustajat voivat kuvailla, lainata ja linkittää vain sellaisia verkkosivustoja, joita niiden hakurobotit saavat lukea. Jos verkkosivustosi estää ne, kilpailijoiden sisältö täyttää vastaukset sen sijaan, ja menetät kävijöitä näkemättä koskaan virhettä.

Monet robots.txt-tiedostot estävät tekoälyhakurobotit vahingossa: säännöt on kopioitu mallista tai tietoturvan vahvistusoppaasta, eikä kukaan huomannut, mitä ne sulkevat pois. Tämä tarkistus tuo asian esiin, jotta esto on päätös eikä huomaamatta jäänyt asia.

Korjaaminen

  1. Avaa verkkosivustosi robots.txt-tiedosto (osoitteessa https:\/\/yoursite.com\/robots.txt) ja etsi estettyjen hakurobottien nimet sisältävät säännöt tai User-agent: * -sääntö, jossa Disallow: \/ estää kaiken.
  2. Jos esto ei ole tarkoituksellinen, poista kyseiset säännöt tai rajaa ne polkuihin, jotka haluat aidosti pitää yksityisinä, ja julkaise tiedosto sitten uudelleen:
# Ennen: estää koko verkkosivuston
User-agent: GPTBot
Disallow: \/

# Jälkeen: sallii verkkosivuston, pitää yhden alueen yksityisenä
User-agent: GPTBot
Disallow: \/internal\/
  1. Jos esto on tarkoituksellinen – esimerkiksi et halua sisältöäsi käytettävän tekoälyn kouluttamiseen – havainto. Huomaa, että jotkin hakurobotit palvelevat koulutusta ja toiset reaaliaikaisia vastauksia, joten voit myös estää niitä valikoivasti: OAI-SearchBot-hakurobotin salliminen ja GPTBot-hakurobotin estäminen pitää sinut näkyvillä ChatGPT-haussa osallistumatta koulutukseen.

Miten Silktide testaa tämän

  1. Hakee robots.txt-tiedoston verkkosivustosi juuresta.
  2. Jos tiedostoa ei ole tai sitä ei voida hakea, tarkistus menee läpi: ilman robots.txt-tiedostoa yhtäkään hakurobottia ei estetä.
  3. Jäsentää säännöt ja testaa verkkosivustosi juurta noin 20 tunnetun tekoälyhakurobotin käyttäjäagentin luetteloa vasten (mukaan lukien GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended, Applebot-Extended ja CCBot).
  4. Varoittaa, kun yhdeltä tai useammalta näistä hakuroboteista on estetty pääsy juureen, ja luettelee estetyt hakurobotit.

Vianmääritys

Tarkistus menee läpi, mutta tekoälyavustajat eivät silti voi lukea verkkosivustoani

Tämä tarkistus lukee vain robots.txt-sääntösi. Hakurobotti, joka on teoriassa sallittu, voidaan silti estää käytännössä palomuurilla tai bottisuojauksella – katso tekoälyhakurobotit estetty käytännössä. Sisältö, joka näkyy vasta suorittamisen jälkeen, voi myös olla näkymätöntä tekoälyhakuroboteille – katso Sisältö saatavilla ilman JavaScriptiä.

Estän tekoälyhakurobotit tarkoituksella

Se on perusteltu valinta. Hyväksy havainto, eikä sitä lasketa verkkosivustoasi vastaan. Harkitse, haluatko estää kaikki tekoälyhakurobotit vai vain ne, joita käytetään mallikoulutukseen.

Lue lisää

Viimeksi päivitetty

Oliko tästä sivusta apua?