Tekoälyindeksoijien käyttöoikeuskäytäntö

Tekoälyindeksoijien käyttöoikeuskäytäntö on harkittu -tiedoston (ja toisinaan palomuurin) määritys, joka kertoo, mitkä tekoälyjärjestelmät saavat hakea julkisia sivujasi – ja mihin tarkoitukseen. Se on tilannekohtainen, koska "oikea" vastaus riippuu siitä, pidätkö tärkeämpänä sitä, että avustajien vastaukset viittaavat sinuun, että sisältösi ei päädy mallien koulutukseen vai molempia. Se, mikä ei ole tilannekohtaista, on käsitellä liitettyä "estä kaikki tekoäly" -mallia neutraalina tietoturvan vahvistamistoimena. Valinnalla on markkinointivaikutuksia.

Oletetaan tällä sivulla, että Fernwood haluaa näkyä ChatGPT:n ja Clauden vastauksissa kulujen hallinnasta, mutta sen lakitiimi ei halua uusien sivujen päätyvän perusmallien koulutusaineistoihin.

Tämä tekniikka koskee käyttöoikeutta. Kun indeksoija on päästetty sisään, sen on silti saatava oikeaa HTML:ää – katso Sisältö luettavissa ilman JavaScriptiä – ja valinnainen, koottu kartta käsitellään erikseen kohdassa llms.txt.

Miksi tämä on tilannekohtaista

Tekoälytuotteet eivät enää käytä yhtä ainoaa "tekoälybottia". Suuret palveluntarjoajat jakavat indeksoijat tehtävittäin:

Tehtävä	Tyypilliset botit	Mitä estäminen tekee
Mallin koulutus	OpenAI `GPTBot`, Anthropic `ClaudeBot`, Common Crawl `CCBot`, Google `Google-Extended` (Geminin koulutuksen / pohjustuksen hallinta – ei Googlebot)	Ilmaisee, ettei sisältöä tulisi käyttää koulutukseen (tai Google-Extendedin tapauksessa Geminin kouluttamiseen / tiettyjen tekoälyominaisuuksien käyttämiseen). Ei yksinään poista sinua perinteisestä Google-hausta.
Haun / vastausten indeksointi	OpenAI `OAI-SearchBot`, Anthropic `Claude-SearchBot`, PerplexityBot	Vähentää tai poistaa mahdollisuuden näkyä ja tulla siteeratuksi kyseisen tuotteen hakutyylisissä vastauksissa.
Käyttäjän käynnistämä haku	OpenAI `ChatGPT-User`, Anthropic `Claude-User`, vastaavat "käyttäjä pyysi tätä URL-osoitetta" -agentit	Hallitsee reaaliaikaisia hakuja, kun henkilö osoittaa avustajalle sivun. Palveluntarjoajien käytännöt vaihtelevat sen suhteen, noudatetaanko robots.txt-tiedostoa näiden agenttien kohdalla – tarkista palveluntarjoajan ajantasaiset ohjeet, ennen kuin oletat `Disallow`-säännön toimivan.

OpenAI:n omassa indeksoijadokumentaatiossa todetaan erillisyys nimenomaisesti: verkkosivuston ylläpitäjä voi sallia OAI-SearchBot-botin näkyä ChatGPT:n hakuominaisuuksissa ja samalla estää GPTBot-botin, jotta indeksoitua sisältöä ei käytetä generatiivisten perusmallien kouluttamiseen. Anthropic kuvaa saman kolmijaon ClaudeBotille (koulutus), Claude-SearchBotille (haun laatu) ja Claude-Userille (käyttäjän ohjaama haku).

Käytäntökysymys ei siis ole "tekoäly: päällä vai pois?" Kyse on kolmesta erillisestä päätöksestä, joiden tulisi vastata Fernwoodin riskinsietoa ja AEO-tavoitteita.

Salli yleensä haku-/vastausindeksoijat, kun:

Haluat avustajien siteeraavan Fernwoodin dokumentaatiota, tutkimuksia ja vertailusivuja.
Kilpailijat näkyvät jo näissä vastauksissa, mutta sinä et.
Silktiden tekoälyindeksoijien käyttöoikeus -tarkistus varoittaa, koska malli esti kaiken vahingossa.

Estä tai rajoita usein koulutusindeksoijia, kun:

Laki- tai brändikäytäntö kieltää sivuston sisällön luovuttamisen kolmansien osapuolten mallien koulutukseen.
Julkaiset omistusoikeuden alaista tutkimusta, hinnoittelulogiikkaa tai kirjautumista lähes edellyttävää aineistoa, jonka on pysyttävä poissa koulutusaineistoista, vaikka haluaisit silti reaaliaikaisia viittauksia.

Estä laajasti, kun:

Sivusto ei ole julkinen, se on testiympäristö tai sillä ei ole markkinoinnillista syytä näkyä avustajien vastauksissa (intranet, pelkkä sovelluskäyttöliittymä, kumppaniportaali).
Olet tehnyt tietoisen tuotepäätöksen pysyä kokonaan poissa tekoälyvastauksista – ja olet valmis menettämään tämän kanavan.

Päätöksenteko (Fernwoodin työtaulukko)

Käy nämä läpi järjestyksessä. Kirjoita vastaukset muistiin; robots.txt-tiedosto on vain työtaulukon koodattu muoto.

Haluammeko ylipäätään tulla siteeratuiksi tekoälyvastauksissa? Jos emme, estä tärkeimmät haku-/vastausbotit ja hyväksy Silktiden varoitus. Jos kyllä, jatka.
Mitkä avustajat ovat tärkeitä? ChatGPT:llä, Claudella, Perplexityllä, Googlen tekoälyominaisuuksilla ja muilla on kullakin omat agenttinsa. Priorisoi ne, joita ostajasi todella käyttävät.
Vaaditaanko koulutuksesta kieltäytymistä? Jos lakitiimi vastaa kyllä, estä koulutusagentit (GPTBot, ClaudeBot, Google-Extended, CCBot ja vastaavat) mutta pidä hakuagentit sallittuina siellä, missä palveluntarjoaja tukee tätä jakoa.
Onko polkuja, joiden on pysyttävä yksityisinä joka tapauksessa? \/app\/, \/internal\/, luonnosten esikatselujen URL-osoitteet – estä ne kaikilta (*) ja varmista, että tunnistautuminen suojaa ne edelleen; robots.txt ei ole pääsynhallintaa.
Onko HTML todella haettavissa? Salliva robots.txt-tiedosto tyhjän SPA-kuoren kanssa epäonnistuu silti AEO:ssa – korjaa renderöinti seuraavaksi.

Käytännön toteutus robots.txt-tiedostossa

Robots.txt sijaitsee osoitteessa https:\/\/fernwood.example\/robots.txt. Säännöt ovat käyttäjäagenttiryhmäkohtaisia. Tarkemmat ryhmät ohittavat kyseisen agentin yleissäännön. Suosi nimettyjä agentteja sen sijaan, että toivoisit User-agent: * -määrityksen ilmaisevan tekoälykäytäntösi – mallit, jotka asettavat Disallow: \/ -säännön *-kohdan alle, haittaavat myös Googlebotia ja kaikkia muita.

Malli A – Näkyy vastauksissa, ei koulutuksessa (yleinen AEO-painotteisilla sivustoilla)

# OpenAI: siteeraa ChatGPT-haussa, älä käytä perusmallin koulutukseen
User-agent: OAI-SearchBot
Allow: \/

User-agent: GPTBot
Disallow: \/

# Anthropic: salli haun indeksointi; estä koulutusindeksointi
User-agent: Claude-SearchBot
Allow: \/

User-agent: ClaudeBot
Disallow: \/

# Google: Googlebot (haku) on erillinen; Google-Extended hallitsee Geminin koulutusta / tekoälyominaisuuksia
User-agent: Google-Extended
Disallow: \/

# Pidä yksityiset sovelluspolut suljettuina kaikilta
User-agent: *
Disallow: \/app\/
Disallow: \/internal\/

OpenAI huomauttaa, että robots.txt-tiedostoon tehtävien hakumuutosten voimaantulo voi kestää noin 24 tuntia. Tarkista uudelleen julkaisemisen jälkeen.

Malli B – Täysin avoin (paras näkyvyys vastauskoneissa)

Jätä tekoälykohtaiset Disallow-säännöt pois. Varmista, ettei mikään User-agent: * -kohdan alla vahingossa kiellä koko sivustoa. Suojaa silti yksityiset polut.

Malli C – Täysin suljettu tekoälytuotteilta

User-agent: GPTBot
Disallow: \/

User-agent: OAI-SearchBot
Disallow: \/

User-agent: ClaudeBot
Disallow: \/

User-agent: Claude-SearchBot
Disallow: \/

User-agent: Claude-User
Disallow: \/

User-agent: PerplexityBot
Disallow: \/

User-agent: Google-Extended
Disallow: \/

User-agent: CCBot
Disallow: \/

Käytä tätä vain tietoisena valintana. sitten Silktiden tekoälyindeksoijavaroitus, jotta havainto ei enää vaikuta sivuston tuloksiin.

Varmista, kuka sivustollesi todella tulee

User-Agent-merkkijonot on helppo väärentää. Kun tarvitset varmuutta, suosi palveluntarjoajien julkaisemia IP-luetteloita:

OpenAI julkaisee indeksoijien IP-osoitteet JSON-muodossa (OpenAI:n bottiohjeista linkitettynä).
Anthropic julkaisee indeksoijien IP-osoitteet osoitteessa claude.com/crawling/bots.json.

Pelkkä IP-osoitteella estäminen ilman robots.txt-signaalia on haavoittuva ratkaisu – Anthropic huomauttaa, että IP-estot voivat häiritä botin kykyä lukea robots.txt-tiedostosi ja toteuttaa kieltäytyminen asianmukaisesti.

Mitä robots.txt ei korjaa

Palomuurin / bottienhallinnan virheelliset positiiviset tulokset. Verkkosovelluspalomuuri (WAF) – suodatuskerros, jonka Cloudflaren kaltaiset palvelut sijoittavat sivuston eteen – voi pyytää vahvistusta "ei-selain"-asiakkailta tai palauttaa niille 403-virheen ja siten estää GPTBotin, vaikka robots.txt sallisi sen. Silktide testaa tämän erikseen käytännössä estettyinä tekoälyindeksoijina.
Tyhjät JavaScript-kuoret. Indeksoijan päästäminen <div id="root"></div>-elementtiin ei auta ketään. Yhdistä tämä tekniikka ohjeeseen Sisältö luettavissa ilman JavaScriptiä.
Taianomainen sijoitusparannus. Indeksoijien salliminen tekee siteerauksen mahdolliseksi. Siteerattavat sivut, päivämäärät, identiteetti ja todisteet ratkaisevat silti, valitaanko sinut – katso Vastauslähtöinen sivurakenne ja Organisaation identiteettimerkinnät.
llms.txt korvaavana ratkaisuna. Hakemistotiedosto ei voi ohittaa Disallow-sääntöä. Katso llms.txt.

Miten Silktide auttaa

Tekoälyindeksoijien käyttöoikeus jäsentää robots.txt-tiedoston tunnettujen tekoälykäyttäjäagenttien luetteloa vasten ja varoittaa, kun sivuston juuri on estetty – varoituksen voi hyväksyä, kun esto on tarkoituksellinen.
Käytännössä estettyjen tekoälyindeksoijien tarkistus hakee sivustoa näinä indeksoijina tunnistaakseen palomuuri- ja reunaverkkoestot, joita robots.txt ei selitä.
Sisältö ilman JavaScriptiä -tarkistus havaitsee "sallittu mutta tyhjä" -virhetilan.

Aiheeseen liittyvää

Tekoälyindeksoijien käyttöoikeus – Silktiden tarkistus, jota tämä tekniikka laajentaa
Sisältö luettavissa ilman JavaScriptiä
llms.txt – valinnainen koottu hakemisto, kun käyttöoikeus on ratkaistu
OpenAI:n indeksoijadokumentaatio
Anthropicin indeksoijadokumentaatio
Googlen indeksoijien yleiskatsaus (mukaan lukien Google-Extended)
robots.txt-määritys (RFC 9309)