Tekoälyindeksointirobottien estäminen

Silktide testaa, pääsevätkö suuriksi tekoälyindeksointiroboteiksi tunnistautuvat pyynnöt todella verkkosivustollesi. Sivusto voi toivottaa nämä indeksointirobotit tervetulleiksi periaatteessa, mutta palomuuri tai tietoturvatuote voi käännyttää ne ovella.

voi ilmoittaa, että ovat tervetulleita, vaikka palomuurisi torjuu ne. - ja tietoturvatuotteissa on yhden napsautuksen "estä tekoälybotit" -asetuksia – osa niistä on oletusarvoisesti käytössä – jotka torjuvat kaikki GPTBotiksi, ClaudeBotiksi, PerplexityBotiksi tai vastaavaksi tunnistautuvat pyynnöt riippumatta siitä, mitä robots.txt ilmoittaa. Sivuston omistajat eivät usein tiedä, että tämä on käytössä: sinulle sivusto toimii täydellisesti, mutta jokaiselle tekoälyavustajalle sitä ei ole olemassa.

Miksi tämä on tärkeää

Tekoälyavustajat voivat viitata vain sisältöön, jonka niiden indeksointirobotit voivat hakea, ja suositella vain sitä. Palomuuritason esto ei näy normaalissa käytössä – sivustosi latautuu hyvin kaikissa selaimissa ja analytiikkasi näyttää hyvältä – mutta vastauskoneet eivät huomaamatta pysty lukemaan sisältöäsi ja lainaavat sen sijaan kilpailijoita. Koska mitään näkyvää virhettä ei ilmene, tämä on yksi vaikeimmin havaittavista näkyvyysongelmista ilman suoraa testaamista.

Silktiden erillinen tekoälyindeksointirobottien pääsy -tarkistus kattaa sen, mitä robots.txt ilmoittaa. Tämä tarkistus kattaa sen, mitä verkossa todella tapahtuu. Ne ovat usein ristiriidassa keskenään, ja silloin palomuuri voittaa.

Korjaaminen

Tarkista CDN:n tai tietoturvapalvelun hallintapaneelista tekoälybottien esto. Cloudflaressa etsi Security-kohdasta "AI bots" tai "Bot Fight Mode"; muilla palveluntarjoajilla, kuten Akamailla, Impervalla ja DataDomella, on vastaavat asetukset. Nämä ovat joskus oletusarvoisesti käytössä.
Jos esto ei ole tarkoituksellinen, poista asetus käytöstä tai lisää ne tietyt indeksointirobotit, jotka haluat sallia, sallittujen luetteloon.
Jos käytössäsi on omia palomuuri- tai palvelinsääntöjä, jotka vastaavat bottien käyttäjäagentteja, poista niiden tekoälyindeksointirobottien merkinnät, jotka haluat päästää läpi.
Jos estät tekoälyindeksointirobotit tarkoituksella, havainto – se on perusteltu valinta.

Näin Silktide testaa tämän

Pyydä etusivu normaalilla selaintunnisteella. Jos tämä pyyntö itsessään torjutaan tai sille esitetään varmennushaaste, tarkistus ei sovellu – mitään ei voida katsoa indeksointirobottiin kohdistuvaksi syrjinnäksi.
Pyydä etusivu uudelleen tunnistautumalla kullakin suurella tekoälyindeksointirobotilla (GPTBot, ClaudeBot, PerplexityBot ja CCBot) käyttäen niiden ylläpitäjien julkaisemia User-Agent-merkkijonoja. Kaikki pyynnöt tulevat samasta paikasta, joten kaikki erot vastauksissa johtuvat indeksointirobotin tunnisteesta.
Indeksointirobotti katsotaan estetyksi, kun sen pyyntö saa suoran torjuntatilan (esimerkiksi 403 Forbidden, 429 Too Many Requests tai 503), varmennushaasteen tai -sivun, jota indeksointirobotti ei voi ratkaista, tai kun vastausta ei saada lainkaan, vaikka selainpyyntö onnistui.
Varoita, kun jokin indeksointirobotti käännytetään pois, ja luettele mitkä niistä.

Kaikki pyynnöt kohdistuvat vain etusivulle ja suoritetaan kerran testiä kohden.

Vianmääritys

Varmennamme indeksointirobotit niiden verkon, emme vain nimen, perusteella

Jotkin sivustot päästävät läpi vain pyynnöt, jotka tulevat indeksointirobotin ylläpitäjän varmennetuista verkko-osoitteista. Silktiden luotain lähettää indeksointirobotin julkaistun tunnisteen omasta verkostaan, joten tällainen sivusto voi torjua luotaimen, vaikka se päästäisi läpi oikean indeksointirobotin. Tämä määritys on paljon harvinaisempi kuin kaikkien tunnisteiden estäminen; jos olet varmistanut käyttäväsi sitä, hyväksy havainto.

Tarkistus onnistuu, mutta avustajat eivät silti löydä sisältöäni

Ovelta läpi pääseminen on välttämätöntä, mutta ei riittävää. Tarkista, että robots.txt sallii tekoälyindeksointirobotit (tekoälyindeksointirobottien pääsy) ja että sisältösi ei edellytä näkyäkseen (Sisältö ilman JavaScriptiä).