robots.txt

robots.txt on verkkosivuston juurihakemistossa oleva pelkkää tekstiä sisältävä tiedosto (esimerkiksi https://example.com/robots.txt), joka kertoo automaattisille hakuroboteille, mitä sivuston osia ne saavat hakea.

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /

Jokainen sääntö nimeää hakurobotin (tai *-merkin kaikkia varten) ja luettelee polut, joilla se saa tai ei saa vierailla. Hakukoneet ja tekoälyhakurobotit tarkistavat tämän tiedoston ennen sivujen hakemista, joten yksi Disallow-rivi voi tehdä koko sivustosta näkymättömän tekoälyavustajalle – joskus tarkoituksella, mutta usein vahingossa. robots.txt hallitsee indeksointia, ei indeksointitietokantaan lisäämistä: sivun estäminen täällä ei poista sitä hakutuloksista samalla tavoin kuin noindex, ja se voi jopa kääntyä itseään vastaan piilottamalla noindex-tunnisteen.

Lue lisää

• Johdanto robots.txt-tiedostoon ja opas - Googlen käytännön opas
• RFC 9309: Robots Exclusion Protocol - virallinen IETF-standardi
• Tekoälyhakurobotit
• Noindex