robots.txt

robots.txt er einföld textaskrá í rót vefsvæðis (til dæmis https://example.com/robots.txt) sem segir sjálfvirkum vefskriðlum hvaða hluta vefsvæðisins þeir mega sækja.

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /

Hver regla nefnir vefskriðil (eða * fyrir þá alla) og telur upp slóðir sem honum er heimilt eða óheimilt að heimsækja. Leitarvélar og gervigreindarskriðlar skoða þessa skrá áður en þær sækja síður, þannig að ein Disallow-lína getur gert heilt vefsvæði ósýnilegt aðstoðarmanni – stundum viljandi en oft fyrir slysni. robots.txt stjórnar skriðsöfnun, ekki skráningu: að loka á síðu hér fjarlægir hana ekki úr leitarniðurstöðum eins og noindex gerir og getur jafnvel haft öfug áhrif með því að fela noindex-merkið sjálft.

Frekari upplýsingar

• Robots.txt introduction and guide – hagnýt leiðbeining Google
• RFC 9309: Robots Exclusion Protocol – formlegi IETF-staðallinn
• Gervigreindarskriðlar
• Noindex