robots.txt

Mae robots.txt yn ffeil testun plaen yng ngwraidd gwefan (er enghraifft https://example.com/robots.txt) sy'n dweud wrth gropianwyr awtomataidd pa rannau o'r wefan y cânt eu cyrchu.

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /

Mae pob rheol yn enwi cropiwr (neu * ar gyfer pob un) ac yn rhestru'r llwybrau y caniateir neu na chaniateir iddo ymweld â nhw. Mae peiriannau chwilio a chropianwyr AI yn gwirio'r ffeil hon cyn cyrchu tudalennau, felly gall un llinell Disallow wneud gwefan gyfan yn anweledig i gynorthwyydd AI — weithiau'n fwriadol, ond yn aml drwy ddamwain. Mae robots.txt yn rheoli cropian, nid mynegeio: nid yw rhwystro tudalen yma yn ei thynnu o ganlyniadau chwilio fel y mae noindex yn ei wneud, a gall hyd yn oed arwain at ganlyniad annymunol drwy guddio'r tag noindex ei hun.

Dysgu mwy

• Robots.txt introduction and guide - canllaw ymarferol Google
• RFC 9309: Robots Exclusion Protocol - safon ffurfiol yr IETF
• Cropianwyr AI
• Noindex