robots.txt

Is comhad gnáth-théacs é robots.txt ag fréamh suíomh gréasáin (mar shampla, https://example.com/robots.txt) a insíonn do chraoltóirí uathoibrithe cé na codanna den suíomh is ceadmhach dóibh a fháil.

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /

Ainmnítear craoltóir i ngach riail (nó * dóibh uile) agus liostaítear na cosáin a bhfuil cead acu nó nach bhfuil cead acu cuairt a thabhairt orthu. Seiceálann innill chuardaigh agus craoltóirí IS an comhad seo sula bhfaigheann siad leathanaigh, mar sin is féidir le líne amháin Disallow suíomh iomlán a dhéanamh dofheicthe do chúntóir IS — d’aon ghnó uaireanta, ach de thaisme go minic. Rialaíonn robots.txt craobhscaoileadh, ní hinnéacsú: ní bhaintear leathanach de thorthaí cuardaigh má chuirtear bac air anseo, mar a dhéanann noindex, agus d’fhéadfadh sé dul chun dochair fiú tríd an gclib noindex féin a cheilt.

Tuilleadh eolais

• Réamhrá agus treoir robots.txt - treoir phraiticiúil Google
• RFC 9309: Robots Exclusion Protocol - caighdeán foirmiúil an IETF
• Craoltóirí IS
• Noindex