robots.txt

robots.txt est un fichier texte brut à la racine d’un site Web (par exemple https://example.com/robots.txt) qui indique aux robots d’exploration automatisés quelles parties du site ils peuvent récupérer.

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /

Chaque règle nomme un robot d’exploration (ou * pour tous) et dresse la liste des chemins qu’il est autorisé ou interdit de visiter. Les moteurs de recherche et les robots d’IA consultent ce fichier avant de récupérer des pages, si bien qu’une simple ligne Disallow peut rendre un site entier invisible pour un assistant IA — parfois volontairement, souvent par accident. robots.txt régit l’exploration, pas l’indexation : bloquer une page ici ne la retire pas des résultats de recherche comme le fait noindex, et cela peut même se retourner contre vous en masquant la balise noindex elle‑même.

En savoir plus

• Introduction et guide sur robots.txt - le guide pratique de Google
• RFC 9309 : Robots Exclusion Protocol - la norme officielle de l’IETF
• Robots d’IA
• Noindex