robots.txt

robots.txt es un archivo de texto plano en la raíz de un sitio web (por ejemplo, https://example.com/robots.txt) que indica a los rastreadores automatizados qué partes del sitio pueden rastrear.

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /

Cada regla nombra un rastreador (o * para todos ellos) y enumera las rutas que tiene permitido o prohibido visitar. Los motores de búsqueda y los rastreadores de IA consultan este archivo antes de rastrear páginas, por lo que una sola línea Disallow puede hacer que un sitio entero sea invisible para un asistente de IA —a veces de forma intencionada, a menudo por accidente—. robots.txt controla el rastreo, no la indexación: bloquear aquí una página no la elimina de los resultados de búsqueda como hace noindex, y hasta puede ser contraproducente al ocultar la propia etiqueta noindex.

Más información

• Introducción y guía de robots.txt - guía práctica de Google
• RFC 9309: Robots Exclusion Protocol - el estándar formal de la IETF
• Rastreadores de IA
• Noindex