Saltar al contenido
SilktideAyuda

Acceso de los rastreadores de IA

Los asistentes de IA como ChatGPT, Claude y Perplexity leen la web con sus propios rastreadores automáticos. Silktide comprueba si tu sitio web indica a esos rastreadores que se mantengan fuera, lo que por lo general significa que los asistentes de IA no pueden leer, citar ni recomendar tu contenido.

Los sitios web controlan el acceso de los rastreadores mediante un archivo . Una sola regla en ese archivo puede excluir a todos los sistemas de IA principales:

# Bloquea el rastreador de OpenAI en todo el sitio
User-agent: GPTBot
Disallow: \/

Bloquear puede ser una decisión deliberada, por ejemplo para excluirte del entrenamiento de modelos. Como a veces es intencionado, Silktide informa de ello como una advertencia que puedes aprobar en lugar de un error confirmado.

Por qué es importante

Cada vez más personas consultan a un asistente de IA en lugar de a un motor de búsqueda. Esos asistentes solo pueden describir, citar y enlazar a sitios web que sus rastreadores tienen permiso para leer. Si tu sitio los bloquea, el contenido de la competencia ocupará las respuestas y perderás visitantes sin que aparezca ningún error.

Muchos archivos robots.txt bloquean rastreadores de IA por accidente: se copiaron reglas de una plantilla o de una guía de refuerzo de seguridad y nadie se dio cuenta de lo que excluían. Esta comprobación lo hace visible para que el bloqueo sea una decisión y no un descuido.

Cómo solucionarlo

  1. Abre el archivo robots.txt de tu sitio (en https:\/\/yoursite.com\/robots.txt) y busca las reglas que mencionan a los rastreadores bloqueados, o una regla User-agent: * con Disallow: \/ que lo bloquea todo.
  2. Si el bloqueo no es intencionado, elimina esas reglas o restríngelas a las rutas que realmente quieres mantener privadas y vuelve a publicar el archivo:
# Antes: bloquea todo el sitio
User-agent: GPTBot
Disallow: \/

# Después: permite el sitio y mantiene un área privada
User-agent: GPTBot
Disallow: \/internal\/
  1. Si el bloqueo es deliberado —por ejemplo, no quieres que tu contenido se use para entrenar IA— el hallazgo. Ten en cuenta que algunos rastreadores alimentan el entrenamiento y otros las respuestas en tiempo real, así que puedes bloquear de forma selectiva: permitir OAI-SearchBot mientras bloqueas GPTBot te mantiene visible en la búsqueda de ChatGPT sin contribuir al entrenamiento.

Cómo lo prueba Silktide

  1. Obtiene el archivo robots.txt desde la raíz de tu sitio web.
  2. Si el archivo no existe o no se puede obtener, la comprobación pasa: sin robots.txt no hay ningún rastreador bloqueado.
  3. Analiza las reglas y prueba contra la raíz de tu sitio cada uno de una lista de unos 20 agentes de usuario de rastreadores de IA conocidos (incluidos GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended, Applebot-Extended y CCBot).
  4. Advierte cuando uno o más de estos rastreadores estén bloqueados desde la raíz, indicando cuáles son.

Resolución de problemas

La comprobación pasa, pero los asistentes de IA siguen sin poder leer mi sitio

Esta comprobación solo lee tus reglas de robots.txt. Un rastreador que esté permitido sobre el papel aún puede quedar bloqueado en la práctica por un firewall o una protección antibots; consulta Rastreadores de IA bloqueados en la práctica. El contenido que solo aparece después de ejecutar también puede ser invisible para los rastreadores de IA; consulta Contenido disponible sin JavaScript.

Bloqueo los rastreadores de IA a propósito

Es una elección legítima. Aprueba el hallazgo y no contará en contra de tu sitio. Valora si quieres bloquear todos los rastreadores de IA o solo los que se usan para el entrenamiento de modelos.

Más información

Última actualización

¿Le ha resultado útil esta página?