Aller au contenu
SilktideAide

Accès des robots d’IA

Les assistants IA comme ChatGPT, Claude et Perplexity parcourent le web avec leurs propres robots automatisés. Silktide vérifie si votre site web indique à ces robots de rester à l’écart, ce qui signifie en général que les assistants IA ne peuvent pas lire, citer ni recommander votre contenu.

Les sites contrôlent l’accès des robots via un fichier . Une seule règle dans ce fichier peut exclure tous les principaux systèmes d’IA :

# Bloque le robot d’OpenAI sur l’ensemble du site
User-agent: GPTBot
Disallow: /

Bloquer les peut être un choix délibéré, par exemple pour se désinscrire de l’entraînement des modèles. Comme cela peut être intentionnel, Silktide signale ce point comme un avertissement que vous pouvez plutôt que comme une erreur confirmée.

Pourquoi c’est important

Une part croissante des internautes interroge un assistant IA plutôt qu’un moteur de recherche. Ces assistants ne peuvent décrire, citer et lier que vers les sites que leurs robots sont autorisés à lire. Si votre site les bloque, ce sont les contenus de vos concurrents qui alimentent les réponses à la place, et vous perdez des visiteurs sans jamais voir d’erreur.

Beaucoup de fichiers robots.txt bloquent les robots d’IA par inadvertance : les règles ont été copiées depuis un modèle ou un guide de durcissement de la sécurité, et personne n’a réalisé ce qu’elles excluaient. Ce contrôle met cela en évidence afin que le blocage soit une décision, pas un oubli.

Comment le corriger

  1. Ouvrez le fichier robots.txt de votre site (à https://yoursite.com/robots.txt) et repérez les règles qui nomment les robots bloqués, ou une règle User-agent: * avec Disallow: / qui bloque tout.
  2. Si le blocage est involontaire, supprimez ces règles ou restreignez-les aux chemins que vous souhaitez réellement garder privés, puis republiez le fichier :
# Avant : bloque l’ensemble du site
User-agent: GPTBot
Disallow: /

# Après : autorise le site, garde une zone privée
User-agent: GPTBot
Disallow: /internal/
  1. Si le blocage est délibéré — par exemple, vous ne voulez pas que votre contenu soit utilisé pour l’entraînement de l’IA — approuvez le constat. Notez que certains robots alimentent l’entraînement et d’autres les réponses en direct ; vous pouvez donc bloquer de manière sélective : autoriser OAI-SearchBot tout en bloquant GPTBot vous maintient visible dans la recherche de ChatGPT sans contribuer à l’entraînement.

Comment Silktide vérifie ce point

  1. Récupérer le fichier robots.txt à la racine de votre site.
  2. Si le fichier n’existe pas ou ne peut pas être récupéré, le contrôle est considéré comme réussi : pas de robots.txt signifie qu’aucun robot n’est bloqué.
  3. Analyser les règles et tester chacun d’une liste d’environ 20 user-agents de robots d’IA connus (dont GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended, Applebot-Extended et CCBot) sur la racine de votre site.
  4. Avertir lorsqu’un ou plusieurs de ces robots sont bloqués depuis la racine, en listant les robots bloqués.

Dépannage

Le contrôle réussit mais les assistants IA ne peuvent toujours pas lire mon site

Ce contrôle ne lit que vos règles robots.txt. Un robot autorisé sur le papier peut encore être bloqué en pratique par un pare-feu ou une protection anti-bots — voir Robots d’IA bloqués en pratique. Le contenu qui n’apparaît qu’après l’exécution de peut également être invisible pour les robots d’IA — voir Contenu disponible sans JavaScript.

Je bloque volontairement les robots d’IA

C’est un choix légitime. Approuvez le constat et il ne comptera pas contre votre site. Réfléchissez si vous voulez bloquer tous les robots d’IA ou seulement ceux utilisés pour l’entraînement des modèles.

En savoir plus

Dernière mise à jour

Cette page vous a-t-elle été utile ?