Passer au contenu
SilktideAide

Accès des robots d’IA

Les assistants d’IA comme ChatGPT, Claude et Perplexity parcourent le Web à l’aide de leurs propres robots d’exploration automatisés. Silktide vérifie si votre site Web indique à ces robots de rester à l’écart, ce qui signifie généralement que les assistants d’IA ne peuvent pas lire, citer ou recommander votre contenu.

Les sites Web contrôlent l’accès des robots au moyen d’un fichier . Une seule règle dans ce fichier peut bloquer tous les principaux systèmes d’IA :

# Bloque le robot d’OpenAI pour l’ensemble du site
User-agent: GPTBot
Disallow: \/

Bloquer les peut être un choix délibéré, par exemple pour vous désinscrire de l’entraînement des modèles. Comme c’est parfois intentionnel, Silktide signale ceci comme un avertissement que vous pouvez approuver plutôt que comme une erreur confirmée.

Pourquoi c’est important

Une part croissante des personnes posent leurs questions à un assistant d’IA plutôt qu’à un moteur de recherche. Ces assistants ne peuvent décrire, citer et établir des liens que vers des sites Web que leurs robots sont autorisés à lire. Si votre site les bloque, ce sont les contenus de vos concurrents qui apparaîtront dans les réponses et vous perdrez des visiteurs sans jamais voir d’erreur.

Beaucoup de fichiers robots.txt bloquent les robots d’IA par accident : les règles ont été copiées à partir d’un modèle ou d’un guide de renforcement de la sécurité, et personne n’a réalisé ce qu’elles excluaient. Cette vérification met cela en évidence afin que le blocage soit une décision, et non un oubli.

Comment corriger

  1. Ouvrez le fichier robots.txt de votre site (à l’adresse https:\/\/yoursite.com\/robots.txt) et trouvez les règles qui nomment les robots bloqués, ou une règle User-agent: * avec Disallow: \/ qui bloque tout.
  2. Si le blocage est involontaire, supprimez ces règles ou restreignez-les aux chemins que vous souhaitez réellement garder privés, puis republiez le fichier :
# Avant : bloque l’ensemble du site
User-agent: GPTBot
Disallow: \/

# Après : autorise le site, conserve une zone privée
User-agent: GPTBot
Disallow: \/internal\/
  1. Si le blocage est délibéré — par exemple, vous ne voulez pas que votre contenu soit utilisé pour l’entraînement de l’IA — le constat. Notez que certains robots alimentent l’entraînement et d’autres les réponses en direct; vous pouvez donc bloquer de façon sélective : autoriser OAI-SearchBot tout en bloquant GPTBot vous garde visible dans la recherche de ChatGPT sans contribuer à l’entraînement.

Comment Silktide teste ceci

  1. Récupère le fichier robots.txt à la racine de votre site Web.
  2. Si le fichier n’existe pas ou ne peut pas être récupéré, la vérification réussit : pas de robots.txt signifie qu’aucun robot n’est bloqué.
  3. Analyse les règles et teste, à la racine de votre site, chacun des agents utilisateurs d’une liste d’une vingtaine de robots d’IA bien connus (y compris GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended, Applebot-Extended et CCBot).
  4. Avertit lorsqu’un ou plusieurs de ces robots sont bloqués depuis la racine, en énumérant les robots bloqués.

Dépannage

La vérification réussit, mais les assistants d’IA ne peuvent toujours pas lire mon site

Cette vérification ne lit que vos règles robots.txt. Un robot autorisé en théorie peut tout de même être bloqué en pratique par un pare-feu ou une protection contre les robots — voir Robots d’IA bloqués en pratique. Le contenu qui n’apparaît qu’après l’exécution de peut aussi être invisible pour les robots d’IA — voir Contenu accessible sans JavaScript.

Je bloque volontairement les robots d’IA

C’est un choix légitime. Approuvez le constat et cela n’aura pas d’incidence négative sur votre site. Réfléchissez à si vous souhaitez bloquer tous les robots d’IA ou seulement ceux utilisés pour l’entraînement des modèles.

En savoir plus

Dernière mise à jour

Cette page vous a-t-elle été utile?