Blocage des robots d’IA

Silktide vérifie si les requêtes qui s’identifient comme les principaux robots d’IA atteignent réellement votre site web. Un site peut accueillir ces robots sur le papier tandis qu’un pare-feu ou un produit de sécurité les refoule à l’entrée.

Votre peut indiquer que les sont les bienvenus alors que votre pare-feu les refuse. Les et les produits de sécurité proposent des interrupteurs « bloquer les bots d’IA » en un clic — parfois activés par défaut — qui refusent toute requête s’identifiant comme GPTBot, ClaudeBot, PerplexityBot ou similaire, quel que soit ce que déclare robots.txt. Les propriétaires de site l’ignorent souvent : pour vous, le site fonctionne parfaitement, tandis que pour chaque assistant d’IA, il n’existe pas.

Pourquoi c’est important

Les assistants d’IA ne peuvent citer et recommander que le contenu que leurs robots peuvent récupérer. Un blocage au niveau du pare-feu est invisible à l’usage — votre site se charge dans tous les navigateurs, vos statistiques paraissent normales — mais les moteurs de réponse échouent silencieusement à vous lire et citent vos concurrents à la place. Comme rien ne génère d’erreur visible, c’est l’un des problèmes de visibilité les plus difficiles à repérer sans le tester directement.

Le contrôle distinct Accès des robots d’IA de Silktide couvre ce que déclare votre robots.txt. Le présent contrôle couvre ce qui se passe réellement sur le réseau. Les deux sont souvent en désaccord et, lorsqu’ils le sont, c’est le pare-feu qui l’emporte.

Comment corriger le problème

Vérifiez dans votre tableau de bord de CDN ou de sécurité la présence d’un blocage des bots d’IA. Dans Cloudflare, regardez sous Sécurité pour "AI bots" ou "Bot Fight Mode" ; d’autres fournisseurs tels qu’Akamai, Imperva et DataDome proposent des interrupteurs équivalents. Ceux-ci sont parfois activés par défaut.
Si le blocage est involontaire, désactivez l’interrupteur ou ajoutez les robots spécifiques que vous souhaitez autoriser à votre liste d’autorisation.
Si vous avez vos propres règles de pare-feu ou de serveur correspondant aux User-Agent de bots, supprimez les entrées relatives aux robots d’IA que vous souhaitez admettre.
Si vous bloquez délibérément les robots d’IA, le constat — c’est un choix légitime.

Comment Silktide teste cela

Envoyer une requête vers votre page d’accueil avec une identité de navigateur normale. Si cette requête est elle-même refusée ou soumise à un défi, le contrôle n’est pas applicable — rien ne peut être attribué à une discrimination envers les robots.
Envoyer à nouveau une requête vers la page d’accueil en s’identifiant comme chacun des principaux robots d’IA (GPTBot, ClaudeBot, PerplexityBot et CCBot), en utilisant les chaînes User-Agent que leurs opérateurs publient. Toutes les requêtes proviennent du même endroit ; toute différence de réponse est donc due à l’identité du robot.
Un robot est considéré comme bloqué lorsque sa requête reçoit un statut de refus net (par exemple 403 Forbidden, 429 Too Many Requests ou 503), une page de défi ou de qu’un robot ne peut pas résoudre, ou aucune réponse alors que la requête du navigateur a réussi.
Avertit lorsqu’un robot est refoulé, en listant lesquels.

Toutes les requêtes ne ciblent que la page d’accueil et ne sont exécutées qu’une fois par test.

Dépannage

Nous vérifions les robots par leur réseau, pas uniquement par leur nom

Certains sites n’acceptent que les requêtes provenant des adresses réseau vérifiées de l’opérateur du robot. La sonde de Silktide envoie l’identité publiée du robot depuis son propre réseau ; un tel site peut donc refuser la sonde tout en admettant le vrai robot. Cette configuration est bien plus rare qu’un blocage général basé sur l’identité ; si vous avez confirmé que vous l’utilisez, approuvez le constat.

Le contrôle réussit mais les assistants manquent quand même mon contenu

Passer la porte est nécessaire mais pas suffisant. Vérifiez que votre robots.txt autorise les robots d’IA (Accès des robots d’IA) et que votre contenu n’exige pas de pour apparaître (Contenu sans JavaScript).