Blocage des robots d’IA

Silktide teste si les requêtes qui s’identifient comme les principaux robots d’IA arrivent réellement jusqu’à votre site Web. Un site peut accueillir ces robots sur le papier tandis qu’un pare-feu ou un produit de sécurité les repousse à la porte.

Votre peut indiquer que les sont les bienvenus, tandis que votre pare-feu les refuse. Les produits de et de sécurité proposent des interrupteurs « bloquer les robots d’IA » en un clic — certains activés par défaut — qui refusent toute requête s’identifiant comme GPTBot, ClaudeBot, PerplexityBot ou similaire, peu importe ce que déclare robots.txt. Les propriétaires de sites ignorent souvent que c’est activé : pour vous, le site fonctionne parfaitement, alors que pour chaque assistant d’IA, il n’existe pas.

Pourquoi c’est important

Les assistants d’IA ne peuvent citer et recommander que le contenu que leurs robots peuvent récupérer. Un blocage au niveau du pare-feu est invisible à l’usage normal — votre site se charge sans problème dans tous les navigateurs, vos données d’analytique semblent saines — pourtant les moteurs de réponse échouent silencieusement à vous lire et citent plutôt des concurrents. Comme rien ne tombe visiblement en panne, c’est l’un des problèmes de visibilité les plus difficiles à remarquer sans le tester directement.

Le contrôle distinct Accès des robots d’IA de Silktide couvre ce que votre robots.txt déclare. Celui-ci couvre ce qui se passe réellement sur le réseau. Les deux sont souvent en désaccord, et quand c’est le cas, le pare-feu l’emporte.

Comment le corriger

Vérifiez dans le tableau de bord de votre CDN ou de votre solution de sécurité s’il y a un blocage des robots d’IA. Dans Cloudflare, regardez sous Sécurité pour « AI bots » ou « Bot Fight Mode »; d’autres fournisseurs comme Akamai, Imperva et DataDome ont des options équivalentes. Celles-ci sont parfois activées par défaut.
Si le blocage est involontaire, désactivez l’interrupteur ou ajoutez les robots spécifiques que vous voulez autoriser à votre liste d’autorisation (allowlist).
Si vous avez vos propres règles de pare-feu ou de serveur qui ciblent les agents utilisateurs (User-Agent), retirez les entrées concernant les robots d’IA que vous souhaitez admettre.
Si vous bloquez délibérément les robots d’IA, le constat — c’est un choix légitime.

Comment Silktide le teste

Effectuez une requête vers votre page d’accueil avec une identité de navigateur normale. Si cette requête est elle-même refusée ou soumise à un défi, le contrôle ne s’applique pas — rien ne peut être attribué à une discrimination envers les robots.
Effectuez de nouveau la requête vers la page d’accueil en vous identifiant comme chacun des principaux robots d’IA (GPTBot, ClaudeBot, PerplexityBot et CCBot), en utilisant les chaînes User-Agent publiées par leurs opérateurs. Toutes les requêtes proviennent du même endroit; toute différence de réponse est donc due à l’identité du robot.
Considérez un robot comme bloqué lorsque sa requête reçoit un code de refus net (par exemple 403 Forbidden, 429 Too Many Requests ou 503), un défi ou une page de qu’un robot ne peut pas résoudre, ou aucune réponse du tout alors que la requête du navigateur a réussi.
Avertissez si un robot est refusé, en précisant lesquels.

Toutes les requêtes ne visent que la page d’accueil et ne s’exécutent qu’une fois par test.

Dépannage

Nous vérifions les robots par leur réseau, pas seulement par leur nom

Certains sites n’acceptent que les requêtes provenant des adresses réseau vérifiées de l’opérateur du robot. La sonde de Silktide envoie l’identité publiée du robot depuis son propre réseau; un tel site peut donc refuser la sonde tout en acceptant le véritable robot. Cette configuration est beaucoup plus rare que le blocage généralisé basé sur l’identité; si vous avez confirmé l’utiliser, approuvez le constat.

Le contrôle réussit, mais les assistants manquent quand même mon contenu

Passer la porte est nécessaire, mais pas suffisant. Vérifiez que votre robots.txt autorise les robots d’IA (Accès des robots d’IA) et que votre contenu n’exige pas de pour s’afficher (Contenu sans JavaScript).