Silktide respecte-t-il robots.txt ?

Par défaut, non. Silktide ne traite délibérément pas robots.txt (ni les indications classiques noindex / nofollow) comme des limites strictes à ce qu’il peut tester.

Les moteurs de recherche utilisent ces fichiers pour décider de ce qu’ils vont indexer. Le rôle de Silktide est différent : trouver les problèmes que de vraies personnes peuvent rencontrer, y compris sur des pages que robots.txt bloque. De nombreux fichiers robots.txt masquent par inadvertance du contenu destiné aux utilisateurs aux robots d’exploration ordinaires.

Vous contrôlez tout de même ce que Silktide teste :

• Règles d’inclusion et d’exclusion sous Ce que nous testons
• Quota de pages et limites PDF
• Vitesse d’exploration et paramètres des requêtes parallèles dans Paramètres avancés

Si vous avez spécifiquement besoin que les règles de robots.txt soient appliquées pour un site, contactez l’assistance Silktide — cela peut être configuré lorsqu’il y a une raison claire.