Silktide respecte-t-il le fichier robots.txt ?

Par défaut, non. Silktide ne considère volontairement pas robots.txt (ni les indications habituelles noindex / nofollow) comme des limites strictes à ce qu’il peut tester.

Les moteurs de recherche utilisent ces fichiers pour décider quoi indexer. Le travail de Silktide est différent : trouver les problèmes que de vraies personnes peuvent rencontrer, y compris sur des pages que robots.txt bloque par ailleurs. De nombreux fichiers robots.txt cachent par inadvertance du contenu destiné aux utilisateurs aux robots d’exploration ordinaires.

Vous contrôlez néanmoins ce que Silktide teste :

• Règles d’inclusion et d’exclusion sous Ce que nous testons
• Quota de pages et limites pour les PDF
• Vitesse d’exploration et paramètres des requêtes parallèles dans Paramètres avancés

Si vous avez expressément besoin que les règles du fichier robots.txt soient appliquées pour un site, communiquez avec l’assistance de Silktide - cela peut être configuré lorsqu’il y a une raison claire.