Robot d’indexation

Un robot d’indexation (crawler) est un programme qui lit automatiquement les sites web en suivant les liens de page en page. Les moteurs de recherche utilisent des robots d’indexation pour constituer leurs index, les assistants IA les utilisent pour lire le web, et Silktide en utilise un pour découvrir et tester les pages de votre site.

Le robot d’indexation de Silktide charge les pages dans un véritable navigateur plutôt que de se contenter de lire le HTML brut — voir Comment Silktide explore. Les sites contrôlent les robots d’indexation au moyen de robots.txt et de règles de pare-feu, c’est pourquoi une page qui fonctionne dans votre navigateur peut quand même être invisible pour un robot d’indexation.

En savoir plus

• Qu’est-ce que Googlebot — le propre robot d’indexation de Google, à titre d’exemple de référence
• Exploration
• Robots d’IA
• robots.txt