Robot d’exploration

Un robot d’exploration est un programme qui parcourt les sites Web automatiquement en suivant les liens de page en page. Les moteurs de recherche utilisent des robots d’exploration pour constituer leurs index, les assistants IA les utilisent pour lire le Web, et Silktide en utilise un pour découvrir et tester les pages de votre site Web.

Le robot d’exploration de Silktide charge les pages dans un véritable navigateur plutôt que de lire uniquement le HTML brut — voir Comment Silktide explore. Les sites contrôlent les robots d’exploration avec robots.txt et des règles de pare-feu, c’est pourquoi une page qui fonctionne dans votre navigateur peut tout de même être invisible pour un robot d’exploration.

En savoir plus

• Qu’est-ce que Googlebot - le propre robot d’exploration de Google, à titre d’exemple de référence
• Exploration
• Robots d’exploration IA
• robots.txt