Rastreador

Un rastreador es un programa que lee sitios web automáticamente siguiendo enlaces de una página a otra. Los motores de búsqueda usan rastreadores para crear sus índices, los asistentes de IA los usan para leer la web y Silktide utiliza uno para descubrir y probar las páginas de tu sitio web.

El rastreador de Silktide carga las páginas en un navegador real en lugar de leer solo el HTML sin procesar; consulta Cómo rastrea Silktide. Los sitios controlan a los rastreadores con robots.txt y reglas del cortafuegos, por lo que una página que funciona en tu navegador puede seguir siendo invisible para un rastreador.

Más información

• Qué es Googlebot - El propio rastreador de Google, como ejemplo de referencia
• Rastreo
• Rastreadores de IA
• robots.txt