¿Silktide respeta robots.txt?
De forma predeterminada, no. Silktide no trata deliberadamente el robots.txt (ni las indicaciones típicas noindex / nofollow) como límites estrictos de lo que puede evaluar.
Los motores de búsqueda usan esos archivos para decidir qué indexar. La labor de Silktide es distinta: detectar problemas con los que la gente real puede toparse, incluidas páginas que el robots.txt bloquea. Muchos archivos robots.txt ocultan por accidente contenido orientado al usuario a los rastreadores habituales.
Sigues controlando qué evalúa Silktide:
- Reglas de inclusión y exclusión en Qué probamos
- y límites de PDF
- Velocidad de rastreo y configuración de solicitudes en paralelo en Ajustes avanzados
Si necesitas que se apliquen específicamente las reglas de robots.txt para un sitio, contacta con el soporte de Silktide - se puede configurar cuando haya un motivo claro.