A Silktide respeita o robots.txt?

Por predefinição, não. A Silktide, propositadamente, não trata o robots.txt (ou as indicações típicas noindex / nofollow) como limites rígidos do que pode testar.

Os motores de pesquisa usam esses ficheiros para decidir o que devem indexar. O trabalho da Silktide é diferente: encontrar problemas que pessoas reais podem encontrar, incluindo páginas que o robots.txt por acaso bloqueia. Muitos ficheiros robots.txt escondem acidentalmente conteúdo destinado ao utilizador de rastreadores comuns.

Ainda assim, controla o que a Silktide testa:

• Regras de inclusão e exclusão em O que testamos
• Limite de páginas e limites de PDF
• Velocidade de rastreio e definições de pedidos paralelos em Definições avançadas

Se precisar especificamente que as regras de robots.txt sejam aplicadas para um site, contacte o suporte da Silktide — isso pode ser configurado quando houver uma razão clara.