Silktide rispetta il file robots.txt?

Per impostazione predefinita, no. Silktide deliberatamente non tratta robots.txt (o i tipici suggerimenti noindex / nofollow) come limiti rigidi a ciò che può testare.

I motori di ricerca usano quei file per decidere cosa indicizzare. Il compito di Silktide è diverso: trovare problemi che le persone reali possono incontrare, incluse pagine che robots.txt potrebbe bloccare. Molti file robots.txt nascondono accidentalmente contenuti rivolti agli utenti ai normali crawler.

Controlli comunque cosa testa Silktide:

• Regole di inclusione ed esclusione in Cosa testiamo
• Quota di pagine e limiti PDF
• Velocità di scansione e impostazioni delle richieste parallele in Impostazioni avanzate

Se hai specificamente bisogno che le regole di robots.txt siano applicate per un sito, contatta il supporto Silktide - questo può essere configurato se c'è una motivazione chiara.