Respecteert Silktide robots.txt?

Standaard: nee. Silktide beschouwt robots.txt (of aanwijzingen als noindex/nofollow) bewust niet als harde grenzen voor wat het mag testen.

Zoekmachines gebruiken die bestanden om te bepalen wat ze indexeren. De taak van Silktide is anders: problemen vinden die echte mensen kunnen tegenkomen, inclusief pagina's die toevallig door robots.txt worden geblokkeerd. Veel robots.txt-bestanden verbergen per ongeluk gebruikersgerichte inhoud voor gewone crawlers.

Je bepaalt nog steeds wat Silktide test:

• Regels voor opnemen en uitsluiten onder Wat we testen
• Paginelimiet en PDF-limieten
• Crawlsnelheid en instellingen voor parallelle verzoeken in Geavanceerde instellingen

Als je specifiek wilt dat robots.txt-regels voor een site worden afgedwongen, neem dan contact op met Silktide Support - dat kan worden geconfigureerd wanneer daar een duidelijke reden voor is.