Respekterer Silktide robots.txt?

Som standard, nei. Silktide behandler bevisst ikke robots.txt (eller typiske noindex/nofollow-hint) som absolutte grenser for hva den kan teste.

Søkemotorer bruker disse filene til å avgjøre hva som skal indekseres. Silktides jobb er annerledes: å finne problemer som virkelige mennesker kan støte på, inkludert sider som robots.txt tilfeldigvis blokkerer. Mange robots.txt-filer skjuler utilsiktet brukerrettet innhold for vanlige crawlere.

Du kontrollerer fortsatt hva Silktide tester:

• Regler for inkludering og ekskludering under Hva vi tester
• Sidekvote og PDF-begrensninger
• Gjennomsøkingshastighet og innstillinger for parallelle forespørsler i Avanserte innstillinger

Hvis du spesifikt trenger at robots.txt-regler håndheves for et nettsted, kontakt Silktide support – dette kan konfigureres når det foreligger en klar begrunnelse.