Respekterer Silktide robots.txt?

Som standard, nej. Silktide betragter bevidst ikke robots.txt (eller typiske noindex / nofollow markeringer) som faste begrænsninger for, hvad den må teste.

Søgemaskiner bruger disse filer til at beslutte, hvad der skal indekseres. Silktides opgave er anderledes: finde problemer, som rigtige mennesker kan støde på, inklusive sider som robots.txt tilfældigvis blokerer. Mange robots.txt-filer skjuler ved et uheld brugerrettet indhold for almindelige crawlere.

Du styrer stadig, hvad Silktide tester:

• Regler for medtagelse og udelukkelse under Hvad vi tester
• Sidekvote og PDF-begrænsninger
• Crawl-hastighed og indstillinger for parallelle forespørgsler i Avancerede indstillinger

Hvis du specifikt har brug for, at robots.txt-regler håndhæves for et websted, skal du kontakte Silktide-support – det kan konfigureres, når der er en klar begrundelse.