Respekterar Silktide robots.txt?

Som standard, nej. Silktide behandlar avsiktligt inte robots.txt (eller vanliga noindex / nofollow-anvisningar) som hårda gränser för vad den får testa.

Sökmotorer använder dessa filer för att avgöra vad som ska indexeras. Silktides uppdrag är annorlunda: att hitta problem som riktiga människor kan stöta på, inklusive sidor som robots.txt råkar blockera. Många robots.txt-filer döljer av misstag användarsynligt innehåll för vanliga genomsökare.

Du styr fortfarande vad Silktide testar:

• Regler för inkludering och exkludering under Vad vi testar
• Sidkvot och PDF-gränser
• Genomsökningshastighet och inställningar för parallella förfrågningar i Avancerade inställningar

Om du specifikt behöver att robots.txt-regler efterlevs för en webbplats, kontakta Silktides support – det kan konfigureras när det finns en tydlig anledning.