Respektiert Silktide robots.txt?

Standardmäßig: nein. Silktide behandelt robots.txt (oder typische noindex / nofollow-Hinweise) bewusst nicht als harte Grenzen dafür, was getestet werden darf.

Suchmaschinen nutzen diese Dateien, um zu entscheiden, was sie indexieren. Silktides Aufgabe ist eine andere: Probleme zu finden, auf die echte Menschen stoßen können, einschließlich Seiten, die durch robots.txt zufällig blockiert werden. Viele robots.txt-Dateien verbergen versehentlich nutzerorientierte Inhalte vor gewöhnlichen Crawlern.

Sie steuern dennoch, was Silktide testet:

• Ein- und Ausschlussregeln unter Was wir testen
• Seitenkontingent und PDF-Grenzwerte
• Crawling-Geschwindigkeit und Einstellungen für parallele Anfragen in den Erweiterten Einstellungen

Wenn Sie für eine Website die Durchsetzung von robots.txt-Regeln ausdrücklich benötigen, wenden Sie sich an den Silktide-Support – das kann konfiguriert werden, wenn es einen klaren Grund gibt.