Regeln für den Geltungsbereich

Was wir testen legt fest, welche URLs zu einer Website oder einem Abschnitt gehören. Diese Regeln sind der wichtigste kundenseitige Weg, den Crawl vor und während der Erkennung zu steuern.

Erlaubt, ausgeschlossen und erzwungen

• Erlaubte Regeln beschreiben URL-Muster, die Silktide einschließen darf. Wenn Sie erlaubte Regeln festlegen, sind nur passende URLs (plus erzwungene Seiten) im Geltungsbereich.
• Ausgeschlossene Regeln entfernen passende URLs aus diesem erlaubten Umfang. Ausgeschlossen hat immer Vorrang vor erlaubt.
• Erzwungene Seiten weisen Silktide an, bestimmte wichtige URLs einzuschließen, auch wenn sie über normale Links nicht entdeckt werden. Sie müssen dennoch erreichbar sein, wenn der Test läuft.

Regeln unterstützen mehrere Abgleichsarten, darunter URL-Anfänge und -Enden, Textübereinstimmungen, reguläre Ausdrücke und Bedingungen zur URL-Länge. Halten Sie die Regeln so präzise wie möglich, während sie die Website dennoch korrekt abbilden. Nach Änderungen starten Sie einen neuen Test und prüfen die Inventarabdeckung.

Warum die gesamte Website nur über URL-Regeln gesteuert wird

Die Website als Ganzes (die übergeordnete „Alle Seiten“-Ansicht) kann nur URL-Regeln verwenden. Silktide muss entscheiden, ob sich das Abrufen einer URL lohnt, bevor die Seite heruntergeladen wird. In diesem Moment sind die einzigen verlässlichen Informationen die URL selbst.

Abschnitte sind anders. Ein Abschnitt ist ein definierter Teil der Website, der so berichtet, als wäre er eine eigene Website. Sobald eine Seite für die Website bereits heruntergeladen wurde, kann Silktide in einem Abschnitt auch inhaltsbasierte Regeln anwenden – Regeln, die betrachten, was auf der Seite steht, nicht nur die URL. Diese Regeln können eine Seite in einen Abschnitt aufnehmen oder sie ausschließen, basierend auf Text oder anderem Seiteninhalt.

Darum sind erweiterte, inhaltsbasierte Regeln für Abschnitte verfügbar, nicht jedoch für die Website als Ganzes: Die Entscheidung auf Website-Ebene muss allein anhand der URL bestimmbar bleiben, sonst müsste die Erkennung zunächst jede potenzielle Seite herunterladen.

Wenn der Website-Geltungsbereich vom Seiteninhalt abhinge, müsste Silktide eine Seite abrufen, bevor klar ist, ob sie erlaubt ist. Auf einer großen Website würde das bedeuten, weit mehr herunterzuladen, als Sie testen möchten, und den Großteil anschließend zu verwerfen – langsamer, teurer und mit höherer Wahrscheinlichkeit, an Rate Limits zu stoßen. URL-Regeln halten die äußere Grenze günstig prüfbar. Abschnitte verfeinern die Zugehörigkeit anschließend, wenn der Seiteninhalt bereits verfügbar ist.

Wie dies zum übrigen Geltungsbereich passt

URL- und Abschnittsregeln sind nur ein Teil des Test-Geltungsbereichs. Authentifizierung, Durchsuchbarkeit, Weiterleitungen, robots.txt (standardmäßig nicht erzwungen), erweiterte Crawler-Einstellungen und das Seitenkontingent beeinflussen ebenfalls, was gefunden wird.

Konfigurieren Sie die alltäglichen Regeln unter Was wir testen. Verwenden Sie diesen Artikel, wenn Sie das Modell hinter diesen Steuerelementen benötigen.