Wenn das Crawling fehlschlägt

Wenn eine Website nicht startet, nicht fertig wird oder nicht die erwarteten Seiten zurückgibt, gehen Sie diese Ursachen der Reihe nach durch. Viele "leeres Inventar"-Probleme sind Crawl-Probleme, keine Bewertungsprobleme.

Adresse prüfen

Kleine URL-Fehler sind häufig:

• www. vorhanden oder fehlend
• http vs https
• Ein Staging-Host, der nur in Ihrem Netzwerk auflöst
• Ein Pfad, der woandershin weiterleitet

Silktide versucht, viele dieser Fälle zu erkennen und Sie entsprechend zu leiten, kann jedoch keine URL erfinden, die nicht existiert.

Bot-Schutz und Firewalls

Viele Websites sitzen hinter Cloudflare oder ähnlichen Anti-Bot-Schichten. Silktide lädt Seiten in einem echten Browser, aber diese Schutzmechanismen können den Crawler trotzdem blockieren oder mit Challenges belegen.

Stellen Sie unter den Erweiterten Einstellungen einen Proxy ein, damit der Datenverkehr von bekannten Silktide-IP-Adressen kommt. Siehe Von wo aus sich Silktide verbindet. Wenn die Website Rate-Limiting für Tests einsetzt, senken Sie zuerst die maximale Anzahl gleichzeitiger Verbindungen.

Inhalte, die sich von Ihrem Browser unterscheiden

Wenn Silktide eine andere Sprache, Währung oder Startseite sieht oder Bereiche fehlen:

• Die Website kann je nach Geografie variieren – wählen Sie einen Proxy in der Nähe der Zielgruppe, die Ihnen wichtig ist
• Personalisierung oder A/B-Tests können von Cookies abhängen, die Sie haben, der Crawler jedoch nicht
• Ein Bot-Schutz könnte statt der echten Website eine Challenge-Seite ausliefern

Mehr Details: Warum zeigt Silktide andere Inhalte als mein Browser?.

Authentifizierung

Passwortgeschützte Websites benötigen Anmeldedaten. HTTP-Authentifizierung wird in den Erweiterten Einstellungen konfiguriert; ein formularbasierter Login benötigt einen konfigurierten Anmeldeablauf. Silktide kann keine CAPTCHAs lösen oder Multi-Faktor-Codes eingeben. Siehe Kann Silktide passwortgeschützte Websites testen?.

Umfang und Erkennungslücken

Wenn die Website getestet wird, aber wichtige Seiten fehlen:

• Prüfen Sie erlaubte, verweigerte und erzwungene Regeln
• Überprüfen Sie Links, Sitemaps und erzwungene Seiten unter Erkennung
• Überprüfen Sie die Inventarabdeckung und – sofern Analytics verbunden ist – Nicht getestete Seiten

Silktide behandelt robots.txt standardmäßig nicht als harte Grenze – siehe Respektiert Silktide robots.txt?.

Fehlgeschlagene Downloads

Seiten, die Silktide nicht abrufen konnte, erscheinen unter Inventar > Fehlgeschlagene Downloads mit einem Status wie Gedrosselt und dem HTTP-Code. Das unterscheidet unerreichbare Seiten von Seiten, die nicht existieren.

Um Hilfe bitten

Wenn Silktide AI aktiviert ist, bitten Sie den Agenten, bei der Diagnose des Fehlers zu helfen. Andernfalls kontaktieren Sie den Silktide-Support mit der Website-URL und dem, was Sie sehen (Fehler, teilweises Crawling oder leeres Inventar).