Crawling
Bevor Silktide irgendetwas testen kann, muss es die Inhalte zuerst abrufen. Ein beginnt auf der Startseite Ihrer Website, liest, was er findet, folgt Links und macht weiter, bis alles im Testumfang abgedeckt ist.
Meistens ist dies unsichtbar und Sie sehen die Ergebnisse nur im Inventar. Dieser Bereich erklärt, wie das Abrufen funktioniert - und was zu tun ist, wenn eine Website langsam antwortet, Anfragen ablehnt oder Silktide etwas anderes ausliefert als Ihnen.
Wie das Crawling funktioniert
- Wie Silktide crawlt - echte Browsertests, Seiten vs. Dateien und das allgemeine Abrufmodell.
- Erkennung - wie URLs aus Links, Sitemaps und erzwungenen Seiten in die Warteschlange gelangen.
- Umfangsregeln - erlaubte, verweigerte und erzwungene Regeln und warum die gesamte Website ausschließlich URL-basiert ist.
Verbinden und Laden
- Von wo aus Silktide Verbindungen herstellt - AWS-IP-Adressen, Proxys und der User-Agent.
- Eine Seite laden - Timeouts, Cookie-Banner, Scrollen, Stealth und weitere erweiterte Einstellungen.
Wenn etwas schiefgeht
- Ratenbegrenzung und Wiederholversuche - was passiert, wenn eine Website Anfragen ablehnt, die zu schnell eintreffen.
- Wenn das Crawling fehlschlägt - Bot-Schutz, Authentifizierung, falsche Inhalte und weitere häufige Blocker.
Verwandte Themen
- Testumfang - wie Silktide entscheidet, welche Inhalte erkannt und analysiert werden.
- Was wir testen - konfigurieren Sie erlaubte, verweigerte und erzwungene URL-Regeln.
- Erweiterte Einstellungen - parallele Anfragen, Seitentimeouts, Proxy und weitere Ladeoptionen.
- Abdeckung des Inventars - warum das, was Silktide gefunden hat, von einer -Liste abweichen kann.