Ansicht zur Crawlbarkeit

Crawlbarkeit beantwortet eine andere Frage als die Sichtbarkeit: nicht, ob KI-Assistenten Sie erwähnen, sondern ob die Crawler, die Ihre Website lesen, dazu berechtigt sind und ob sie tatsächlich durchkommen.

Silktide prüft die eigenen Webadressen der . Für diese Ansicht benötigen Sie weder eine verknüpfte Website noch Analytics.

Was geprüft wird

Für jede Webadresse Ihrer eigenen Marke liest Presence robots.txt und llms.txt und prüft anschließend die von Silktide erfassten Crawler:

Suchmaschinen wie Googlebot, Bingbot und Applebot
KI-Crawler wie GPTBot, ClaudeBot, PerplexityBot und CCBot

Das Blockieren eines Such-Crawlers ist schwerwiegender als das Blockieren eines KI-Bots: Es kann dazu führen, dass die Website aus dieser Suchmaschine entfernt wird, und nicht nur aus KI-Antworten.

Deklarierter und tatsächlicher Zugriff

Zwei Ergebnisse werden getrennt ausgewiesen:

In robots.txt blockiert bedeutet, dass die veröffentlichten Regeln der Website den Zugriff verbieten.
In der Praxis blockiert bedeutet, dass der Server den Crawler abgewiesen hat, obwohl robots.txt ihn zulässt. Das weist häufig auf eine Firewall- oder CDN-Regel hin, an deren Konfiguration sich niemand mehr erinnert.

Wenn Silktide keine Live-Anfrage als Crawler senden kann, zeigt die Ansicht an, was robots.txt deklariert, ohne zu behaupten, dass eine Live-Prüfung stattgefunden hat.

Wenn überall „Nicht bewertet“ angezeigt wird

Jede Prüfung beginnt mit einer Kontrolle: Silktide ruft die Seite als gewöhnlicher Webbrowser ab. Wenn die Website selbst diesen Zugriff verweigert, kann keinem einzelnen Crawler ein Ergebnis zugeschrieben werden. Daher wird in der gesamten Spalte stattdessen Nicht bewertet angezeigt.

Dies bedeutet in der Regel, dass sich die Website hinter einem Bot-Schutzdienst (wie Cloudflare) befindet, der automatisierte Besucher hinterfragt, die er nicht erkennt – einschließlich der Prüfungen von Silktide. Es bedeutet nicht, dass Crawler blockiert sind. Große Such- und KI-Crawler weisen ihre Identität über ihre Netzwerkadresse nach, und Bot-Schutzdienste lassen diese verifizierten Crawler üblicherweise durch, während sie alle anderen abweisen. Silktide kann diese Adressen nicht verwenden und berichtet daher, was nicht festgestellt werden konnte, statt zu raten.

Eine schnelle Möglichkeit, sich zu vergewissern: Wenn die Seiten der Website in den Google-Suchergebnissen erscheinen oder von KI-Assistenten zitiert werden, lesen echte Crawler sie.

Zeitplan und „Jetzt prüfen“

Arbeitsbereiche werden wöchentlich geprüft, damit ausgehende Anfragen angemessen bleiben. Jetzt prüfen führt eine neue Prüfung aus, wenn Sie gerade robots.txt geändert haben und nicht warten möchten.

Aktuelle Regeländerungen werden für die letzten Wochen in einer Liste Änderungen angezeigt.

Wettbewerber

Wenn Sie Wettbewerber verfolgen, zeigt dasselbe Raster deren Webadressen neben Ihren an. So können Sie erkennen, ob ein Wettbewerber für Crawler geöffnet ist, die Sie blockiert haben – oder umgekehrt.