KI-Crawler
KI-Crawler sind automatisierte Programme, mit denen KI-Unternehmen das Web auslesen, ähnlich wie Suchmaschinen Googlebot verwenden. Jeder KI-Assistent greift auf einen oder mehrere dieser Crawler zurück:
| Crawler | Verwendet von |
|---|---|
| GPTBot, OAI-SearchBot | ChatGPT (OpenAI) |
| ClaudeBot | Claude (Anthropic) |
| Google-Extended | Gemini (Google) |
| PerplexityBot | Perplexity |
| Bingbot | Copilot (Microsoft) |
Wenn Ihre diese Crawler blockiert, können die entsprechenden KI-Assistenten Ihre Seiten möglicherweise nicht auslesen – das bedeutet in der Regel, dass sie Ihre Inhalte in ihren Antworten weder zitieren noch empfehlen können. Viele KI-Crawler führen außerdem kein aus. Inhalte, die erst nach der Ausführung von Skripten erscheinen, können für sie daher unsichtbar sein, selbst wenn sie zugelassen sind. Welche KI-Assistenten tatsächlich genutzt werden, erfahren Sie unter Marktanteil von KI-Assistenten.
Weitere Informationen
- Übersicht über die Crawler von OpenAI – GPTBot und OAI-SearchBot
- Häufig verwendete Crawler von Google – Google-Extended
- Crawlt Anthropic Daten aus dem Web? – ClaudeBot
- Crawler von Perplexity – PerplexityBot
- Welche Crawler verwendet Bing? – Bingbot