AI-crawlers
AI-crawlers är automatiserade program som AI-företag använder för att läsa webben, på samma sätt som sökmotorer använder Googlebot. Varje AI-assistent förlitar sig på en eller flera av dem:
| Crawler | Används av |
|---|---|
| GPTBot, OAI-SearchBot | ChatGPT (OpenAI) |
| ClaudeBot | Claude (Anthropic) |
| Google-Extended | Gemini (Google) |
| PerplexityBot | Perplexity |
| Bingbot | Copilot (Microsoft) |
Om din blockerar dessa crawlers kan motsvarande AI-assistenter kanske inte läsa dina sidor – vilket vanligtvis innebär att de inte kan hänvisa till eller rekommendera ditt innehåll i sina svar. Många AI-crawlers kör inte heller , så innehåll som endast visas efter att skript har körts kan vara osynligt för dem även när de tillåts komma åt det. Information om vilka AI-assistenter människor faktiskt använder finns i AI-assistenternas marknadsandelar.
Läs mer
- Översikt över OpenAI:s crawlers – GPTBot och OAI-SearchBot
- Googles vanligaste crawlers – Google-Extended
- Crawlar Anthropic data från webben? – ClaudeBot
- Perplexitys crawlers – PerplexityBot
- Vilka crawlers använder Bing? – Bingbot