AI-crawlere
AI-crawlere er de automatiserede programmer, som AI-virksomheder bruger til at læse nettet, ligesom søgemaskiner bruger Googlebot. Hver AI-assistent er afhængig af en eller flere af dem:
| Crawler | Bruges af |
|---|---|
| GPTBot, OAI-SearchBot | ChatGPT (OpenAI) |
| ClaudeBot | Claude (Anthropic) |
| Google-Extended | Gemini (Google) |
| PerplexityBot | Perplexity |
| Bingbot | Copilot (Microsoft) |
Hvis din blokerer disse crawlere, kan de tilsvarende AI-assistenter muligvis ikke læse dine sider – hvilket normalt betyder, at de ikke kan citere eller anbefale dit indhold i deres svar. Mange AI-crawlere kører heller ikke , så indhold, der først vises, efter scripts er kørt, kan være usynligt for dem, selv når de har tilladelse til at få adgang. Se markedsandel for AI-assistenter for at få oplysninger om, hvilke assistenter folk faktisk bruger.
Få mere at vide
- Oversigt over OpenAI-crawlere – GPTBot og OAI-SearchBot
- Googles almindelige crawlere – Google-Extended
- Crawler Anthropic data fra nettet? – ClaudeBot
- Perplexity-crawlere – PerplexityBot
- Hvilke crawlere bruger Bing? – Bingbot