AI-crawlere
AI-crawlere er automatiserte programmer som AI-selskaper bruker til å lese nettet, på samme måte som søkemotorer bruker Googlebot. Hver AI-assistent er avhengig av én eller flere av dem:
| Crawler | Brukes av |
|---|---|
| GPTBot, OAI-SearchBot | ChatGPT (OpenAI) |
| ClaudeBot | Claude (Anthropic) |
| Google-Extended | Gemini (Google) |
| PerplexityBot | Perplexity |
| Bingbot | Copilot (Microsoft) |
Hvis blokkerer disse crawlerne, kan de tilhørende assistentene være ute av stand til å lese sidene dine – noe som vanligvis betyr at de ikke kan sitere eller anbefale innholdet ditt i svarene sine. Mange AI-crawlere kjører heller ikke , så innhold som bare vises etter at skriptene er kjørt, kan være usynlig for dem selv når de har tilgang. Se markedsandeler for AI-assistenter for å finne ut hvilke assistenter folk faktisk bruker.
Les mer
- Oversikt over OpenAI-crawlere – GPTBot og OAI-SearchBot
- Googles vanlige crawlere – Google-Extended
- Crawer Anthropic data fra nettet? – ClaudeBot
- Perplexity-crawlere – PerplexityBot
- Hvilke crawlere bruker Bing? – Bingbot