AI-crawlers
AI-crawlers zijn geautomatiseerde programma's die AI-bedrijven gebruiken om het web te lezen, net zoals zoekmachines Googlebot gebruiken. Elke AI-assistent maakt gebruik van een of meer van deze crawlers:
| Crawler | Gebruikt door |
|---|---|
| GPTBot, OAI-SearchBot | ChatGPT (OpenAI) |
| ClaudeBot | Claude (Anthropic) |
| Google-Extended | Gemini (Google) |
| PerplexityBot | Perplexity |
| Bingbot | Copilot (Microsoft) |
Als je deze crawlers blokkeert, kunnen de bijbehorende assistenten je pagina's mogelijk niet lezen. Meestal betekent dit dat ze je content niet kunnen citeren of aanbevelen in hun antwoorden. Veel AI-crawlers voeren ook geen uit. Content die pas verschijnt nadat scripts zijn uitgevoerd, kan daardoor onzichtbaar voor hen zijn, zelfs als ze toegang hebben. Zie Marktaandeel van AI-assistenten voor informatie over welke assistenten mensen daadwerkelijk gebruiken.
Meer informatie
- Overzicht van OpenAI-crawlers - GPTBot en OAI-SearchBot
- Veelgebruikte crawlers van Google - Google-Extended
- Crawlt Anthropic gegevens van het web? - ClaudeBot
- Crawlers van Perplexity - PerplexityBot
- Welke crawlers gebruikt Bing? - Bingbot