Crawler IA
I crawler IA sono programmi automatizzati che le aziende di intelligenza artificiale usano per leggere il web, proprio come i motori di ricerca usano Googlebot. Ogni assistente IA si affida a uno o più di questi crawler:
| Crawler | Utilizzato da |
|---|---|
| GPTBot, OAI-SearchBot | ChatGPT (OpenAI) |
| ClaudeBot | Claude (Anthropic) |
| Google-Extended | Gemini (Google) |
| PerplexityBot | Perplexity |
| Bingbot | Copilot (Microsoft) |
Se il tuo blocca questi crawler, gli assistenti corrispondenti potrebbero non riuscire a leggere le tue pagine: di solito ciò significa che non possono citare o consigliare i tuoi contenuti nelle loro risposte. Molti crawler IA inoltre non eseguono , quindi i contenuti che compaiono solo dopo l'esecuzione degli script potrebbero essere invisibili anche quando i crawler sono autorizzati ad accedervi. Per sapere quali assistenti le persone utilizzano effettivamente, consulta Quota di mercato degli assistenti IA.
Scopri di più
- Panoramica dei crawler di OpenAI - GPTBot e OAI-SearchBot
- Crawler comuni di Google - Google-Extended
- Anthropic esegue il crawling dei dati dal web? - ClaudeBot
- Crawler di Perplexity - PerplexityBot
- Quali crawler usa Bing? - Bingbot