AIクローラー
AIクローラーは、検索エンジンがGooglebotを使用するのと同様に、AI企業がウェブを読み取るために使用する自動プログラムです。各AIアシスタントは、1つ以上のAIクローラーを利用しています。
| クローラー | 使用者 |
|---|---|
| GPTBot、OAI-SearchBot | ChatGPT（OpenAI） |
| ClaudeBot | Claude（Anthropic） |
| Google-Extended | Gemini（Google） |
| PerplexityBot | Perplexity |
| Bingbot | Copilot（Microsoft） |
でこれらのクローラーをブロックすると、対応するAIアシスタントがページを読み取れなくなる可能性があります。通常、その場合は回答内でコンテンツを引用または推奨できません。また、多くのAIクローラーはを実行しないため、スクリプトの実行後にのみ表示されるコンテンツは、アクセスを許可していてもAIクローラーから見えない可能性があります。実際に人々が利用しているAIアシスタントについては、AIアシスタントの市場シェアをご覧ください。
詳細情報
- OpenAIクローラーの概要 - GPTBot、OAI-SearchBot
- Googleの一般的なクローラー - Google-Extended
- Anthropicはウェブからデータをクロールしますか？ - ClaudeBot
- Perplexityクローラー - PerplexityBot
- Bingが使用するクローラー - Bingbot