コンテンツに移動
Silktideヘルプ

AIクローラーのアクセス

ChatGPT、Claude、PerplexityなどのAIアシスタントは、それぞれ独自の自動クローラーを使ってウェブを読み取ります。Silktideは、ウェブサイトがこれらのクローラーに対してアクセスを拒否するよう指示していないかをチェックします。アクセスを拒否すると、通常、AIアシスタントはコンテンツを読み取ったり、引用したり、推奨したりできなくなります。

ウェブサイトは、ファイルを使ってクローラーへのアクセスを制御します。このファイルにある1つのルールだけで、主要なAIシステムすべてを締め出せます。

# サイト全体からOpenAIのクローラーをブロック
User-agent: GPTBot
Disallow: /

をブロックすることは、モデルのトレーニングからオプトアウトするなど、意図的な選択である場合があります。意図的な設定である可能性があるため、Silktideではこれを確定したエラーではなく、承認できる警告として報告します。

重要な理由

検索エンジンではなくAIアシスタントに質問する人が増えています。AIアシスタントが説明、引用、リンクできるのは、クローラーによる読み取りが許可されているウェブサイトだけです。サイトがクローラーをブロックすると、回答には代わりに競合他社のコンテンツが表示され、エラーが表示されることなく訪問者を失うことになります。

多くのrobots.txtファイルでは、AIクローラーが意図せずブロックされています。ルールがテンプレートやセキュリティ強化ガイドからコピーされ、何が除外されるのか誰も気づいていないことがあるためです。このチェックはその状況を明らかにし、ブロックが見落としではなく、意図した判断となるようにします。

修正方法

  1. サイトのrobots.txtファイル（https://yoursite.com/robots.txt）を開き、ブロックされたクローラーを指定しているルール、またはすべてをブロックするUser-agent: *とDisallow: /のルールを見つけます。
  2. ブロックが意図したものでない場合は、それらのルールを削除するか、本当に非公開にしたいパスだけを対象にするよう範囲を狭めてから、ファイルを再公開します。
# 変更前：サイト全体をブロック
User-agent: GPTBot
Disallow: /

# 変更後：サイトへのアクセスを許可し、1つの領域だけ非公開にする
User-agent: GPTBot
Disallow: /internal/
  1. ブロックが意図したものである場合（たとえば、コンテンツをAIのトレーニングに使われたくない場合）は、検出結果をします。一部のクローラーはトレーニングに利用され、別のクローラーはリアルタイムの回答に利用される点に注意してください。そのため、選択的にブロックすることもできます。GPTBotをブロックしながらOAI-SearchBotを許可すれば、トレーニングに貢献することなく、ChatGPT検索で表示され続けることができます。

Silktideによるテスト方法

  1. ウェブサイトのルートからrobots.txtファイルを取得します。
  2. ファイルが存在しない、または取得できない場合、チェックは合格します。robots.txtがなければ、クローラーはブロックされないためです。
  3. ルールを解析し、よく知られたAIクローラーのユーザーエージェント約20種類（GPTBot、OAI-SearchBot、ClaudeBot、PerplexityBot、Google-Extended、Applebot-Extended、CCBotなど）をサイトのルートに対して1つずつテストします。
  4. これらのクローラーの1つ以上がルートからブロックされている場合に警告し、ブロックされたクローラーを一覧表示します。

トラブルシューティング

チェックは合格するのに、AIアシスタントがサイトを読み取れません

このチェックで読み取るのはrobots.txtのルールだけです。書面上は許可されているクローラーでも、実際にはファイアウォールやボット対策によってブロックされることがあります。実際にAIクローラーがブロックされている場合を参照してください。の実行後にのみ表示されるコンテンツも、AIクローラーから見えないことがあります。JavaScriptなしで利用できるコンテンツを参照してください。

AIクローラーを意図的にブロックしています

これは正当な選択です。検出結果を承認すれば、サイトの評価に影響しなくなります。すべてのAIクローラーをブロックするのか、モデルのトレーニングに使用されるクローラーだけをブロックするのかを検討してください。

詳細情報

最終更新

このページは役に立ちましたか？

AIクローラーのアクセス | Silktide ヘルプ