AIクローラーのブロック

Silktideは、主要なAIクローラーであることを示すリクエストが、実際にウェブサイトへ到達できるかをテストします。サイト上ではこれらのクローラーを受け入れているように見えても、ファイアウォールやセキュリティ製品によって入口で拒否されることがあります。

ではを歓迎していると記述していても、ファイアウォールが拒否することがあります。やセキュリティ製品には、「AIボットをブロック」するワンクリック設定が用意されていることがあります。こうした設定はデフォルトで有効になっている場合もあり、robots.txtの記述にかかわらず、GPTBot、ClaudeBot、PerplexityBotなど、AIクローラーであることを示すあらゆるリクエストを拒否します。サイト所有者は、この設定が有効になっていることに気づいていないケースがよくあります。あなたにとってサイトは問題なく動作していても、すべてのAIアシスタントにとっては、サイトが存在しないのと同じ状態なのです。

これが重要な理由

AIアシスタントは、クローラーが取得できるコンテンツのみを引用・推薦できます。ファイアウォールレベルでのブロックは通常の利用ではわかりません。サイトはどのブラウザーでも問題なく読み込まれ、アナリティクスも健全に見える一方で、回答エンジンはあなたのサイトをひそかに読み取れず、代わりに競合サイトを引用します。目に見えるエラーが何も起こらないため、これを直接テストせずに気づくのは、可視性に関する問題の中でも特に困難です。

Silktideの別のAIクローラーのアクセスチェックでは、robots.txtに記述されている内容を確認します。このチェックでは、実際に通信上で何が起きているかを確認します。この2つの結果は一致しないことが多く、一致しない場合はファイアウォールの設定が優先されます。

修正方法

CDNまたはセキュリティダッシュボードで、AIボットのブロック設定を確認します。Cloudflareでは、Securityの下にある「AI bots」または「Bot Fight Mode」を確認してください。Akamai、Imperva、DataDomeなどの他のプロバイダーにも同等の設定があります。これらはデフォルトで有効になっている場合があります。
ブロックが意図したものではない場合は、設定をオフにするか、許可する特定のクローラーを許可リストに追加します。
独自のファイアウォールや、ボットのユーザーエージェントに一致するサーバールールを使用している場合は、受け入れたいAIクローラーのエントリを削除します。
AIクローラーを意図的にブロックしている場合は、その指摘をしてください。これは正当な選択です。

Silktideによるテスト方法

通常のブラウザーの識別情報を使ってホームページにリクエストします。このリクエスト自体が拒否またはチャレンジを受けた場合、クローラーによる差別に起因するとは判断できないため、このチェックは適用されません。
各主要AIクローラー（GPTBot、ClaudeBot、PerplexityBot、CCBot）として識別されるようにして、ホームページに再度リクエストします。クローラーの運営元が公開しているUser-Agent文字列を使用します。すべてのリクエストは同じ場所から送信されるため、レスポンスの違いはクローラーの識別情報によるものです。
クローラーのリクエストが、明確な拒否ステータス（例：403 Forbidden、429 Too Many Requests、503）、クローラーが解決できないチャレンジまたはページを受け取った場合、あるいはブラウザーのリクエストが成功したにもかかわらずレスポンスがまったくない場合、そのクローラーをブロックされたものとして数えます。
いずれかのクローラーが拒否された場合に警告し、拒否されたクローラーを一覧表示します。

すべてのリクエストはホームページのみを対象とし、1回のテストにつき1度実行されます。

トラブルシューティング

クローラーは名前だけでなく、ネットワークによって確認されます

クローラー運営元の検証済みネットワークアドレスから送信されたリクエストだけを受け入れるサイトがあります。Silktideのプローブは、独自のネットワークからクローラーが公開している識別情報を送信するため、そのようなサイトでは実際のクローラーを受け入れていても、プローブを拒否することがあります。この構成は、識別情報を一律にブロックする場合よりもはるかにまれです。これを使用していることを確認できた場合は、その指摘を承認してください。

チェックには合格するのに、AIアシスタントがコンテンツを見つけられません

入口を通過できることは必要ですが、それだけでは十分ではありません。robots.txtでAIクローラーが許可されていること（AIクローラーのアクセス）と、コンテンツの表示にが必要でないこと（JavaScriptなしのコンテンツ）を確認してください。