クロール可能性画面

クロール可能性は、可視性とは異なる問いに答えます。AIアシスタントがあなたについて言及するかではなく、サイトを読み取るクローラーがアクセスを許可されているか、そして実際に通過できるかを確認します。

Silktideは自体のウェブアドレスをチェックします。この画面を利用するために、連携済みのウェブサイトやアナリティクスは必要ありません。

チェック対象

アイデンティティブランドの各ウェブアドレスについて、Presenceはrobots.txtとllms.txtを読み取り、Silktideが追跡するクローラーを調査します。

Googlebot、Bingbot、Applebotなどの検索エンジン
GPTBot、ClaudeBot、PerplexityBot、CCBotなどのAIクローラー

検索クローラーをブロックすることは、AIボットをブロックするよりも深刻です。AIの回答だけでなく、その検索エンジンからサイトが除外される可能性があります。

宣言されたアクセスと実際のアクセス

2つの検出結果は分けて扱われます。

robots.txtでブロック済みは、サイトが公開しているルールでアクセスを拒否していることを意味します。
実際にはブロック済みは、robots.txtでは許可されているにもかかわらず、サーバーがクローラーを拒否したことを意味します。多くの場合、誰も設定したことを覚えていないファイアウォールまたはCDNルールが原因です。

Silktideがクローラーとしてライブリクエストを送信できない場合、画面にはライブ調査が行われたとは主張せずに、robots.txtが宣言している内容が表示されます。

すべてが「未評価」と表示される場合

すべてのチェックはコントロールから始まります。Silktideは通常のウェブブラウザーとしてページを取得します。サイトがそれさえ拒否する場合、特定のクローラーについて判定することはできないため、列全体に代わりに未評価と表示されます。

これは通常、サイトがCloudflareなどのボット保護サービスの背後にあり、認識できない自動化された訪問者（Silktideのチェックを含む）にチャレンジを要求していることを意味します。クローラーがブロックされていることを意味するわけではありません。主要な検索クローラーとAIクローラーはネットワークアドレスによって自らを証明し、ボット保護サービスは、その他のすべてを拒否しながらも、そのような検証済みクローラーは通常通過させます。Silktideはそれらのアドレスを借用できないため、推測するのではなく、確認できなかった内容を報告します。

安心するための簡単な方法は、サイトのページがGoogleの検索結果に表示されているか、AIアシスタントに引用されているかを確認することです。表示または引用されていれば、実際のクローラーが読み取っています。

スケジュールと「今すぐプローブ」

送信リクエストを適切な量に保つため、ワークスペースは毎週のスケジュールでチェックされます。今すぐプローブは、robots.txtを変更したばかりで待ちたくない場合に、新しいチェックを実行します。

最近のルール変更は、過去数週間分の変更リストに表示されます。

競合他社

競合他社を追跡している場合、同じグリッドに自社と競合他社のウェブアドレスが並んで表示されます。これにより、自社がブロックしているクローラーに競合他社がアクセスを許可しているか、またはその逆かを確認できます。