クロールに失敗した場合

ウェブサイトのクロールを開始できない、完了できない、または想定したページが返されない場合は、以下の原因を順番に確認してください。「空のインベントリ」に関する問題の多くは、スコアリングではなくクロールの問題です。

アドレスを確認する

URL の小さな誤りはよくあります。

• www. が付いている、または付いていない
• http と https の違い
• ネットワーク内でしか名前解決できないステージングホスト
• 別の場所にリダイレクトされるパス

Silktide はこれらの多くを検出して対処方法を案内しようとしますが、存在しない URL を作り出すことはできません。

ボット対策とファイアウォール

多くのサイトは、Cloudflare などのボット対策レイヤーの背後にあります。Silktide は実際のブラウザーでページを読み込みますが、こうした防御によってクローラーがブロックされたり、チャレンジを要求されたりすることがあります。

詳細設定 で プロキシ を設定し、既知の Silktide IP アドレスからトラフィックが送信されるようにしてください。Silktide の接続元 を参照してください。サイトがテストをレート制限している場合は、まず最大接続数を減らしてください。

ブラウザーと異なるコンテンツ

Silktide に異なる言語、通貨、ホームページ、または一部が欠落したセクションが表示される場合は、次の可能性があります。

• サイトが地域によって異なるコンテンツを表示している場合があります。対象とするユーザーに近いプロキシを選択してください
• パーソナライズや A/B テストが、ブラウザーにはあるもののクローラーにはない Cookie に依存している場合があります
• ボット対策によって、実際のサイトではなくチャレンジページが表示されている場合があります

詳しくは、Silktide にブラウザーと異なるコンテンツが表示されるのはなぜですか？ を参照してください。

認証

パスワードで保護されたサイトには認証情報が必要です。HTTP 認証は詳細設定で設定し、フォームベースのログインには設定済みのログインフローが必要です。Silktide は CAPTCHA や多要素認証コードを完了できません。Silktide はパスワードで保護されたウェブサイトをテストできますか？ を参照してください。

スコープと検出の不足

サイトのテストは実行されるものの重要なページが見つからない場合は、次を確認してください。

• 許可、拒否、強制のルールを確認する
• 検出でリンク、サイトマップ、強制されたページを確認する
• インベントリのカバレッジと、Analytics が接続されている場合は未テストのページを確認する

Silktide は、デフォルトでは robots.txt を厳格な制限として扱いません。Silktide は robots.txt を尊重しますか？ を参照してください。

ダウンロードの失敗

Silktide が取得できなかったページは、インベントリ > ダウンロードに失敗したページ に、レート制限 などのステータスと HTTP コードとともに表示されます。これにより、到達できないページと存在しないページを区別できます。

サポートを依頼する

Silktide AI が有効になっている場合は、AIエージェント に失敗の原因調査を依頼してください。それ以外の場合は、ウェブサイトの URL と、表示されている内容（エラー、クロールの一部のみ完了、または空のインベントリ）を添えて Silktide サポートにお問い合わせください。