クローリング

Silktideが何かをテストするには、まずその対象を取得する必要があります。クローラーはウェブサイトのホームページから開始し、見つけた内容を読み取り、リンクをたどり、スコープ内のすべてをカバーするまで処理を続けます。

ほとんどの場合、この処理は見えないところで行われ、結果はインベントリで確認できます。このセクションでは、ページの取得方法と、ウェブサイトからの応答が遅い場合、リクエストを拒否する場合、またはユーザーに提供する内容とSilktideに提供する内容が異なる場合の対処方法について説明します。

クローリングの仕組み

• Silktideのクローリング方法 - 実際のブラウザーによるテスト、ページとファイルの違い、全体的な取得モデルについて説明します。
• 検出 - リンク、サイトマップ、強制指定されたページからURLがキューに追加される仕組みについて説明します。
• スコープルール - 許可、拒否、強制指定のルールと、ウェブサイト全体がURLのみを対象とする理由について説明します。

接続と読み込み

• Silktideの接続元 - AWSのIPアドレス、プロキシ、ユーザーエージェントについて説明します。
• ページの読み込み - タイムアウト、Cookieバナー、スクロール、ステルス、その他の詳細設定について説明します。

問題が発生した場合

• レート制限と再試行 - 短時間に到着したリクエストをサイトが拒否した場合の動作について説明します。
• クローリングに失敗した場合 - ボット対策、認証、誤ったコンテンツ、その他の一般的な阻害要因について説明します。

関連項目

• テスト対象のスコープ - Silktideが検出および分析するコンテンツを決定する方法について説明します。
• テスト対象 - URLの許可、拒否、強制指定のルールを設定します。
• 詳細設定 - 並列リクエスト、ページのタイムアウト、プロキシ、その他の読み込み制御を設定します。
• インベントリのカバレッジ - Silktideが検出した内容がCMSの一覧と異なる場合がある理由について説明します。