クロール
Silktideが何かをテストするには、まずそれを取得する必要があります。はウェブサイトのホームページから開始し、見つけた内容を読み取り、リンクをたどり、スコープ内のすべてをカバーするまで続けます。
通常、この処理は表示されず、結果はインベントリでのみ確認できます。このセクションでは、この取得の仕組みと、ウェブサイトの応答が遅い場合、リクエストを拒否する場合、またはあなたに表示する内容とSilktideに提供する内容が異なる場合の対処方法を説明します。
クロールの仕組み
- Silktideのクロール方法 - 実際のブラウザーテスト、ページとファイルの違い、全体的な取得モデル。
- 検出 - リンク、サイトマップ、強制ページからURLがキューに追加される仕組み。
- スコープルール - 許可、拒否、強制のルールと、ウェブサイト全体がURLのみで扱われる理由。
接続と読み込み
- Silktideからの接続元 - AWSのIPアドレス、プロキシ、ユーザーエージェント。
- ページの読み込み - タイムアウト、Cookieバナー、スクロール、ステルス、その他の詳細設定。
問題が発生した場合
- レート制限と再試行 - サイトが短時間に到着するリクエストを拒否した場合の動作。
- クロールに失敗した場合 - ボット対策、認証、誤ったコンテンツ、その他の一般的なブロッカー。
関連情報
- テストスコープ - Silktideが検出・分析するコンテンツを決定する方法。
- テスト対象 - 許可、拒否、強制するURLルールを設定します。
- 詳細設定 - 並列リクエスト、ページタイムアウト、プロキシ、その他の読み込み制御。
- インベントリのカバレッジ - Silktideが見つけた内容がのリストと異なる場合がある理由。