Silktideのクロール方法
Silktideは、従来のHTML専用ボットのようにはクロールしません。各ページを実際のブラウザー（ヘッドレスChrome）で読み込むため、スクリプトの実行、レイアウトの再配置、リソースの読み込みが完了した後に、人が見るものにおおむね近い状態を確認できます。
そのため、Silktideはソースのみを対象とするクローラーでは見逃される、最新のJavaScriptを多用したサイトをテストできます。また、結果にはレイアウト、コントラスト、スクリーンショット、ページの読み込みが安定した後の最終的なHTMLなどを含めることができます。
クロールで行われること
通常のテスト実行では、次の処理が行われます。
- ウェブサイトのホームページ（および設定した強制ページ）から開始します。
- 対象範囲内の各ページを、デスクトップで、また有効にしている場合はモバイルでも、ブラウザーで読み込みます。
- リンクからさらにURLを検出し、多くの場合はサイトマップからも検出します。
- 対象範囲内のすべてがカバーされるか、ウェブサイトのに達するまで続行します。
テスト対象で、どのURLをその対象範囲に含めるかを管理できます。高度なクローラー設定では、SilktideがそれらのURLを検出して読み込む積極性を変更できます。詳しくはページの読み込みをご覧ください。
ページとファイルの違い
Silktideが見つけたすべてのものが、同じ方法で読み込まれるわけではありません。
- HTMLページはブラウザーで開かれます。JavaScriptが実行され、ページをスクロールでき、結果を取得する前に、Silktideが設定されたコントロール（たとえばCookieバナーを閉じるボタン）をクリックできます。
- PDFやその他多くの文書は、クロール中に（通常はページからのリンクとして）検出され、完全なブラウザーページとしてレンダリングされるのではなく、ファイルとしてダウンロードされます。これらは引き続きドキュメント容量にカウントされ、到達可能である必要もあります。
PDFのURLがPDFのように見えない場合（たとえば、.pdf拡張子がない場合）、SilktideはそのURLをページとして分類し、代わりにページ許容量を消費することがあります。詳しくはページ制限によってPDFのテストが妨げられるのはなぜですか？をご覧ください。
これが重要な理由
Silktideは実際のブラウザーを使用するため、次のことが可能です。
- 生のHTMLレスポンスだけでなく、クライアント側でレンダリングされたコンテンツを確認できます
- ページを操作できます。バナーを閉じたり、ユーザーフローを実行したり、設定された認証を完了したりできます
- スクリーンショットを取得し、コントラストやレイアウトなどの視覚的な特性を測定できます
- リクエストは引き続きSilktideのインフラストラクチャ（またはプロキシ）から送信されるため、ファイアウォールやボット対策によって妨げられる可能性があります
「Silktideには自分が見ているものが見えていますか？」への簡潔な回答については、Silktideはどのようにウェブサイトを認識しますか？をご覧ください。