クローラー
クローラー とは、ページ間のリンクをたどって自動的にウェブサイトを読み取るプログラムです。検索エンジンはインデックスを構築するためにクローラーを使用し、(ウェブを読むため)。Silktide も、あなたのウェブサイトのページを発見しテストするためにクローラーを使用します。
Silktide のクローラーは、生の HTML を読むだけではなく、実際のブラウザーでページを読み込みます(Silktide がどのようにクロールするか を参照)。サイトは やファイアウォールのルールでクローラーを制御するため、あなたのブラウザーでは問題なく表示できるページでも、クローラーからは見えない場合があります。
さらに詳しく
- Googlebot とは - Google 独自のクローラーの解説(参考例)
- クロール