Silktide は robots.txt を尊重しますか？

既定では、いいえ。Silktide は意図的に、robots.txt（および一般的な noindex / nofollow のヒント）を、テスト可能範囲の厳密な制限としては扱いません。

検索エンジンは、それらのファイルを「どれをインデックスするか」を決めるために使います。Silktide の役割は異なります。robots.txt によってたまたまブロックされているページも含め、実際の利用者が遭遇し得る問題を見つけることです。多くの robots.txt は、一般的なクローラーからユーザー向けコンテンツを誤って隠してしまいます。

Silktide が何をテストするかは、引き続きあなたが制御できます:

• テスト対象 の「含める」と「除外する」ルール
• ページ許容量 と PDF の上限
• 詳細設定 にあるクロール速度と並列リクエストの設定

特定のサイトで robots.txt のルールを厳格に適用する必要がある場合は、Silktide サポートにご連絡ください。明確な理由がある場合はそのように設定できます。