Noindex

Noindex は、検索エンジンに対して、そのページを検索結果に含めないよう指示するための設定です。ページの HTML の robots メタタグ、またはレスポンスの X-Robots-Tag ヘッダー で指定します:

<meta name=\"robots\" content=\"noindex\">

noindex が設定されたページは通常どおり閲覧できますが、検索結果には表示されません。これにより、意図せず noindex を付けてしまっても気づきにくく、ページ自体は問題なく見えるのに、検索エンジンから見つけてもらえなくなります。none ディレクティブは noindex, nofollow と同義です。

noindex は、クローラーが実際にそのページへ到達できる場合にのみ機能します。もし robots.txt で同じ URL を禁止していると、クローラーはページを取得せず、noindex タグを見ることもないため、それでもページがインデックスされてしまう可能性があります（多くの場合、スニペットなしで URL だけが表示されます）。確実に検索結果から除外したい場合は、クロールは許可し、noindex のみを使用してください。

参考情報

• noindex で検索インデックスをブロックする - Google の noindex に関するガイダンス
• robots.txt
• HTTP ヘッダー