検索エンジンのクローラーが特定ページへアクセスするのを防ぐこと。robots.txt で指示する。インデックス（検索結果への登録）を防ぐ noindex とは別の対策で、noindex はクローラーがページを取得したうえで登録を見送らせるものであり、クロールを拒否すると逆に noindex を読み取れなくなる。外部からリンクされたページは、robots.txt で除外していてもインデックスされることがある。