クローラー

検索エンジンなどがWeb上のページを自動的に巡回し、リンクを辿ってテキスト・画像・動画を収集するプログラム。収集した情報はインデックス登録の判断に使われるが、クロールされたページが必ずインデックスに登録されるわけではない。クロールとインデックス登録は別の段階である。