クローラー

検索エンジンがWebサイトの情報を収集するためにインターネット上を巡回するロボット（bot）のことです。クローラーが集めた情報はデータベースにインデックスされ、検索順位を決めるのに使われます。