ウェブ上の文書や画像などを周期的に取得し、自動的にデータベース化するプログラムである。「ボット」 、「ロボット」、「スパイダー」、などとも呼ばれる。 主にGoogleやBingなどの検索エンジンのデータベース、インデックス作成に用いられるほか、統計調査などの目的にも利用される。
