クローラー（Crawler）とは、Googleなどの検索エンジンが無数のWebサイトの情報を収集して巡回するために使っている自動プログラムのことである。
クローラーは、検索エンジンがウェブ上の情報を収集するために使用するプログラムまたはスクリプトのことを指す。
クローラーは、自動的にウェブページを巡回し、そのコンテンツを取得して検索エンジンのデータベースにインデックスする。このプロセスは一般に「クローリング」と呼ばれている。
クローラーは次のような主な機能を持っている：
- ウェブページの巡回（Crawling）：クローラーはウェブ上のリンクをたどり、新しいウェブページを発見し、それらのページを収集する。このプロセスを巡回と呼んでいる。
- コンテンツの取得（Content Retrieval）：クローラーはウェブページのHTMLコードを取得し、そのページのコンテンツを抽出します。この情報はインデックス作成のために使用される。
- リンクの解析（Link Analysis）：クローラーはウェブページ内のリンクを解析し、新しいページへのリンクを見つけ、それらのリンクを巡回する。これにより、新しいウェブページを発見し、検索エンジンのインデックスに追加する。
- スケジューリング（Scheduling）：クローラーはウェブページの巡回を効率的に行うために、リンクの重要度や頻度などの要因を考慮してクロールのスケジュールを決定する。
代表的なクローラーとしては、GoogleのGooglebot、BingのBingbot、YahooのYahoo Slurpなどがある。
これらのクローラーは、検索エンジンがインデックスを作成し、ユーザーの検索クエリに応じて適切な検索結果を提供するために欠かせない役割を果たしている。