robots.txt

クローラーのアクセス制御するためのファイルのこと。

このファイルを使用すると、アクセス制限のページにはクローラーが回らずに情報収集はされない。

また、新しいページであればインデックスされずに、既にインデックスされたページの場合は、情報更新されなくなる。

主に検索エンジンにインデックス登録させたくない場合、例えば会員限定や非公開ページなどに活用する。