SEO用語集
robots.txt
【英語表記】 robots.txt
robots.txt(ロボッツドットテキスト)とは、検索ロボットまたは、スパイダーと呼ばれているプログラムに対し、クローリングされたくないWEBページを記述する事でクローリングを制限する事の出来る命令文。
例えば下記の様なディレクトリを持つWEBサイトがある。
index.html ----
|-- img
|-- php
|-- news
このWEBサイト中の、PHPフォルダ内を検索エンジンに見られたく無い場合、ウェブサイトのルートディレクトリ（index.htmlと同階層）にrobots.txtを設置し、適切な命令を記述する事で可能となる。
この場合の命令文は、
────────────────────────
User-agent: *
Disallow: /php/
────────────────────────
と記述することで、検索データベースへの登録を禁止する事が出来る。
制御したいファイルが存在しない場合robots.txtを設置する必要は無いが、SEO的な観点では設置した方が良いと言える。
理由は、優秀な検索ロボットがWEBページを巡回する場合にはまずrobots.txtを探すからである。
制御したいファイルが無い場合は、下記の記述をルートディレクトリへ設置する事をお勧めする。
────────────────────────
User-agent: *
Disallow:
────────────────────────
これは、全てのロボットが全てのページを巡回しても良い。
という命令となり、検索ロボットも迷わずクロールが出来る様になる。
最近（08.08.0現在）サイトマップ（XML）のURLを記述する事で、サイトマップの有無をクローラーに知らせる事が可能となった。
記述方法は以下の通り
────────────────────────
User-agent: *
Disallow:
Sitemap: http://www.seo119.com/sitemap.xml
────────────────────────
