検索エンジンのクローラー用サイトマップ(sitemap.xml)とは

サイトマップには2種類ある

サイトマップには2種類あって、1つはサイト全体のページ一覧を表示しているもの。これは人が利用するサイトマップです。もう1つは検索エンジンのクローラー(定期的にインターネット上のサイトを巡回しているロボット)専用のサイトマップ。これは通常サイト上には表示されませんが、適切な場所(通常はサイトTOPページ)に適切なファイル名(sitemap.xml)でサイトマップを作成し、検索エンジンに登録(送信)するとクローラーはこれを優先的に読み取ってくれます。

sitemap.xmlはXML形式で記述します。このクローラー用のサイトマップがあれば、サイト全体を把握しやすくなるため検索エンジンはサイトのTOPページだけでなくその下の階層のページもインデックスしてくれます。(必ずインデックスされるわけではありませんがインデックスされる可能性が高くなります)

インデックスされないページは検索結果には表示されないので、クローラー用サイトマップは用意したほうが良いと思います。

Googleではサイトマップを以下のように説明しています。

サイトマップは、検出が難しいサイトのページの情報を Google に提供する手段です。XML サイトマップ（通常は「サイトマップ」と呼ばれます）は、簡単に言うと、ウェブサイト上にあるページのリストのことです。サイトマップを作成して送信すると、Google の通常のクロール処理では検出できない可能性のある URL を含むサイト上のすべてのページを Google に知らせることができます。

サイトマップは次の場合に特に役立ちます:

* サイトに動的なコンテンツが含まれている。
* Rich AJAX や画像を使用しているページなど、Googlebot のクロールでは簡単に検出されないページがサイトに含まれている。
* サイトが新しく、他のサイトからのリンクが少ない（Googlebot は、ウェブをクロールする際にリンクをたどってページ間を移動するため、サイトへのリンクが少ない場合は、Google で検出できないことがあります）。
* 適切にリンクされていないページや、どこからもリンクされていないページがサイトに大量に含まれている。

Google では、すべての URL をクロールする、またはインデックスに登録することは保証できません。それでも、サイトマップのデータを使用してサイトの構造を把握することで、サイトのクロールスケジュールおよび今後のクロール処理を改善することができます。ほとんどの場合、サイトマップを送信することで有益な結果が得られ、デメリットとなることはありません。

Google は、sitemaps.org で定められているサイトマッププロトコル 0.9 を遵守しています。このため、サイトマッププロトコル 0.9 を使用して Google 用に作成されたサイトマップは、sitemaps.org の規格を採用する他の検索エンジンと互換性があります。