SEO（検索エンジン最適化）を進めるにあたり、検索エンジンの仕組みを知っておくことが大切です。Googleが採用しているロボット型検索エンジンでは、いったいどのようにしてインターネットで検索を求められた言葉（｛クエリ｝と言います）を探しているのでしょう？ここで登場するのが、「クローラー（Crawler）」と呼ばれる巡回ロボット（と言ってプログラムですが）です。クローラーが、リンクを巡回することを「クロール」すると言い、クローラーでリンクの張られた状態をクローラーで通り道を作る、と言います。クローラーは、ロボットと名付けられているように、人手を介さず昼夜休みなくモクモクとリンクを巡回しています。そして、巡回して得たページ内の情報を「インデックス（index）」という索引に貯めこんでいきます。ということは、このインデックスに無いページは、検索しても出てこないということになります。そこで注意。新規にサイトを作成したら、まずクローラーを呼び込んでインデックスに登録してもらわないといけない、ということです。これを怠ると、いつまでたっても検索結果に反映してもらえません。苦労も水の泡です。
クローラーの呼び込み方
新規サイトを作成したらまずクローラーを呼び込んでインデックスに登録してもらわないと検索結果に反映されないということが分かりました。ではクローラーを呼び込むにはどうすれば良いのでしょうか？クローラーを呼び込むにはいくつかの方法があります。①クローラーの通っている外部サイトからリンクを張る②サイトマップ（Webサイトのページリスト）を作って検索エンジンへ送信する③直接検索エンジンにURLで通知する、等です。ただし、すぐ反映されことはないと思っていた方がいいです。クロールされる頻度、よく更新等されるWebページかどうか、などGoogleのアルゴリズムが自動で判断しているためです。先々のことを考えると、②のサイトマップを作成しておくのが賢明かもしれません。
