大規模サイトにおけるクロールバジェットの考え方について

クロールバジェットとは

クロールバジェットとは、1つのサイトに対してGooglebot（クローラー）がクロールできる最大上限数を指す言葉です。大規模サイトを運用するにあたり、この概念を理解しておくことで、評価してほしいページへの対策がとりやすくなります。

クロールバジェットの仕組み

まず、クロールについて説明します。サイトにページを新規で作成した場合、そのページが検索結果に表示されるためには、Googleを始めとした検索エンジンに存在を見つけてもらう必要があります。そこで登場するのがGooglebot（クローラー）です。クローラーは、サイト内のリンクをたどったりすることで、ページの存在に気付き、新しくその情報を登録します（インデックス）。

大規模サイトにおける考え方

大規模サイトの場合、どうしても管理していく上で、抜け漏れが出てきたり、ページを自動生成する上であまり質の高くないページが混在するなどの状況が起こりがちです。そうした場合、本来評価してほしいページがクロールバジェットの観点からクロールされないという事態が起こります。運用していく上で、こういった事態を避けるための方法を次に紹介します。

クロールバジェットに対する取り組み

クロールバジェットに対する取り組みを2つ紹介します。

1つ目は、XMLサイトマップの更新です。XMLサイトマップはクローラー向けのサイトマップを指し、サイトを訪れたユーザーが目にすることはありません。WordPressやオンライン無料ツールを使用することで作成可能となっており、更新するとGoogle Search Consoleにて送信します。この作業を行うことで、必要なページのみクロールしてもらえるようになります。

2つ目は、robots.txtの活用です。robots.txtは、クローラーに対して、このページはクロールしなくてもよいというメッセージを設定できるファイルになります。クローラーは基本的にサイトのすべてのページを取得しようとするため、robots.txtで指示を与えることで、インデックスしてほしいページ、してほしくないページを分けることが可能になります。

まとめ

大規模サイトで起こりがちなクロールバジェットに関する問題の仕組みを紹介しましたが、上記に挙げたような対策を行うことで、対処可能ですのでお役立ていただけますと幸いです。