A/Bテストから何を学ぶか

Webサイトの情報設計・デザインを考えるにあたって、複数の案の中からどれを採用すべきかで悩むことがあるかと思います。

たとえば、「日本のホテル検索・予約ができるスマートフォンサイト」を例にとってみましょう。このようなサイトでは大抵、ホテルごとに特徴や宿泊プランを確認できる「ホテルの詳細情報ページ」がありますが、スマートフォンサイトは画面幅が狭いこともあり、以下のようなレイアウトの選択を余儀なくされる場合があります。

漠然と旅行の計画を立てようとしているユーザーであれば、ホテルの特徴を見ながら検討をしやすいA案のほうが良いかもしれません。一方、旅行先や日程がすでに決まっているユーザーであれば、何よりも先に所定の日程で宿泊可能かどうかを調べられるB案のほうが良いかもしれません。

このような悩ましい状況のとき、ご存じの方も多いかと思いますが、2つのデザイン案を同時に公開して、アクセスログの結果を比較して結果の良かったデザインを最終的に採用する「A/Bテスト」という方法があります。上述のようなホテル予約サイトの場合は、詳細情報ページから予約完了へのコンバージョンレートが高かったほうの「勝者」のデザイン案として採用されることになります。

近年では、WebサイトのA/Bテストを容易に実行できるツールが数多く出てきているため、このような実験的な方法を用いて意思決定を行い始めている企業も増えてきています。

さて、先ほどのA/Bテストの勝者が仮にB案「ページ最上部には、宿泊可能なプラン一覧を表示」であった場合、その後のアクションは当然、

ということになりますが、はたしてこの結果とアクションだけに満足してしまってよいのでしょうか？

ここで、A案 vs. B案のコンバージョンレートの比較だけではなく、別の視点も加えて結果を比較してみることにします。

たとえば、コンバージョンレートだけではなく、「ページでの滞在時間」や「写真のクリック数」も併せて見てみます。すると、

という結果が出てきたとします。もしこのような結果が得られた場合、以下のような洞察や仮説が生まれるのではないでしょうか？

続いて、もう一つ別の視点として「デバイス」を加えてみましょう。たとえば、スマートフォンサイトだけではなく、PCサイトでも同様のレイアウト案を用いて結果を比較してみることにします。すると、

という結果が出てきたとします。ここからは、

などの洞察や仮説が生まれるかもしれません。この例では大胆に仮説を導いていますが、データを見る角度を少し変えてみるだけでも、A/Bテストの結果からユーザー視点での仮説を検証・構築できることがおわかりいただけると思います。

このように、A/Bテストは使い方や分析視点の持ち方次第で、単にデザインの「勝敗」を決めるだけではなく、Webサイトとユーザーの関わり方について多くの「学び」や「新たな問題意識」を得られる可能性を持っています。

以前、拙著のコラム「 UXデザインの視点から考える運用ファースト 」や「 目で見て仮説を構築する 」でも書かせていただいた通り、情報端末のモバイル化・マルチデバイス化などに伴い、ユーザーの行動や意識は今後ますます複雑で流動的になってくること予想されます。そのため、過去の成功体験にとらわれることなく、ユーザーの行動や意識を継続的に把握し続け、新たな仮説を構築し続けることが重要になってきます。

もちろん、A/Bテストを短期的な効果を見込むための方法として用いることも一定の価値があるとは思います。しかしながら、継続的にサイト改善を行っていくためには、A/Bテストの1回の「勝敗」にこだわるのではなく、A/Bテストを粘り強く繰り返しながら「Webサイトとユーザーのインタラクションについて学びを得る」という捉え方をしていくことが必要なのではないでしょうか。

そして、有意義な「学び」を得るためのA/Bテストを行うためには、単に場当たり的な比較を行うのではなく、

などの、しっかりとした「実験・分析計画の立案」と「継続的な繰り返し」が肝となるかと思います。

ミツエーリンクスでは「 運用ファースト 」のスローガンのもと、A/Bテストの計画立案・分析はもちろんのこと、ユーザー調査やユーザビリティテストなど、これまで培ってきたユーザーエクスペリエンス/ユーザビリティ向上のための各種ナレッジ・メソッドも総合しながら、お客さまのWebサイト運用における継続的改善を支援してまいりたいと考えております。