A/Bテストから何を学ぶか

勝敗を決めるためのA/Bテスト

Webサイトの情報設計・デザインを考えるにあたって、複数の案の中からどれを採用すべきかで悩むことがあるかと思います。

たとえば、「日本のホテル検索・予約ができるスマートフォンサイト」を例にとってみましょう。このようなサイトでは大抵、ホテルごとに特徴や宿泊プランを確認できる「ホテルの詳細情報ページ」がありますが、スマートフォンサイトは画面幅が狭いこともあり、以下のようなレイアウトの選択を余儀なくされる場合があります。

• A案： ページ最上部には、ホテルの特徴（写真、アメニティ情報、など）を表示
• B案： ページ最上部には、所定の日に宿泊可能なプラン一覧を表示

漠然と旅行の計画を立てようとしているユーザーであれば、ホテルの特徴を見ながら検討をしやすいA案のほうが良いかもしれません。一方、旅行先や日程がすでに決まっているユーザーであれば、何よりも先に所定の日程で宿泊可能かどうかを調べられるB案のほうが良いかもしれません。

このような悩ましい状況のとき、ご存じの方も多いかと思いますが、2つのデザイン案を同時に公開して、アクセスログの結果を比較して結果の良かったデザインを最終的に採用する「A/Bテスト」という方法があります。上述のようなホテル予約サイトの場合は、詳細情報ページから予約完了へのコンバージョンレートが高かったほうの「勝者」のデザイン案として採用されることになります。

近年では、WebサイトのA/Bテストを容易に実行できるツールが数多く出てきているため、このような実験的な方法を用いて意思決定を行い始めている企業も増えてきています。

データを別の角度から捉えてみると…

さて、先ほどのA/Bテストの勝者が仮にB案「ページ最上部には、宿泊可能なプラン一覧を表示」であった場合、その後のアクションは当然、

• スマートフォンサイトのホテル詳細情報ページには、最上部に宿泊可能プランの一覧を表示する

ということになりますが、はたしてこの結果とアクションだけに満足してしまってよいのでしょうか？

ここで、A案 vs. B案のコンバージョンレートの比較だけではなく、別の視点も加えて結果を比較してみることにします。

たとえば、コンバージョンレートだけではなく、「ページでの滞在時間」や「写真のクリック数」も併せて見てみます。すると、

• A案は、コンバージョンは低いが、「ページでの滞在時間」や「写真のクリック数」についてはB案よりも高い

という結果が出てきたとします。もしこのような結果が得られた場合、以下のような洞察や仮説が生まれるのではないでしょうか？

• A案は、ホテルの特徴をしっかりと把握しながら比較検討したいユーザーにとっては使いやすいのではないか？
• ホテルを漠然と検討している段階のユーザーは、すぐには予約しないかもしれないが、検討しやすかったという良い体験が後々になってこのサイトでの予約に結びつくかもしれない

続いて、もう一つ別の視点として「デバイス」を加えてみましょう。たとえば、スマートフォンサイトだけではなく、PCサイトでも同様のレイアウト案を用いて結果を比較してみることにします。すると、

• PCサイトでは、A案とB案でコンバージョンレートの差がほとんどない
• スマートフォンサイトでの予約完了のコンバージョンレートは、PCサイトよりもかなり低い

という結果が出てきたとします。ここからは、

• スマートフォンサイトでB案の結果が良かったのは、出先で急にホテルを見つけようとしているユーザーがいるからではないか？
• もしかすると、スマートフォンサイトではスキマ時間にホテルを検討して、予約するときはキーボード入力がしやすいPCサイトで行っているユーザーも多数いるのではないか？

などの洞察や仮説が生まれるかもしれません。この例では大胆に仮説を導いていますが、データを見る角度を少し変えてみるだけでも、A/Bテストの結果からユーザー視点での仮説を検証・構築できることがおわかりいただけると思います。

このように、A/Bテストは使い方や分析視点の持ち方次第で、単にデザインの「勝敗」を決めるだけではなく、Webサイトとユーザーの関わり方について多くの「学び」や「新たな問題意識」を得られる可能性を持っています。

継続的な改善活動のためのA/Bテスト

以前、拙著のコラム「UXデザインの視点から考える運用ファースト」や「目で見て仮説を構築する」でも書かせていただいた通り、情報端末のモバイル化・マルチデバイス化などに伴い、ユーザーの行動や意識は今後ますます複雑で流動的になってくること予想されます。そのため、過去の成功体験にとらわれることなく、ユーザーの行動や意識を継続的に把握し続け、新たな仮説を構築し続けることが重要になってきます。

もちろん、A/Bテストを短期的な効果を見込むための方法として用いることも一定の価値があるとは思います。しかしながら、継続的にサイト改善を行っていくためには、A/Bテストの1回の「勝敗」にこだわるのではなく、A/Bテストを粘り強く繰り返しながら「Webサイトとユーザーのインタラクションについて学びを得る」という捉え方をしていくことが必要なのではないでしょうか。

そして、有意義な「学び」を得るためのA/Bテストを行うためには、単に場当たり的な比較を行うのではなく、

• どのような仮説に基づいて比較を行うのか？
• そのA/Bテストで何を検証しようとしているのか？
• その仮説を検証するためにどのようなデータを取得する必要があるのか？
• 一回のA/Bテストで検証できること、できないことは何か？
• 一回で検証できないことは、次にどのような手段を用いれば調べられるのか？
• A/Bテストで調べきれないことは、ユーザー調査などの定性的なアプローチも必要ではないか？

などの、しっかりとした「実験・分析計画の立案」と「継続的な繰り返し」が肝となるかと思います。

ミツエーリンクスでは「運用ファースト」のスローガンのもと、A/Bテストの計画立案・分析はもちろんのこと、ユーザー調査やユーザビリティテストなど、これまで培ってきたユーザーエクスペリエンス/ユーザビリティ向上のための各種ナレッジ・メソッドも総合しながら、お客さまのWebサイト運用における継続的改善を支援してまいりたいと考えております。