（この記事は、2020年6月4日に公開された記事「Remote Testing in a Covid-19 world」の日本語訳です。UXallianceのパートナー企業として日本語版をお届けしています。翻訳の正確性は保証いたしかねますので、必要に応じ原文を参照ください。）
Covid-19のパンデミックにより自宅で仕事をすることを余儀なくされ続けているため、企業はリモートで働く新しい方法を取り入れています。幸いなことに、UXリサーチ業界では何十年もリモート調査を行ってきているので、多くの手法とツールを使うことができます。しかし、ほとんどのUXリサーチャーは対面方式に重点を置いているため、リモート調査に慣れていない可能性があります。そのため、UXallianceではリモート調査に関する一連の記事を投稿しており、この記事はリモートテストを取り上げています。
リモートテストは多くのリサーチャーによって過小評価されています。対面テストは、多くの調査（特に、探索的および文脈的調査）に不可欠ですが、リモートテストにも多くの利点があります。この記事では、リモートテストが提供できる機能の概要を説明します。Covid-19が蔓延している間、リモート調査の知識は重要ですが、沈静化した後でも、対面とリモートのよりよいバランスをとっていきましょう。Covid-19の予期せぬプラス効果かもしれません。
リモートユーザーテスト手法の概要
詳細について説明する前に、さまざまなリモートテスト手法があり、幅広いツールとサービスがあることをご紹介します。概要をわかりやすくするために、リモートテスト手法を3つのグループに分けました。
1. モデレートされたリモートテスト
これは対面テストに最もよく似た方法です。モデレーターと参加者がいてリアルタイムで対話します。モデレーターの役割は、参加者がタスクを完了しようとする様子を観察し、進行中にフォローアップの質問をすることです。リモートでモデレートされたテストは、画面共有機能を備えたビデオ会議ツール（Zoom、GoToMeeting、Skypeなど）と、参加者の非言語的フィードバックをキャプチャするWebカメラを使用して行うことができます。
モデレートされたリモートテストを使用すると、モデレートされていないテストからは得られない貴重な定性的フィードバックを得られます。参加者が無言で操作し続けた場合、参加者が何を考えているか尋ねることができます。参加者がタスクを理解していない場合、理解してもらうために説明することができます。このように、モデレートされたテストは、初期のプロトタイプや複雑な機能などをテストするのに最適な方法になります。
2. モデレートされないリモートテスト
モデレートされないリモートテストは、モデレーターなしで参加者が好きなときに実施します。テストは、書面にしたテストスクリプトを使用し、タスク実施後の追加質問が含まれる場合と含まれない場合があります。App Quality、UserTesting、UserFeel、Userlyticsなどの専用のテストツールは、モデレートされないリモートテストを実施するために広く使用されています。これらのツールを使えば、製品またはプロトタイプへのリンクを共有して、詳細なテスト手順を含むスクリプトをテスト参加者に示すことができます。これらはリモートのモデレートされていないテストツールですが、参加者に思考発話でタスクを実行するように依頼することで、定性的な調査を行うことができます。ツールは、ユーザーの発話を画面と一緒に記録します。場合によっては、ユーザーの顔も記録します。リサーチャーはテスト完了後、取得した映像を参照できます。
モデレートされていないリモートテストでは、複数のユーザーからフィードバックをすばやく収集できます。通常、リクルーティングは迅速に行われ、複数のユーザーが同時にテストを実施できるため、モデレーターがセッション時間をスケジューリングする必要はありません。モデレーターやテストルームの費用が必要ないので、コストも低く抑えられます。モデレートされていないほとんどのテストツールは、テスト参加者のリクルーティングにも利用できて、テスト環境のセットアップが簡単になります。
モデレートされていないテストの欠点は、予定外の質問や説明ができないことです。これは、操作するための支援が必要なプロトタイプや概念やアイデアをテストするには適していないことを意味します。
3. 定量的リモートテスト
ユーザーテストは通常、ユーザーの行動について「やり方」と「理由」に関する洞察を得るため、定性的なデータを収集することを目的としています。ただし、「何を」「いくつ」に関心がある場合は、定量的な方法に焦点をあてることができます。時間の経過に沿ってユーザビリティを測定したい場合や、データ指向の関係者向けのデータが欲しい場合、簡単にデータを取得できます。 定量的ユーザーテストは常にモデレートされておらず、タスクに費やされた時間、満足度、成功率、自己評価の難易度などの指標を取得します。ほとんどのモデレートされていないテストツールは、定量的指標と定性的指標の両方の組み合わせを扱えます。一部の定量テストプラットフォームは、情報アーキテクチャなどの一部のドメインに特化しており、ヒートマップ、スクロールマップ、サイトマップ（ツリーテスト）が含まれます。
ここまで手法の概要を説明してきましたが、これらの手法をどのように選択すればよいでしょうか。以下のパートでは、それぞれの手法の長所と短所について説明します。さらに、リクルーティングとサンプル数にも言及します。
モデレートされたリモートテストを使用する場合
モデレートされたリモートテストは、対面調査の優れた代替手段です。行動を観察し、モデレーターが直接質問することができる典型的なテストセッションを可能にします。この方法の長所は次のとおりです。
- 操作するのに支援が必要なプロトタイプを使用できます。モデレーターは、プロトタイプの制限が原因で参加者が先へ進めなくなった場合に、介入して次のアクションを促すことができます。
- ユーザーの実際のコンテキストでテストできます。
- 予期していなかったユーザーの行動を見たときに、フォローアップの質問をすることができます。
- モデレートにより進行の柔軟性が増すため、厳密なインタビュースクリプトは必要ありません。
この方法の短所は次のとおりです。
- 参加者側のテスト環境を制御できません。不要なノイズ（犬の吠え声や子供たちの邪魔など）が入る恐れがあります。
- モバイルデバイスでのテストは注意が必要です。参加者のモバイル画面を共有するために適切なテスト環境を準備するのは困難で、参加者の手の動きが見えない場合があります。
- モデレーションとテスト結果の分析は、対面調査と同じくらい時間と費用がかかります。したがって、比較的小さなサンプルサイズに適しています。
- 収集されるデータの品質は、インターネット接続の品質に依存することが多いため、低帯域幅の地域にいる参加者には適していません。各セッションの前に、参加者のインターネット接続の品質を確認する必要があります。
- 同時翻訳のストリーミングは、セットアップが難しい場合があります。たとえば、Zoomを使用した実際のモデレートされたリモートテストについては、以下の図を参照してください。この状況では、モデレーターと参加者はオランダ語を話していましたが、書記とクライアントは英語の通訳音声を別チャンネルで聞く必要がありました。
同時通訳によるモデレートされたリモートテストのセットアップ例
リモートのモデレートされたテストは、開発の初期段階で使用すると効果的です。プロトタイプはおそらくガイダンスを必要とし、ユーザーの動機と理解に関する未知の部分はセッション内でのヒアリングを必要とする場合があります。「なぜ」を深掘りして、ユーザーの動機や行動についてフィードバックを得るのに非常に適しています。
モデレートされていないリモートテストを使用する場合
モデレートされていないリモートテストの主な長所は次のとおりです。
- ユーザーの行動とコメントの音声/動画の記録から、行動や指標の理由を裏付けることができます。
- 参加者の表情（Webカメラを持っている場合）と音声を頼りに、参加者の感情的な状態と欲求不満を知ることが可能です。
- 大きなサンプルのデータ収集は、モデレートされたテストよりも高速です。
- リクルーティングはクラウドソーシングプラットフォーム（参加者が自発的に参加し、スクリーナーのアンケートでのみ確認される）を介して簡単に行うことができます。この方法による募集は驚くほど迅速（数週間ではなく数日）になります。
- 多言語によるテストは、翻訳者がテストをローカライズし、テスト完了後に口頭のコメントを翻訳することでサポートできるため、単一のチームで実施できます。（注-翻訳が正しいか確認するには、現地の言語をある程度理解している必要があります。）
モデレートされていないリモートテストの主な短所は次のとおりです。
- リサーチャーはセッションの記録をチェックする必要があるため、通常、モデレートされたテストと同じだけ分析に時間がかかります。（記録されたパフォーマンス指標のレビューに基づいて）一部のセッションのみをチェックすることは可能ですが、分析品質を低下させます。
- 説明やガイダンスを提供するモデレーターがいないため、操作するための支援を必要としないプロトタイプにのみ適しています。参加者の操作が止まってしまうと回復できないので、タスクを終了してもらうしかありません。
- タスク後およびテスト後の質問は事前に設定されているので、記録されたセッションについて深掘りすることはできません。予期せぬことが起きて、想定したようにテストされていない可能性があります。
- 厳密な質問スクリプトを入念に準備しておく必要があります。スクリプトの準備に時間がかかる一方で、柔軟性がないものになります。
定量的リモートテストを使用する場合
定量的リモートテスト：参加者がタスクを実行し、参加者のクリックや操作だけでなく、タスク後およびテスト後の質問も記録されます。通常、セッションの音声と動画の記録はなく、映像の見返しによる分析は必要ありません。市場に出ているいくつかのリモートテストプラットフォームでは、リモートの参加者がセッションの記録なしで、自分でテストセッションを完了することができます。
定量リモートテストの主な長所：
- テストは完全に自動化されているため、データを収集するために必要な作業は最小限です。
- 分析とレポートは、クリックとナビゲーションパスのほか、パフォーマンス指標（タスクの時間など）と参加者の自己レポート指標を部分的に自動化して記録することもできます。
- テストプラットフォームは、アルゴリズムを使用してデータ分析を容易にすることにより、データの意味を理解することをサポートできます。
- 大きなサンプルでも分析に長時間を要しないため、統計的に有意なスケールでパフォーマンスとエラーを定量的に測定することを目的にできます。
- 定量的データはそれ自体で、または定性的データと組み合わせて、ビジネス関係者に説得力を持たせることができます。
- 定量的テストにより、長期にわたるテスト結果の信頼できる比較が可能になります（ベンチマーク）。
定量リモートテストの主な短所：
- 参加者の行動の背後にある動機と理由を簡単に判断することはできません。たとえば、支払いページの[戻る]ボタンをクリックした参加者の数を確認できますが、目的の支払い方法が利用できないためか、ページの行動を促すフレーズが明確でないためかどうかはわかりません。
- モデレーションとライブビデオの記録がないため、参加者の意見や印象について収集できる洞察は、事前に設計してテストに組み込んだ質問に限定されます。考えられる解決策の1つは、ポストタスクおよびポストテストのアンケートに自由回答形式の質問を含めることですが、分析に必要な時間が長くなってしまいます。
定量的な自動テストには、思考発話やビデオ録画は含まれません。ほかのリモートテスト方法とは完全に異なり、モデレートされたテストの代わりにはなりません。これは、プロジェクトの範囲が限定されていて、簡単な質問で簡単に答えられる場合に役立ちます。定量的リモートテストは、設計がほぼ完了し、機能に関していくつかの直接的な未解決の質問がある場合、開発プロセスの後半の段階で用いるのが適しています。
ほかの形式の定量的なモデレートされていないテストは、カードソーティングやツリーテストなど、情報アーキテクチャデザインで使用されるものです。これらの使い方の目標は、情報のメンタルモデルを明らかにして情報アーキテクチャへの適用を決めることです。そのため、多数の参加者から得られた調査結果を自動クラスター分析する利点と比較すると、ユーザーからのコメントの言語化は、小さな犠牲として切り捨てられます。
リクルーティングとサンプルサイズ
リモートテストでは、何人の参加者を考慮する必要があるでしょうか。一般に、通常の対面テストで考慮する事項は有効です。定性調査は、数人から数十人の小さなサンプルで実施できます。これは、統計的に有意な検証ではなく、質と量の両方を求めるためです。この場合、モデレーターのガイダンスでそれらの洞察をよりよく理解して調査できるため、最適な方法はモデレートされたテストです。問題をよりよく理解しているがユーザーから明確なフィードバックを収集したくてプラットフォームが思考発話を録音できる場合は、モデレートされていないテストを選択することもできます。この場合、分析の作業を最小限に抑え、録音を聞く時間をできるだけ短くするために、比較的小さいサンプルサイズでも大丈夫です。追跡可能な特定のイベントまたは行動（行動を促すフレーズのクリックなど）を調査している場合は、焦点を当てたい参加者をフィルタリングできるように大きなサンプルが必要になる場合があります。リサーチャーをクラウドソーシングして思考発話の録音を聞くことを委託するモデレートされていないリモートテストプラットフォーム（UserTribe、AppQualityなど）がいくつかあります。これらのプラットフォームは効果的な時間の節約になりますが、通常、自分で行うのに匹敵する費用がかかります。
調査の質問がセッションの記録なしでリモートのモデレートされていないテストで答えられるほど簡単で大きなサンプルサイズを使用したい場合は、定量的テストを検討するとよいでしょう。これは、代替ソリューションの正確なパフォーマンス指標を比較する場合に特に有効です。この場合、数十または数百の参加者の大きなサンプルは、重要な結果を得るために価値があります。最新のリモートテストツールのほとんどには、テスターのパネルに基づく、またはソーシャルメディアによる新規リクルーティング（クラウド募集）によるリクルーティングサービスが含まれています。これにより、迅速なリクルーティング（数週間ではなく数日）が提供されますが、注意しないと品質が低下する可能性があります。スクリーナーアンケートの設計には細心の注意を払い、調査に関係のない参加者を除外し（明確な除外基準を使用）、調査への参加を許可するために厳密な条件で調査票を通過させる必要があります。厳密にし過ぎると必要なサンプル数を確保できない恐れもあるので、条件に冗長性を組み込んで通過させた後で厳選するとよいでしょう。
結論：リモートテストを併用しましょう
ユーザーテストはあまりにも重要で、Covid-19の世界でも無視できません。そのため、多くのUXリサーチャーは、初めてリモートテストを真剣に検討しています。幸いにも、確立された手法、ツール、サービスがあります。この記事では、特に対面テストと比較して、リモートテストで何ができるかを示しました。また、Covid-19の制限された世界では、リモートテストの利点がさらに明確になります。すべてのUXリサーチャーに、リモートテストに（もっと）慣れることをお勧めします。Covid-19のパンデミック中であろうとその後であろうと、リモートテストはツールボックスの優れた道具の1つです。この記事を読んで、リモートテストで利用できる手法についての理解を深めていただければ幸いです。高度な方法の複雑さを怖がらせないでください。基本は実際にはそれほど難しくありません。結局のところ、ユーザー調査を行う1つのやり方に過ぎません。この記事に興味をお持ちの場合は、ほかの記事もご覧ください。Covid-19の世界でUX調査を行うほかの側面に焦点を合わせています。
ここまで読んでくれてありがとう。私たちの記事へのコメントをいただけると幸いです。