トピックス0015
2008.07.10 萩本
ユーザビリティテストのクォリティは、何で決まるのだろう。
評価した製品の使い勝手がいいかどうかは、製品のクォリティであってテストのクォリティではない。だから被験者のつまずきが少なかったテストがいいテストではない。非常に特殊なスキルを持った被験者から面白い意見が聞けたテストはいいテストだと言えるか？でも、その製品の大多数のユーザは、そう思っていないかもしれない。従って、これも質の高いテストとは言えない。被験者の発話が多いテストはいいテストか？発話は少ないよりは多い方がいいが、発話量が直接テストの質の高さを示すわけではない。
ユーザビリティにおいては、製品の使い勝手の良し悪しは製品の仕様によって生み出されると考える。だとすれば、何らかの仕様を持った製品やサービスがそこにあれば、そのユーザビリティレベルはすでに決まっている。つまり、その製品のどの部分にどんな問題を含んでいるかはすでに決まっているのである。これを“真の問題”と呼ぶことにしよう。ユーザビリティテストは、既にそこにある“真の問題”をいかに見つけ出すかという活動なのだ。
これは、物体の運動を観察することで運動方程式を見つけ出したり、生物を様々に交配させて遺伝の法則を解き明かすような、自然科学のアプローチに似ている。
真の問題を過不足なく言い当てられれば、そのユーザビリティテストは完璧だったと言える。実際にはこんなことはまずあり得ないし、そもそも誰にも正解はわからないので、正答率を算出することもできない。この議論はあくまでも仮想的なものであるが、ともかく、ユーザビリティテストの質は、一言でいえば“真の問題の発見率”で決まる。
さて、今ここに真の問題を100個持っている製品があったとしよう（もちろん、実際には誰もこの数を知らない）。この製品をテストした結果60個の問題が見つかった場合、発見率60%となる。残りの40個は、見落としてしまったわけである。では、テストの結果100個の問題が見つかれば100%なのか？実はそうではない。その100個の中には、本当は問題ではないのに問題とみなされてしまった項目が含まれているかもしれない。
すなわち、ユーザビリティテストで減点の対象となる評価ミスには、
の2種類がある（2種類しかない）。
ユーザビリティテスト実施における各作業プロセスには、なるべくこの2種類のミスを犯さないようにするための工夫が多々ある。ユーザビリティ活動のノウハウの多くが、実はこの評価ミスミ対策だといっても過言ではない。テストの質を上げたいなら、これらの工夫をより多く実行する必要がある。
例えば、被験者について着目してみると、評価ミス対策はリクルーティングの時点で既に始まっている。被験者は、実際のユーザになるべく近い属性の人が望ましい。例えば、実際よりレベルの高い人だと真の問題が抽出できない可能性があり、レベルの低い人だと余計な問題が抽出されてしまう、といった具合だ。被験者が急な事情でテストに参加できなくなると、データを得る機会が減り、問題を見つけそこなうかもしれない。この対策として必要人数より少し多めに被験者を集めておくことがある。
テストの実施中は、被験者にはなるべくリラックスして、普段通りの実力を発揮してもらう必要がある。極度の緊張は、普段以上につまずきを増やしてしまったり、逆に普段より慎重なふるまいにつながる。これらはいずれも評価ミスにつながるおそれがある。被験者に質問する際は、質問自体の意味をわかりやすく、かつ答えやすく伝えるべきである。これは、誤解に基づいた回答や無理やりな回答を避けるためである。
分析段階では、必要に応じてビデオ映像を見返し、テスト時に起こった出来事を繰り返し検証できるようにする。被験者の行動と本人の意見が矛盾している場合、行動の方を正しいデータとして扱うことが多い。本人のコメントには多分に嘘や誇張が含まれるが、行動で嘘をつくのは難しいからである。
評価ミス対策は、テスト計画の立て方や作業手順によるもの、被験者とのやりとりや心理的駆け引きによるもの、映像、音声機材等の技術によるもの、評価者の知識や経験に基づくスキルや判断力によるものと、多岐にわたる。真の問題に限りなく迫るためには、そこまでする必要がある。
ただ、テストの目的が真の問題を見つけるためだということに気付けば、一つ一つの工夫がどんなミスを防止するためのものかわかりやすくなる。何らからの理由で工夫を省略する場合でも、そのリスクを認識できるし、なるべく影響の少ないものを選ぶことができるだろう。そうすれば、ユーザビリティテストのクォリティは、ある程度コントロールできる。
2008.07.10作成 2009.06.08フォーマット修正
