密歇根大学官方课程：10分钟学会进行可用性测试！

大家好，这里是 TCC 翻译情报局，我是李泽慧。设计是为了解决某个问题而做的，当我们通过设计尝试解决问题、改善用户体验以后，你无法确认你的方案是否能解决用户问题，“我的设计真的好吗？真的有效吗？”所以为了得到答案，你需要找人测试一遍，我们将这个过程称为「可用性测试」，可以说“可用性测试”是交互设计中进行设计验证的必不可少的环节。这篇文章是作者一个月的课程总结，对可用性测试做了很全面的介绍，值得一读～

用户参与设计评估是密歇根大学最近推出的课程，这门课属于他们最近推出的用户体验（UX）设计研究课程的内容，展现了以形成性测验 [1]（Formative testing）为重点的用户测试方法。

（形成性测验：亦称 “形成性评量”，与 “总结性测验” 相对。教学和学习过程中，用于了解学生掌握教学内容情况及教学中存在的问题的测验。一般在学完一个单元或一个章节时进行。）

尽管我强烈推荐这门课程，但说实话，我发现这门课程没有遵循逻辑顺序，使人很难跟上进度。我希望这个总结能帮助更多人更好地学习这门课程。

用户测试的类型

1. 总结性测试

• 目标：证明论点或回应假设，例如：“在 x 测试中方案 A 是否优于方案 B？”（方案 A 和方案 B 的差异通常很小，仅在设计方面有所不同）
• 测试：需要对照实验，并且结果应该是可衡量的（例如：A / B 测试）
• 要求：10 到 20+ 个用户
• 定量方法

2. 形成性测验

• 目标：要修复特定问题，并找出导致问题发生的某个设计部分
• 测试是目标导向的
• 关注用户的语言、行为和困扰。
• 定性方法

你需要招募哪些人？

一般来说，可用性测试的目的是，观察用户组 X（具有相似特征、行为或态度的用户）是否可以使用系统 Y 来执行活动 Z。所以，你必须非常清楚你的用户是谁，并对他们在测试中的表现感兴趣。

在开始招募用户进行用户测试之前，应该考虑以下特征：专业知识、行为、特征、态度。

• 专业知识 -- 用户对通用计算机或数字产品的专业程度。
• 行为 -- 用户对被测产品的体验水平。
• 特征 -- 用户背景（例如，如果你正在测试一款健康应用程序，你不能期望患者与医生有着相同的知识水平）。
• 态度 -- 数字产品的某些特性可能会触动用户，因此应该预先研究他们对某些问题（如隐私问题）的意见。

设计任务

给参与者布置任务，目的是让他们试着使用数字产品来实现一些目标。所以问问自己，这个测试的目的是什么？我们首先要从这个测试中发现什么？

这将从问题陈述开始，包括用户组 、数字项目及其提供的活动，例如：

有经验的网购者可以使用 eBay 寻找和购买装饰品吗？

• 用户群：有经验的网购者
• 系统：eBay
• 活动： 购买装饰品

在确定用户群和活动之后，就可以开始集思广益，讨论用户将在该活动范围内执行的特定操作。

1. 导向性良好的任务特征

总之，一项任务应具有以下特征：

• 与测试目标相关
• 实事求是，可验证
• 不应附加说明

完善任务，不要陷入只提及任务最终结果的陷阱 。例如，想象一个任务为“买一本新书”，首先问“用户为什么要买那本书？”，其背后的原因包含了购买目的， “用户想通过一本书来学习如何烹饪”。

2. 用户任务设置示例

目的：观察初次尝试在线学习的用户是否能高效地通过 FutureLearn 访问课程内容

主要任务：尝试寻找一门可参加的与用户体验相关的课程。这门课必须没有先决条件，并且在初-中级水平。这门课每周需学习 3 小时，只上 6 周，并且最好可以尽快开始上课。

任务集

• 任务 1： 在 FutureLearn 中创建帐户。
• 任务 2： 查找与 IT 和计算机科学相关的课程列表。
• 任务 3： 选择一门没有任何先决条件的课程，最好现在就可以开始上课，每周 2 小时就可以完成，而且只持续 2 周。
• 任务 4： 检查你的课程是否已成功添加到你的帐户/个人资料中。
• 任务 5： 找到一个课程时长不超过 2 周，价格低于 800 欧元的研究生课程。

问卷和访谈

1. 测试前问卷

在这个阶段，你将了解参与者们的多样性维度，你只需询问并分析相关内容。这些信息有助于解释你在任务执行过程中看到的东西。如果研究人员认为用户之间的差异不会影响测试结果，那么也可以跳过这一步。

2. 测试后问卷

在参与者完成任务后使用的测试问卷中，要避免自由发挥的回答 。例如，使用数字表示对问题的同意程度， “学会使用这个系统很容易：非常不同意——非常同意”。

可衡量的反应

• 感知可用性：“你觉得这个系统的可用性如何？”
• 感知有用性：“你认为这个系统对你实际需要做的事情有多大用处？”
• 偏好或希望的方面：“你觉得这个系统在视觉上的吸引力如何？相较于竞品，更喜欢哪个？”

3. 测试前访谈

用测前访谈代替问卷，以口头形式得到可量化的问题。这有利于建立融洽的关系，并获得更多细节，但是它可能需要更长的时间。

例如，“如果我想知道我的参与者们进行了多少次在线购买，从而根据他们在网购方面的专长来描述他们，那么我可以直接提问，在过去一个月里，你大概网购了几次？”

4. 测试后访谈

你可以采用 “先标记后访谈” 的方式，访谈内容大概包括：

• 任务跟进情况
• 用户所陷入的困境
• 错误的跳转
• 用户出错的地方（包括用户没有注意到的出错点）
• 用户提出的问题
• 复现任务并指出用户在任务中遇到的问题

常见问题

• 你认为这个系统在哪些方面做得好？
• 你认为这个系统最需要改进的地方是哪里？
• 你会用这个系统做什么呢？（感知有用性）
• 你认为这个系统对谁最有价值？
• 如果你必须向别人解释系统的功能，你会怎么说？
• 他们真的了解这个系统要做什么，以及它应该做什么吗？
• 你是否使用过与此类似的系统，你如何比较它们？

总之，“为什么” 应该是访谈时要问的核心问题 。

5. 可能出现的问题

注意需求特征（参与者倾向于给你想要的东西）、默认偏差（更倾向于给予积极反馈）和确认偏差（选择性地拒绝否认我们相信的东西）。不要期望每个人都给你正确的答案。

如何解决

• 需求特征和默认偏差：要求参与者给出真实反馈，注意其不自然的回答，并说明测试的目的。
• 确认偏差： 通过无偏差的第三方进行测试，不要对测试结果表现出兴趣。

进行可用性测试

• 选择一组有代表性的任务
• 试运行测试：自己进行测试，找到成功执行任务的方式，以及难易程度。
• 清除状态：如果需要，清除以往参与者数据（重置系统，清除缓存、搜索历史记录、系统中的用户历史记录）
• 由简至繁地安排任务

平均时间：30-45 分钟完成所有任务

1. 主持人应该怎么做

首先介绍一下你自己和其他参与者 。重要的是通过与参与者建立信任关系来确定基调。展示他们的价值以保持参与热情，并在用户测试中明确你的目标。向大家展示你的角色，包括你将如何推进评估和观察，并告诉大家诚实的反馈是至关重要的。鉴于参与者的角色是自愿帮助你评估系统，确保他们明白自己不是实验品，他们有权利随时喊停，而不是被迫回答所有的问题。如果可能的话，给参与者一个奖励并说 “谢谢你的宝贵时间”。另外，不要通过给出指令来引导用户完成任务，Newman（2020）建议提前说明以下几句话：

“我希望你试着去完成这项任务。如果你陷入困境，真的需要帮助的话，我随时都在。但我真心希望你能够尽你最大的能力来完成这件事，之后我们会讨论你遇到的问题。”

2. 参与者应该怎么做

参与者应该大声说出他们在想什么和想到什么，例如：

• 他们在找什么
• 大声朗读文本
• 推测系统的工作方式
• 他们如何理解自己在做什么
• 解释系统反馈
• 解释和论证他们的决定
• 他们感觉怎么样

你可能会问，为什么要这样？因为这样你可以听到他们在思考任务，知道他们注意到什么，听到他们如何解释他们的选择。

知情同意

如果需要，可以要求参与者签署知情同意书，以下是示例：

密歇根大学的知情同意书示例（纽曼，2020）

3. 如何调节

• 测试前要做好应对问题的准备
• 选择一个安静私密的地方
• 录制测试会话（录制视频和音频，方便之后分析所有内容）
• 使用记录表来跟踪记录器的进程

日志记录表能够使任务分析井然有序，并在测试期间只关注相关报告：

字体：（密歇根大学，2020）

收集统计数据并分析结果

回到目标陈述， “用户 X 是否可以使用系统 Y 来执行活动 Z ”，你需要：

• 收集以下统计数据： 任务成功 / 失败次数；出现的错误；计时
• 审查关键事件： 故障发生在哪里？为什么会这样？
• 解释汇报答复

“任务的成功非二元结果”（密歇根大学，2020 年）

在用户测试结束时， 你应该收集：

• 5 - 7 次 测试会话
• 大约 25 到 50 个用户测试任务
• 10 小时视频
• 一堆记录表
• 5 - 14 份问卷

1. 识别严重问题（关键发现）

在最后的报告中，应该强调最严重的问题，或者说是关键的调查结果。要做到这一点，首先要：

• 描述问题：“在什么屏幕或页面，或在什么交互过程中出现问题？是否有特殊情况发生，发生频率如何？”
• 提供证据： 指出造成问题的关键事件（例如：任务失败、延长时间）。
• 通过提供建议或额外研究来找到解决问题的行动方案 ：找到其他数字产品的合适案例、设计原则或启发，以及适用于该情况的可用性实践的一般原则。了解如何解决这个问题，以及是否需要额外的研究。

对于不太严重的问题：

• 问题描述以及严重程度量表
• 提供附录

2. 解释产出

总结你的结果，回顾事件，并注意模式。为什么会出现问题？违反了什么可用性原则？有没有根本原因？

3. 报告

• 形式由受众和目的决定
• 如果是个人项目：列出优先顺序就足够了。但如果您是与团队合作，报告应列出关键发现、次级问题清单以及证据 。
• 如果是针对外部利益相关者：聚焦于一份正式的报告，强调完成任务的方法和过程 ，这样他们就可以理解结果是如何得出的。

“如果除了你自己之外没有人理解你的发现，那么不会有人从你的辛勤工作中受益。”
—— Newman，2020

4. 知情同意书

感谢您参加今天的研究。

本次研究的目的是____________。在今天的研究期间，我将要求您使用我们正在评估的系统来执行一些任务，并将询问您一些关于体验方面的问题。为了帮助我们进行分析，我将对今天的测试过程进行录音、录像。这些数据只会由我们的研究小组、产品 / 设计团队的成员查看，无论您的身份是什么，所有关于您的信息都将保密。您参与本次可用性研究是自愿的，您可以随时反悔并停止参与本次研究。您也可以拒绝执行特定任务或回答特定问题。本人知晓此同意书书中所写内容，并同意参与研究。此前，我们已经讨论了参与者和研究人员在进行用户测试时可能带来的一些偏差。

欢迎关注作者微信公众号：「TCC翻译情报局」