编者按：用户体验分析是游戏开发过程中不可或缺的一道工序，而一位大神级用户体验分析师就以自己职业生涯中的最大的污点为例，带我们走近游戏开发背后的秘密。并结合自己的失误和日后的成功提出了四点值得一学的教训。
本文作者 John Hopson 先后作为资深用户分析师任职于微软、Bungie、暴雪，现于《激战 2》开发组 ArenaNet 担任用户分析部门主管 。
2004 年发售之后，《光环 2》当即成为 Xbox Live 上玩家最多的游戏。其人气一直持续了两年有余，一定程度上热情的光环粉丝们也帮助 Xbox Live 这项当时新兴的线上服务安稳度过了成长期。在这款游戏六年的生命周期中，超过 660 万玩家在线上多人模式中投入了将近 5 亿小时的游戏时间。而这正是源于 Bungie 工作室的大胆创新，打造了一个全新的线上匹配体验，多人游戏系统非常成功，世界各地的玩家们都非常喜欢。
真庆幸当初我没有成功叫停这个项目。
在开发期间，《光环 2》项目代号「先知（Prophets）」，以本作中新加入的外星种族命名。那时，一位用户研究分析师通常要同时支持 3 到 5 个旗下游戏项目，但由于《光环 2》是初代 Xbox 上的旗舰游戏，微软专门调派了两名分析师来全程支持这部作品的开发，我（John Hopson）和 Randy Pagulayan。
我们俩都取得了实验心理学方向的博士学位，任职于当时成立不久的「微软游戏用户分析团队」。我们的工作是运用定性定量的研究手法，如：可用性研究、可玩性测试以及调研，来为游戏设计者们提前预测，他们的游戏发售后玩家们会有怎样的反响。
而本文的故事就有关于我的一次失败预测，我们用来预测未来的研究数据造成了微软研究团队与 Bungie 开发团队之间的分歧。一般来说，公开讨论游戏用户研究的案例都围绕成功的例子，通过研究数据补全了游戏设计的缺憾。而我要说的故事，则是有关于两个优秀的分析师对一个优异的创新设计得出了错误的结论，给出了糟糕的建议。然而这款游戏坚持自己的道路并取得了辉煌的成绩。
创新之处
在《光环 2》之前，大部分线上游戏都没有匹配机制。一般大家都是通过房间制度来进行多人游戏。玩家们在列表中选择房间，通过简短的描述来选择想要加入的战局。如果房里的玩家素质太差或技术太好，可以随时退出换一个新的房间。
房间制度的好处就在于可控性。房主能够为玩家们带来精心挑选的游戏体验，他们能只玩喜欢的地图和模式，踢掉任何捣乱的玩家。经常能见到一些「无狙击枪」房或「某张地图限定个人死斗」房。
而递交给我们调研的《光环 2》多人系统则完全相反，移除了玩家的选择权，取而代之的是一套玩家选择比赛类型，靠系统来匹配地图、模式以及对手的机制。下图就是一个快要完成的前期匹配系统界面。
下面引用一段游戏媒体 GameSpy 在《光环 2》发售前对匹配系统的抢先评价。
「......通过一个有趣的改动，Bungie 为玩家们预制好了游戏的模式、地图、载具等一切元素。」
「虽然听起来很奇怪，但这项改动确实是一个好点子。所有玩家都能得到同样的游戏体验，Bungie 能够确保所有人的游戏流畅运行。同时也确保了所有人排名的一致性，因为大家都在相同的地图上与同样数量的玩家游玩。他们随时都能通过 Xbox Live 推出更新，为玩家们带来新的体验。而玩家在不同模式中有不同的排名，你可能在突击模式中排 25 名，但是在其他模式中只排到 78 名......」
现在来看这段评价，可能你会觉得再正常不过了。这也是因为《光环 2》的这套系统非常成功，以至于日后的多人游戏都将其作为标配。《光环 2》是如此成功，以至于后人已经很难记起来以前的多人游戏是个什么模样。
再次重申，很庆幸这款游戏没有毁在我手中。
调研过程
作为分析师，交给我们的任务是让玩家明白新系统的运作方式。鉴于新的匹配机制与前作的模式完全不同，我们想让真正的玩家尽早了解到新的设计理念，于是就用文字描述的系统原型向他们解释。我们向玩家们展示了一些初版的界面和多人游戏中的多种不同选项，包括新的匹配系统和私人游戏等等，唯独没有「传统的」用户自创房间。
而我们从受试玩家得到的反应则是「我们了解这个系统，但是我们不喜欢。」几乎全体受试玩家都想要私人可控的房间系统，并认为新的匹配系统带来的益处并不能抵消这个损失。虽然现在听起来不可思议，但这种「一键游戏」的便捷系统在当时让老派玩家们难以接受。
Randy 和我把自己看作是玩家真实意见的代言人，于是火速赶到 Bungie 并告知了他们，玩家们不喜欢新的设计，他们应该更改多人游戏的机制。而工作室的游戏设计师们则坚持己见，认为他们眼中的未来一定比纸上数据更好，而历史证明他们是对的。玩家们热爱新的匹配系统，这套系统也成为线上游戏的黄金准则。《光环 2》匹配机制的用户调研是我职业生涯以来最大的一个污点。
错出在哪
那么究竟哪里出了问题？为什么我们的研究结果与实际情况截然相反？答案关乎两个密不可分的原则性问题，受试者与研究者都犯了错。
受试者的问题出在「情感预测偏差」，即猜测自己在一个假设情况中的可能感受。有许多优秀论文探讨过假想情况会如何影响人们主观判断，在此就不多做赘述。即使对于半身截瘫或是中头彩这样的重大人生事件的预测都难免会有偏差。
如果把这个问题抛给当时的研究团队，我们肯定会说：「当然人们的预测会有偏差，我们不是来预测的。」我们的研究最开始是以「玩家能否理解这套匹配系统」为主要目的，这是一个合情合理的研究主题，我们对这个问题也给出了肯定的答案。而当受试者们对系统提出了自己的观点，我们将这些观点错误地当做了事实，而没有加以假设。
而问题的核心就在于，我们的受试者们从未玩过真正有着匹配系统的线上射击游戏。现在看来，这样的问题匪夷所思，因为现在的多人游戏中匹配机制已经成为标配。但在当时，大多数受试玩家都只是在本地网络或局域网中玩过多人游戏。在 2003 年进行调查时，只有不到 16% 的美国民众拥有宽带。
而我们则是让受试玩家在已知体验（房间机制）与一个未知体验（公平准确的线上匹配机制）之间做出判断。对于当时现有的房间机制，我们明白所有优缺点。而作为对照组的匹配机制，他们只知道自己舍弃了原有系统的什么好处，对于新系统的优点却浑然不知。就这样，对照实验的匹配机制在受试者眼中更糟了。
所以当我们的受试玩家向我们抱怨新系统的不好时，我们作为研究人员也犯下了一个错误，错误地将他们的评价假设为大多数玩家的可能意见。而在一番激烈争论和商讨后，Bungie 决定不顾我们的阻碍继续推行匹配机制，而事实证明他们才是对的。
当然，当工作室的设计师们决心否定调研团队的意见时，他们并没有指出我们研究方法的缺陷、也没有就「情感预测偏差」进行争辩。他们在设计之初就围绕着坚实的设计准则、有着明确的设计目标，而且在工作室内部已经进行过大量讨论，他们坚信自己从实战经验中总结出的设计理念会带来绝佳的多人游戏体验。
Bungie 的一位员工在事后曾私下告知我，无论我们的研究结果如何，他们都不会更改多人匹配的机制。几乎所有项目中，当开发团队不顾我们的研究结果一意孤行，结果都是我在事后轻蔑地对他们说「瞧吧，早就告诉过你了」。而在《光环 2》的案例中，开发团队的决定最终才是正确的，甚至还带来了改变整个游戏行业的剧变。
而我们作为研究人员，应该做的是对数据结果更加谨慎，更有辨别力。我们的数据从一定角度上看准确无误：确实是普通玩家们初次接触这套机制会有的反应。而从这个节点开始，我们本应和开发团队一起在不同条件下进行测试，以此来改善玩家们对匹配机制的第一印象，并让人们更快认识这套机制的宝贵之处。数据本身是有价值的，只是我们作为研究人员没有进一步仔细考据。
反思过后
这次事故出现多年以来，我也进行了多次反思，以下就是个人总结出来的几点教训。希望我的前车之鉴能帮助同样的错误，把你们的精力留着去犯下更多有趣的新错误吧。
第一课：抱着辩证的眼光进行调研
我们作为用户体验分析师们通常会先入为主，认为自己的调研结果就是无可争辩的事实。而当开发团队的其他部门提出异议时，通常会闹出很多不开心。现在我们学会了，虽然自己通常是对的，但假正例、假负例与完全错误的结果都有可能会出现。
玩家体验分析对于游戏开发来说非常重要，但我们其实与所有人一样都会犯错。我们应当以自己对玩家体验的了解而热情满满地找到各种问题，但我们并不总是对的一方。事实上我认为，正如同总有玩家无法通关一样，研究者们也有一个恒定的犯错率。如果每项研究和调查都以成功告终，那就代表着我们研究的课题不够创新，没有挑战性。我们需要承担风险，而这也意味着我们自己会犯错。
第二课：犯错不是调研的终点
对我来说，为《光环 2》进行用户体验分析是一段高度紧张的工作历程。微软在这款游戏上押下了重宝，投入了十来款游戏的调研力度来确保游戏质量。而 Bungie 作为一个对合作伙伴极为挑剔的工作室，在工作室历史上最艰难、加急的项目开发期间，前所未见地为我们开放研发进程。
我和同事 Randy 肩上都顶着巨大的压力，希望自己能为项目做出贡献，想要通过玩家反馈调研为这款万众期待的游戏带来突破性的设计。而当我们盯着受试者们给出的负面反馈，分外害怕匹配机制会影响到成千上万玩家的游戏体验，于是决心与工作室争个你死我活。而最终我们错了，输掉了这场争论。
本文的故事发生于 2003 年，正值《光环 2》开发周期的一半，我们针对这款游戏也进行了大量成功的调研。在其发售之后，我和 Randy 马上投入了续作《光环 3》的调研工作，而这个项目日后成为了游戏史上最成功的用户体验调研之一。还是原来那两个分析师，还是原来的游戏设计师，同一个系列的游戏，不同的是，这次我们的用户调研工作登上了《连线》杂志的封面，被誉为游戏行业用户体验分析的里程碑。
事实上，正是本文提到的这次失败启迪了下一个项目的成功。Bungie 领导层总结出来的经验是：调研团队应当与设计团队密切合作，从而杜绝类似失误再次出现。这个结论也正是我们《光环 3》项目成功的关键。几年后，Bungie 甚至还聘请我去创建并领导他们工作室内部的调研团队。
分析师们并不能做到十全十美，而我们的合作伙伴其实也不需要十全十美的结果。他们需要的是，分析师们尽可能地说出玩家们的心声，尽可能去创新并承担相应风险，以及在总结错误后推行改进。
第三课：调研与设计实则以不同手段研究同一件事物
玩家们只能靠自己的体验来做出反馈，体验又基于他们过去玩到的游戏和正在测试的样本。由于分析师们的工作是替玩家出声，我们也受制于同一个限制。我们的预测取决于玩家给出的反馈。
而设计师们则免于这个限制。他们能想出前所未有的全新设计，所以测试这些想法是好是坏就成为了一件难事。虽然有方法去鉴别一个新奇想法的价值，但是这些方法对于用数据说话的分析工具来说风险又太大了。
讽刺的是，《光环 2》的开发团队，却为我们带来了如何让人们理解新奇体验的绝佳教材。其中匹配机制只是《光环 2》大量全新多人特性中最突出的一点，许多新颖的设计都遭遇了本文中同样的调研情况。而为了排除微软管理层的后顾之忧，制作团队录制了一段视频，模拟了成品游戏中的联机效果。虽然这个办法并未解决匹配机制的问题，这个充满创意的点子也让大家理解到了他们的创新之处。
第四课：总结反思错误的研究方法才能更好地设计调研
在这次调研前，我当然知道「情感预测偏差」这个现象。但我仍然沉浸于受试者的对于新机制的强烈观点中，并将他们的判断当做事实。这样当众出丑的错误发生过一次，就足以让我避免再次犯下同样的错误。
记住一个好的研究应有的原则固然是好事，但只有当你犯下错误并认识到后果的严重性，这些原则才会深深烙印在你心里。无论你是有意还是无意中违背了研究原则，由于调研方法出了问题，让长期的研究心血付诸东流，一定会给你留下深刻的教训。只有犯了错，才知道什么是对的。
同时你也会发现，时有出现将错就错的情况。一项好的调研所需的准则或许是不可违背的，有的可能只是一些基准条件。游戏用户分析是应用领域，需要分析者利用手头的资源在混乱的条件下以最快的速度得出结论。并不是每个调研的设计都能做到十全十美。
工作室可能会改变调研计划，参与者可能会放鸽子，设备可能会出错，而作为分析师，我们的职责就是尽可能地还原理想的调研环境。而熟知哪些准则是千万不能触犯的，哪些又是可适度调整的，对于一名优秀的分析师而言非常重要，这样才能为团队和游戏带来最有价值的调研结果。
结语
创新的设计也意味着一定的风险，在我的故事中，Bungie 的设计团队无惧风险，最终带来了耀眼的成果。游戏开发过程中，用户调研最主要的作用就是尽量避开设计风险，在设计师们尝试新点子的同时，为他们排除潜在的问题，避免惹恼真正的玩家。而作为从业者，其实我们分析师内部也会承担一定的风险，无论是选取调研方法还是分析问题所在都需要我们做出决断。在本文的案例中，我们做出的决定并没有取得成功，但这并不会改变调研必须承担的风险。一个优秀的分析师必须以自身的经验与胆识，决定自己所需承担的风险，以此更好地服务于游戏设计师与开发者们，为玩家们带来最优质的游戏。
编译：Tiger