用户说的都是真的吗?这些陷阱要避开

作者:Sijia 前言: 认知偏误(Cognitive bias)是一种常见的现象,它是指当我们思考问题或做决策时,大脑会有一些固定的思维倾向。这个过程多是无意识的,有时也会带来正面作用,如帮助我们在纷繁复杂的环境中节省思考时间,更高效地做出决定但是在研究中,认知偏误易导致研究结果不准确,降低研究的价值。 我们都希望研究是客观、理性、反映真实情况的,了解常见的认知偏误可以帮助我们在工作中尽量规避它们,得出更准确的结论。 实际上每个人都会有认知偏误,包括用户研究者和用户。 上次我们介绍了研究者的常见认知偏误,今天我们就来谈谈用户的常见认知偏误。 看上一期请点这里→(8个常见的研究者认知偏误陷阱) ——————————————————————————————————————— 一、友善偏见(Friendliness bias) 人们有时会说一些“善意的谎言”来照顾别人的心情。闺蜜剪了难看的发型时,安慰她说“蛮好看的”;男朋友难得下厨却把菜烧糊了时,鼓励他说“挺好吃的”;电视剧中也经常会出现家属因担心病人无法承受而不告诉他们身患绝症的剧情。 在研究中,用户有时也会说一些“善意的谎言”,对研究者的问题给出积极的答案或者他们认为研究者想听到的答案,这就是友善偏见。引起友善偏见的原因很多,有的用户比较“委婉”,不希望制造冲突,担心负面意见会伤害到研究者;有的用户比较“宽容”,认为许多问题是无伤大雅的,就不必要专门抓出来批评一番了;还有的用户认为研究者是专业人士,他们希望自己的答案可以被认可和喜欢。 虽然出发点是善意的,但友善偏见会让研究的结果不真实。调研时,研究者可能惊喜地发现用户喜欢产品的每一个部分,然而待产品发布后才明白用户们其实并不喜欢,这只是友善偏见导致的幻觉。就如同一个人一直以为自己身体健康,最后才知道原来自己身患了绝症,只是家人不忍心而隐瞒了病情。   二、社会期许偏差(Social Desirability bias) 人们的一言一行都会影响他们在社会中的形象。当被问到一些有争议的问题时,很多人可能更乐意展现出社会期望的样子,隐藏自己的真实想法。比如当被问到是否作弊过时,诚实回答“是”的人可能比实际作弊的人少很多。 在用户调研中,当研究者提出的问题具有争议性或容易引发道德判断时,用户可能会因害怕被质疑或引起别人对自己不好的印象,而回答符合社会文化价值的答案。举个例子,Tumblr是一个轻博客社交网络平台,不同于其它平台的是它允许发布成人内容。但假如询问人们为什么喜欢用Tumblr,大部分人可能会说是因为这里有很多新奇有趣的东西,而不是因为上面的成人内容。但2018年12月Tumblr禁止成人内容后,用户量出现了巨大的下滑。 在研究中,对于具有争议性或者容易引发道德判断的问题,如果非必要,应尽量避免;当不得不问时,也应斟酌用词,采用适当的设问方式。   三、从众效应(Bandwagon Effect) 人们总是不由自主地想与多数人保持一致,当发现大家都抱有某种观点时,倾向于怀疑或改变自己原有的想法,这就是从众效应。从众是一种生活中常见的心理现象,小到今天中午去哪里吃饭,大到应该把选票投给谁,都可能受到从众的影响。它的影响可能是积极的,比如保持群体的一致性、增加团体的凝聚力;但也可能是消极的,比如让人们丧失理性思考,跟风、盲从、人云亦云。 在用户调研中,若采用焦点小组等多人共同参与的研究方法,研究者要提防从众效应的影响,避免发生少数用户因从众而改变原有看法的情况。在一对一研究中,也要避免出现“很多人都觉得这个界面有问题,你觉得呢?”等引导性提问。 四、霍桑效应(Hawthorne Effect) 霍桑效应是指当人们知道自己正在被观察时,他们的表现可能与平常不同。它来自于20世纪二三十年代的一系列心理学实验,霍桑是美国一间工厂的名字,是当时实验的地点。生活中,霍桑效应也会经常出现,当人们知道自己正在被关注时,总会自觉或不自觉地改变行为。比如知道自己正在被拍摄时,会调整站姿让自己看起来更精神;自习室里突然老师进来了,学生会比平时更目不转睛地看书。 在用户调研中,用户也可能会做一些与平常不同的行为,比如在可用性测试中用户可能比平常更有耐性(平常如果操作几次没有找到正确的路径很快就放弃了,但是在实验室中会不断尝试);再比如在日记研究中,用户可能不会诚实地记录自己所有的行为,而是有所选择地发布一些挑选过的、有利于个人形象塑造的行为。   五、锚定效应(Anchoring Effect) 人们很依赖他们得到的第一个信息,这个信息会带来一个心理预期,它很容易成为后续思考问题或做决策的“锚点”。给一个价值1000元的手机买一个100元的手机壳可能会让人觉得贵,但是如果给一个10000元的手机买一个100元的手机壳,似乎就觉得不那么贵了。同样价值的手机壳,因为“锚点”手机的价值不同,而让人们有不同的感受和购买决策。 在用户调研中,假如研究者之前的问题给用户划定了一个范围,用户之后的回答有很大可能都会基于这个范围。比如若先问用户“亚马逊Prime会员现在是XXX元/年,你觉得这个价格合适吗?”后面再问“你认为京东Plus的会员费多少钱比较合适?”用户所回答的这个价格很大程度上将会基于之前提到的价格,得到的答案显然是不够客观的。   六、峰终定律(Peak-end rule) 人们对一段经历的体验感受,很大程度上是由“高峰处”和“结束时”的感觉决定的,而不是他们对每个细节的平均感受或对整段经历的总体感受。如果高峰体验和结束时的体验非常好,过程中许多不满意的小细节都会被忽略。 当用户被询问到使用某产品的感受时,他们给出的评价很多时候也会受到峰终定律的影响。所以如果用户给某个产品打了高分,先不要忙着开心,要深入地追问他们对每个细节的具体感受。很有可能他们给高分只是因为其中某一功能的体验非常令人满意,但其实产品中还存在着很多待改进之处。   如何避免这些认知偏误呢?这里有一些建议: 结合后台数据来分析 不论是问卷、量表等定量研究,还是访谈、日志法等定性研究,都是由用户主观填答或回答的,很难完全避免他们无意识的认知偏误。后台数据则是用户行为的真实表现,受认知偏误的影响较小。因此在研究中参考后台数据,有助于让研究结果更客观可信。 帮助用户减少顾虑 研究开始前,向用户说明所有问题无正确或错误答案;用户的反馈无论批评还是夸赞都对产品有帮助;研究者非产品设计者或制造者,不会因用户的负面评价而受到伤害等。这些说明可以帮助减少友善偏见。另外还要强调所有资料都将保密,问卷匿名填答,以帮助减少社会期许偏差。 尽量选择一对一形式的研究,在沟通中鼓励用户表达,营造一个放松的环境,减少顾虑。 减少用户受外部环境的影响 减少他人影响:在焦点小组等多人参与的研究中,请用户先将想法写下,然后再讨论,鼓励用户表达不同的观点,有助于减少从众效应的影响。 减少环境影响:尽量让研究在一个用户熟悉的环境下进行;在正式研究开始之前先问一些暖身问题,帮助用户放松;询问时引导用户回忆和复现平时使用的过程,如“您平时/上次是怎么操作的呢?能给我们演示一下吗?” 减少顺序影响:在问卷中将一些选项顺序设定为随机;在设计访谈脚本时,适当变换题目的顺序;在测试不同产品时,平衡实验顺序(counterbalance),以减少锚点效应的影响。 多看、多听、追问 观察用户语言之外的隐含信息,及时发现友善偏见、社会期许偏差等,鼓励用户表达真实感受。 对于用户的回答要层层追问,详细询问对于具体细节的感受,避免因峰终定律掩盖用户对很多细节的不满之处。 最后,无论是用户还是研究者,作为人类我们都没办法完全抛开认知偏误的影响。但我们可以了解这些认知偏误产生的机制,并在调研中尽力避免。克服认知偏误不可能是一次性完成的,需要研究者多次尝试,争取内化于心。对于每一个研究,都应该精心设计方案,力求减少认知偏误的影响,获得客观真实可靠的研究结果。 […]

8个常见的研究者认知偏误陷阱

作者:Sijia 前言: 认知偏误(Cognitive bias)是一种常见的现象,它是指当我们思考问题或做决策时,大脑会有一些固定的思维倾向。这个过程多是无意识的,有时也会带来正面作用,如帮助我们在纷繁复杂的环境中节省思考时间,更高效地做出决定但是在研究中,认知偏误易导致研究结果不准确,降低研究的价值。 我们都希望研究是客观、理性、反映真实情况的,了解常见的认知偏误可以帮助我们在工作中尽量规避它们,得出更准确的结论。 实际上每个人都会有认知偏误,包括用户研究者和用户。 今天我们就来说说研究者的常见认知偏误,下次有机会再谈谈用户的,敬请期待。 ——————————————————————————————————— 一、 确认偏误(Confirmation bias) 当人们本来就持有某种观点时,对这种观点的感知和注意度会被放大,会选择性地回忆或收集关于它的事例。人们对于自己原本就相信的观点会更容易接受,而把反面观点搁置在一旁。举个例子:有些人认为女司机不擅长开车,更容易造成事故,所以当新闻中的事故与女司机有关时,他们会觉得“果然如此”。而实际上男司机的事故率比女司机更高。 在用户研究中,当你的预设想法是用户对A设计的满意度比B设计更高时,在研究中你可能会更关注用户提到的A设计的优点、收集更多用户对于A设计的正面评价。当用户表示对A设计满意时,会觉得“果然是这样”。这种偏误会让你遗漏许多其它信息。 二、 虚假一致性偏差(False consensus effect) 虚假一致性偏差是指人们很容易认为其他人跟自己有相同的想法,从而高估这些观点的普遍适用性。举个例子:有一种冷叫做“你妈觉得你冷”。妈妈感觉到了冬天的寒冷,担心我们也会冷,于是催促我们穿秋裤,但可能年轻人并没觉得冷。此时妈妈的想法就带有虚假一致性偏差。当年轻人吐槽父母朋友圈转的鸡汤文、养生文无用时,也是一种虚假一致性偏差。 在用户研究中,我们也很容易陷入虚假一致性偏差。比如,当你认为产品的某个方面比较好或者你对产品的某个方面不满意,可能会倾向于认为这也是许多其他用户的感受,但也许事实并非如此。在对海外产品做研究时尤其要注意这一点,研究者与用户的巨大文化背景差异可能会导致研究结果的严重失真。 三、 聚类错觉(Clustering Illusion) 聚类错觉产生的原因是人们倾向于从随机事件中找出某种规律。举个例子:如果张三连着几次在群里抢红包都抢到最大份,他可能会觉得自己最近“手气特别旺”。这就是一种聚类错觉,人们试图将几次随机的结果联系起来,用某种规律进行解释。 在研究中,聚类错觉容易出现在小样本研究中,比如,我们在小样本中发现了被访者的某些共性,总结出某些规律,并期望它们在更大的群体中也适用,但这种共性可能只是源于随机,而非事实。我们应该谨慎对待在小样本研究中的发现,思考它们是否只是随机结果,最好用其它研究方法帮助验证或参考二手资料,避免出现聚类错觉。 四、 知识的诅咒(Curse of knowledge) 培根说过,“知识就是力量”,它怎么会带来诅咒呢?知道的更多难道不好吗?知识的诅咒是指,人一旦知道了某件事,就没办法想象不知道的样子,也很难体会到不知者的感受。举个例子: 在某次考试之后的课堂上, – 老师:“同学们,这是一道送分题啊,大家都做对了吧?只要先连一条辅助线,再……” – 学生:“这是啥?这又是啥?这些都是啥?” 在用户研究中,知识的诅咒也会给我们带来许多困扰。比如,我们对自己的产品很熟悉,就很难想象新手用户是如何使用它的,使用感受如何。我们可能会惊讶地发现,即使在我们看起来操作十分简单的功能,新手用户使用起来也很吃力。再比如在设计问卷或者访谈脚本时,我们可能会不小心加入一些专业术语而不自知,让用户看的一头雾水。   研究者的有些认知偏误还会直接影响到用户的行为和反应。 五、 选择性偏差(Selection bias) 选择性偏差是指过程或样本的非随机性导致结论的不准确。举个例子:假设张三想统计人们的工资水平,他拿着一份个税纳税名单开始了调查,结果发现,所有人的工资都在5000以上。这个结果当然是不准确的,因为5000是我国的个税起征点,工资超过5000的人才会出现在纳税名单上,张三的研究样本是有选择性偏差的,不能代表总体。 在用户研究中,选择性偏差不仅会出现在样本选择中,还可能会出现在研究设计中。比如在可用性测试中,我们设计了一系列的任务,研究结果自然就无法包含未选中的任务。而且这些任务也会让用户产生一种心理,既然它是设定好的任务,就一定是可以被完成的,他们也会耐心地多次尝试去完成任务,以期达成某种结果。当然我们也不会设置无法完成的任务。但在实际的使用情境中,用户并不知道哪些操作是有结果的,哪些没有,他们的行为和态度可能与可用性测试中不同。 六、 框架效应(Framing effect) 框架效应是指,对于同一个问题,当描述有所不同时,人们给出的选择也会有差异。举个例子:假如说“XX疾病的存活率达93%”,人们可能会觉得这种疾病没有很严重;但如果说“XX疾病的致死率达7%”,那么人们可能会觉得很严重。在用户研究中,我们也要避免框架效应带来的影响,不要设置引导性的问题,题目中不要用明显的正面或负面词汇,尽量用中立的语言描述。避免题目的描述干扰到用户的选择,而导致研究结果不准确。 七、 观察者期望效应(Observer-Expectancy Effect) 观察者期望效应是指,研究者有时可能会期望出现某种结果,他们无意识地操纵了试验过程,或者错误地解释实验结果,导致研究结果严重歪曲。一般来说,被观察者几乎无法不受观察行为的影响,当研究是针对人时,被试者会更容易感觉到研究者无意中透露的期望,从而做出相符的反应。 在用户研究中,研究者的表情、肢体语言等都可能会反映出自己所期待的结果,如果用户察觉到了这些,就可能做一些迎合研究者期望的反应。比如,如果研究者无意中透露出某个新功能是他们团队非常重视、投入巨大、报有很大期待的功能,用户可能会更倾向于对这个功能给出正向的评价,肯定该功能的市场前景。但这也许并非他真实的感觉。 如何避免这些认知偏误呢?这里有一些建议: 1. 研究方案:避免单一的研究方法和单一的样本渠道来源 多种研究方法的结果相互验证,多种样本渠道来源互做补充,帮助我们避免“聚类错觉”和“选择性偏差”,让我们的研究结果更准确。 […]

© 2019 JDC. All Rights Reserved.