Skip to main content
类别: 效应
类型: 判断偏差
来源: 丹尼尔·卡尼曼与阿莫斯·特沃斯基，《Psychological Review》（1973）
别名: 由吻合带来的无根据确信
快速回答 — 效度错觉（Illusion of Validity）是指，一个容易失手的预测，仍因为结果和证据很吻合而让人有把握。丹尼尔·卡尼曼与阿莫斯·特沃斯基在 1973 年给它命名。在他们的成绩研究里，两份能力测验彼此相关时，人更有把握。若每份测验单独的预测力相同，合并之后，相关更高的那一对反而更弱。

​
什么是效度错觉？

效度错觉是对一个容易失手的预测抱有无根据的确信。这份确信来自所选结果和证据有多吻合，而不是来自这类预测有多少次是对的。
人往往会在很不可靠的判断上感到很有把握。这个现象可以称为效度错觉。
这句话来自卡尼曼与特沃斯基 1973 年发表在《Psychological Review》第 249 页的原文，这里用中文转述。吻合可以是一个连贯的故事，一组彼此一致的分数，或一个和证据一样极端的数值。代表性启发是那条按相似来选结果的捷径。这一页谈的是这条捷径留下的确信。过度自信效应后来把确信拆成分数、名次和区间。那些测验上的点数留在那一页。 两门入门课都是 B，会让人觉得这个学生比一门 A、一门 C 更稳，即使平均仍是 B。整齐的一对，是同一类证据说了两遍。效度错觉，就是把这种重复读成更强的预测。

​
效度错觉的三层理解

  • 入门：整齐的故事是一种吻合感。在你相信两门相同的成绩、一场顺畅的面试，或一份每条笔记都说同一句话的档案之前，先写下这些线索是在重复一件事，还是在增加一件新事。
  • 实践：行动之前，把已知的准确程度，或本来就会成功的人所占的份额，写在感觉旁边。如果你只追踪自己选中的人，他们的成功率是这一组人的记录。
  • 进阶：每条线索单独的预测力相同时，线索之间的吻合可以提高确信，同时降低合并后的相关。后来的成功，也可能是你随后给了这些人的帮助。一段结构化军中面试之后回想起来的提高，和当时觉得很有把握的那次障碍练习，是两份不同的记录。

​
起源

这个名字是在障碍课旁边起的，将近二十年后才印进期刊。有计数的演示是一次成绩预测。障碍课本身没有印出相关系数。 丹尼尔·卡尼曼的诺贝尔传记文章说，他在为以色列国防军评估军官候选人时，造出了“效度错觉”这个说法。他 1954 年以少尉应征。做了一年排长之后，他调到心理部门。其中一项职责沿用第二次世界大战中英国陆军的方法。八名候选人摘掉军衔标志，只用号码辨认。他们抬起一根电话线杆，要通过一道障碍，例如一堵 2.5 米的墙。线杆不能碰地，也不能碰墙，候选人也不能碰墙。只要发生其中一件，就要声明并重新开始。两名观察者在旁观看。练习常常要半小时或更久。大约每个月有一次统计日，军官训练学校会反馈评分准不准。文章说，预测学员在学校里表现的能力可以忽略。第二天换上一批新人，谁是领导者的印象又同样清楚。卡尼曼写道，统计信息和那种洞察的体验接不上。他称之为自己发现的第一个认知错觉。文章说，这个词将近二十年后进入专业文献，即卡尼曼与特沃斯基 1973 年的论文。文章没有为抬杆过墙的评分印出相关系数。 印出这个名字的论文是 “On the psychology of prediction”，《Psychological Review》第 80 卷，第 237–251 页，1973 年 7 月。署名单位是耶路撒冷希伯来大学和俄勒冈研究所。期刊记下收稿日期为 1972 年 11 月 8 日。论文的论点是，人按代表性来预测。题为 “Confidence and the illusion of validity” 的一节主张，确信跟着所选结果有多代表性走。输入有多一致，是这种吻合的一个主要部分。 同一篇论文的前一节，报告了以色列陆军军官选拔委员会的一次现场观察。有经验的军官通常在数日测验和观察之后，用 7 点量表给候选人打分。为了这项研究，他们还要为每一名通过这次评估的候选人，预测其在军官训练中的最终成绩。超过 200 个案例，由相当多不同的军官评定。预测成绩的分布，与实际成绩的分布几乎相同。例外是，预测的不及格少于实际的不及格。最高的两档，频率正好吻合。这些评判者知道，已有研究把他们的预测效度放在大约 .20 到 .40。预测仍然和成绩一样极端。这个区间是他们已知的研究。论文没有在这 200 多个预测上计算相关系数。均值回归是那一页：极端的测量之后，结果会更靠近中间。 1974 年发表在《Science》上的文章，把效度错觉列为代表性偏离概率的一种方式。代表性那一页已经把这份清单看成回到 1972 年和 1973 年论文的地图，而不是 1974 年文章内部的六项新试验。

​
核心要点

四项核对把效度错觉拴在吻合、相关，以及你看不见的那些人身上。数字留在印出它们的那一段里。
1

整齐的剖面让人觉得更好预测

卡尼曼与特沃斯基举的画面是总评 B。两门入门课都是 B，比一门 A 加一门 C 更能让人有把握地预测这个总评。整齐的成绩是一致的，于是预测分数看起来有代表性。他们引用保罗·斯洛维奇 1966 年的研究，说明输入不一致时确信会下降。本页不携带斯洛维奇的数字。他们也说，这种直觉和常用的线性模型不合。在那个模型里，预期准确程度并不取决于剖面内部的分散。例子里的 A 和 C 是一个不那么整齐的剖面。他们引用的模型，并不把这种分散当成更低的预期准确程度。
2

一起变动的线索会削弱合并预测

线索高度相关时，整齐的剖面很常见。在各条线索的效度已经给定时，线索之间的相关越高，与结果的多重相关就越低。确信走的是另一个方向。成绩研究发现，在预测分数的整个范围内，人对相关的那一对更有把握，t = 4.80，df = 129，p < .001。论文没有印出平均确信。它也没有拿预测去对后来的成绩打分。更低的效度，是模型对实验说明的读法。
3

计算高出基础比率的那一截

希勒尔·艾因霍恩与罗宾·霍加斯在 1978 年问，经验为什么动摇不了这种确信。判断被用来选择行动时，后来的记录主要是你接受的那些人。他们的示例不是一次招聘审计：被接受者中 80% 的命中率，旁边是 70% 的基础比率。他们要求的比较是这一截差额。在极端示例里，判断力和行动本身的效果都是零，基础比率是 .75，于是被接受者中的命中率仍是 .75。基础比率忽视是那一页：判断单个案例时，把群体中的份额放在一边。
4

已知中等效度，预测仍可以很极端

在军官选拔委员会，评判者已知效度大约在 .20 到 .40，预测成绩的散布仍然贴着实际成绩的散布，只是预测的不及格太少。论文说，这类预测中的确信，是预测水平的一个 J 形函数。它引用约翰逊 1972 年的著作，以及作者自己的研究。人对杰出的成功非常有把握，对彻底的失败也比对平庸的结果更有把握。预测若没有被拉向中间，最大的偏差就落在这些极端上。这里不印约翰逊的曲线。

​
应用场景

当一份整齐的档案就要被当成效度时，用上吻合、基础比率和后续追踪。每个印出来的数字，留在它自己的研究里。

把每条线索标成重复或新事实

在课堂报告、求职档案或家里的学校材料里，列出每条笔记量的是什么。两门相近的课都是 B，就是论文里那个一致剖面的画面。先加一条来自另一种工作、有可能不同意的线索，再让这种同意本身提高你的确信。一个剖面内部的分散，是 A 加 C 的画面。他们引用的线性模型，并不因为这种分散而降低预期准确程度。

把基础比率写在命中率旁边

如果你只录取、雇用或资助那些看起来有希望的人，先写下更广的人群里成功者占多少，再去读这些成功。艾因霍恩与霍加斯的示例是 80% 对 70% 的基础比率。差额才是要比较的东西。这是他们论证里的示例。如果你没有被你拒绝的那些人的记录，相关仍然缺着。

把预测放进已知的准确程度里

团队如果已经有这类评分的效度，先把那个数字写在生动的候选人旁边，再去匹配故事里的极端。军官选拔委员会的评判者已知大约 .20 到 .40 的区间，预测成绩最高的两档仍然和实际频率吻合。那个区间属于他们已知的研究。一场新的面试需要它自己的记录。均值回归就是向中间拉的那一下。

把帮助和判断分开

一个培训名额、一笔资助，或管理者多给的时间，会改变你选中的那些人后来的结果。艾因霍恩与霍加斯用研究资助作示例，并写明他们知道这个例子没有数据。受资助工作的成功，把挑选和资源混在一起。把后来的成功读成一份混合的记录。效度系数必须把这两件事分开。

​
经典案例

有计数的演示，就在命名效度错觉的那一节里。卡尼曼与特沃斯基请人根据两对能力测验，预测平均学分。一对叫创造性思考和符号能力，被描述为高度相关。另一对叫心理灵活性和系统推理，被描述为不相关。人们看到的分数符合这些描述。一半被试看到的标签对调了：哪一对被标成相关，哪一对被标成不相关，换了一半人。每个人都被告知，四份测验在预测大学表现上同样成功。 论文的默认被试池是：除非某项研究另有说明，被试是通过俄勒冈大学学生报纸招募的付费志愿者，在小组里作答。这项研究没有写出另一个被试池。除了自由度，它也没有印出样本量。 按这个说明，不相关的那一对是更强的合并预测。每份测验的效度相同，彼此不同步的测验会带来另一份测验还没携带的信息。相关的那一对是在重复自己。作者使用的多元模型说，输入之间的相关上升，多重相关就下降。 确信走的是另一个方向。在预测分数的整个范围内，被试从相关测验来预测时更有把握，t = 4.80，df = 129，p < .001。
也就是说，他们在预测效度更差的情境里更有把握。
这项研究没有报告平均确信，也没有后来的成绩。“更差的效度”是模型对实验说明的说法。它不是在这些预测上算出来的命中率。测验的名字是指定的，并且对一半被试做了对调，所以结果跟着相关这个标签走。它并不跟着创造性思考或系统推理的某种特殊性质走。这个练习里的 t = 4.80 留在这个练习里。军官选拔委员会的 .20 到 .40 是另一段。

​
边界与失效场景

把三份军队记录并成一个系数，把一个示例当成一次审计，或把邻页的统计数搬过来，效度错觉就不是合适的概括。 第一条边界是军队，它是三份记录。传记文章里的抬杆过墙，每次八名候选人，两名观察者，反馈被写成可以忽略。没有印出系数。1973 年论文里的军官选拔委员会是另一段。它包括超过 200 个案例、7 点量表，以及数日观察。评判者已知效度大约在 .20 到 .40。成绩预测仍然和结果一样极端。文章里更晚的那项任务，他定为 1955 年，是为战斗部队新兵做的面试，刚好在保罗·米尔 1954 年的书之后。文章说，那本书表明临床预测一贯不如按统计公式作的预测。面试官是一小批人，大多是刚离开好高中的年轻女性，按心理测量分数和对心理学的兴趣选出来。她们原先先形成一个总体印象，再给一个总体评分。卡尼曼引入六项评分，问题问的是平民生活。他记得这些维度包括男性自豪和义务感。她们反对失去那个总体判断之后，他允许她们在结尾补上一个。他对第一批效度数据的回忆，以后来表现的评分作准则，是接近 .30 的相关，对照先前方法大约 .10。结尾的总体评价，是他们所作评分里最有预测力的一项。他写道，努力把评分做得可靠，结果让这些评分有了效度。这两个靠回忆的相关属于那次面试。它们和抬杆过墙的反馈是分开的，也和委员会的 .20 到 .40 分开。文章说，这套面试改动很少，沿用了数十年。它没有印出样本量，也没有把结果写成男女之差。 第二条边界是 1978 年的论文，《Psychological Review》第 85 卷第 5 期，第 395–416 页。艾因霍恩在芝加哥大学商学院。霍加斯在伦敦商业研究生院，以及枫丹白露的 INSEAD。80%、70%，以及 .75 的基础比率，都是论证里的示例。他们引用泰勒与拉塞尔 1939 年的表：相关很低时，只要选中的人很少，被接受者中的命中率仍然可以很高。这里不抄那些表里的任何一格。资助的故事被标明为没有数据的示例。他们的学习模型说，确信一旦形成，在部分强化的安排上，负面反馈应当很难把它消去。这是模型的预测。论文没有印出消退曲线。他们还指出，人事主管常常因为雇错人受罚，很少被问起被拒绝的人。这种结构不是一个数过的漏选率。 第三条边界是往外搬。工程师档案的中位数、迪克的素描、汤姆·W 的等级，留在代表性启发。108 名研究生里有 73 人把区间对称地放在智商 140 两边，以及飞行学校的那道题，留在均值回归。测验上的 0.79、−0.22、0.48、−1.36，以及 73.1% 的命中率，留在过度自信效应。兰格的美分、要价和办公室里的比例，留在控制错觉。那一页是：机会任务上放了技能线索之后，人把自己的机会放在概率之上。虚幻优越是那一页，谈的是在容易的特质上把自己放在别人之上。艾因霍恩与霍加斯引用了奥斯坎普的确信上升，那些百分比留在过度自信那一页。这些数字各自有自己的研究。

​
常见误区

三个捷径跟着这个名字走。同意被读成额外的效度。被选中者中的高命中率被读成相关。一段军队记忆被要求装下三个不同的数。
同意会提高确信。在成绩研究里，相关的那一对带来更高的确信，t = 4.80，df = 129，p < .001，而实验说明使这一对成为更弱的合并预测。两门 B，对照一门 A 和一门 C，是另一幅画面：更整齐的剖面让人更有把握，而他们引用的线性模型并不因为剖面内部的分散改变预期准确程度。这项研究从未给后来的平均学分打分。这个 t 留在确信的比较里。
百分之八十是艾因霍恩与霍加斯用来说明被接受者命中率的示例。放在 70% 的基础比率旁边，差额是 10 个百分点。在他们的极端示例里，判断力是零，行动什么也不改变，基础比率是 .75，于是他们描述的命中率是 .75。没有被你拒绝的那些人，这个正确百分比描述的是你决定去看的那一组。泰勒与拉塞尔的表被引来说明同一种结构。这里不印那些表里的格子。
“可以忽略”是文章对抬杆过墙反馈的用词，那里没有印出系数。.20 到 .40 这个量级，是军官选拔委员会的评判者已经知道的研究，出现在超过 200 个成绩预测的那一段。接近 .30、对照大约 .10，是对后来那次结构化面试的回忆，结尾自由给出的总体评分是各项评分里最有预测力的。三份记录描述三种程序。哪一份都不是那个 t = 4.80。

​
相关概念

效度错觉旁边是相似、过分有把握的分数，以及被放过的基础比率。它也挨着停在极端的预测、被拨动的机会，以及只留下仍能看见的人的记录。这些链接是邻居。每一页保留自己的证据。

代表性启发

选那个和证据相似的结果。1973 年的论文把这种确信追溯到那条捷径。工程师的中位数和汤姆·W 留在那一页。

过度自信效应

确信跑在分数、名次或区间前面。效度错觉是吻合带来的确信。2008 年测验上的点数留在那一页。

基础比率忽视

判断一个案例时，把群体中的份额放在一边。艾因霍恩与霍加斯要的是命中率减去那个份额。他们的 80 和 70 不是出租汽车问题。

均值回归

有噪声的极端测量之后，结果更靠近中间。军官选拔委员会把成绩预测得和结果一样极端。飞行学校的故事留在均值回归那一页。

控制错觉

机会任务上放了技能线索之后，人预期自己的机会高于概率。一场整齐的面试，和一张自选的彩券，是不同的失误。

幸存者偏差

只从仍然看得见的成功里学习。这里缺的人，常常是评判者拒绝的人。被接受的一组看起来准确，也可能只是因为基础比率本来就高。

​
一句话总结

在相信一个整齐的故事之前，写下线索是不是在重复同一件事，并把基础比率写在你选择去看的那些人旁边。