Skip to main content
類別: 效應
類型: 判斷偏差
來源: 丹尼爾·卡尼曼與阿莫斯·特沃斯基，《Psychological Review》（1973）
別名: 由吻合帶來的無根據確信
快速回答 — 效度錯覺（Illusion of Validity）是指，一個容易失手的預測，仍因為結果和證據很吻合而讓人有把握。丹尼爾·卡尼曼與阿莫斯·特沃斯基在 1973 年給它命名。在他們的成績研究裡，兩份能力測驗彼此相關時，人更有把握。若每份測驗單獨的預測力相同，合併之後，相關更高的那一對反而更弱。

​
什麼是效度錯覺？

效度錯覺是對一個容易失手的預測抱有無根據的確信。這份確信來自所選結果和證據有多吻合，而不是來自這類預測有多少次是對的。
人往往會在很不可靠的判斷上感到很有把握。這個現象可以稱為效度錯覺。
這句話來自卡尼曼與特沃斯基 1973 年發表在《Psychological Review》第 249 頁的原文，這裡用中文轉述。吻合可以是一個連貫的故事，一組彼此一致的分數，或一個和證據一樣極端的數值。代表性啟發是那條按相似來選結果的捷徑。這一頁談的是這條捷徑留下的確信。過度自信效應後來把確信拆成分數、名次和區間。那些測驗上的點數留在那一頁。 兩門入門課都是 B，會讓人覺得這個學生比一門 A、一門 C 更穩，即使平均仍是 B。整齊的一對，是同一類證據說了兩遍。效度錯覺，就是把這種重複讀成更強的預測。

​
效度錯覺的三層理解

  • 入門：整齊的故事是一種吻合感。在你相信兩門相同的成績、一場順暢的面試，或一份每條筆記都說同一句話的檔案之前，先寫下這些線索是在重複一件事，還是在增加一件新事。
  • 實踐：行動之前，把已知的準確程度，或本來就會成功的人所佔的份額，寫在感覺旁邊。如果你只追蹤自己選中的人，他們的成功率是這一組人的記錄。
  • 進階：每條線索單獨的預測力相同時，線索之間的吻合可以提高確信，同時降低合併後的相關。後來的成功，也可能是你隨後給了這些人的幫助。一段結構化軍中面試之後回想起來的提高，和當時覺得很有把握的那次障礙練習，是兩份不同的記錄。

​
起源

這個名字是在障礙課旁邊起的，將近二十年後才印進期刊。有計數的演示是一次成績預測。障礙課本身沒有印出相關係數。 丹尼爾·卡尼曼的諾貝爾傳記文章說，他在為以色列國防軍評估軍官候選人時，造出了「效度錯覺」這個說法。他 1954 年以少尉應徵。做了一年排長之後，他調到心理部門。其中一項職責沿用第二次世界大戰中英國陸軍的方法。八名候選人摘掉軍銜標誌，只用號碼辨認。他們抬起一根電話線桿，要通過一道障礙，例如一堵 2.5 米的牆。線桿不能碰地，也不能碰牆，候選人也不能碰牆。只要發生其中一件，就要聲明並重新開始。兩名觀察者在旁觀看。練習常常要半小時或更久。大約每個月有一次統計日，軍官訓練學校會回饋評分準不準。文章說，預測學員在學校裡表現的能力可以忽略。第二天換上一批新人，誰是領導者的印象又同樣清楚。卡尼曼寫道，統計資訊和那種洞察的體驗接不上。他稱之為自己發現的第一個認知錯覺。文章說，這個詞將近二十年後進入專業文獻，即卡尼曼與特沃斯基 1973 年的論文。文章沒有為抬桿過牆的評分印出相關係數。 印出這個名字的論文是 “On the psychology of prediction”，《Psychological Review》第 80 卷，第 237–251 頁，1973 年 7 月。署名單位是耶路撒冷希伯來大學和奧勒岡研究所。期刊記下收稿日期為 1972 年 11 月 8 日。論文的論點是，人按代表性來預測。題為 “Confidence and the illusion of validity” 的一節主張，確信跟著所選結果有多代表性走。輸入有多一致，是這種吻合的一個主要部分。 同一篇論文的前一節，報告了以色列陸軍軍官選拔委員會的一次現場觀察。有經驗的軍官通常在數日測驗和觀察之後，用 7 點量表給候選人打分。為了這項研究，他們還要為每一名通過這次評估的候選人，預測其在軍官訓練中的最終成績。超過 200 個案例，由相當多不同的軍官評定。預測成績的分布，與實際成績的分布幾乎相同。例外是，預測的不及格少於實際的不及格。最高的兩檔，頻率正好吻合。這些評判者知道，已有研究把他們的預測效度放在大約 .20 到 .40。預測仍然和成績一樣極端。這個區間是他們已知的研究。論文沒有在這 200 多個預測上計算相關係數。均值迴歸是那一頁：極端的測量之後，結果會更靠近中間。 1974 年發表在《Science》上的文章，把效度錯覺列為代表性偏離機率的一種方式。代表性那一頁已經把這份清單看成回到 1972 年和 1973 年論文的地圖。它不是 1974 年文章內部的六項新試驗。

​
核心要點

四項核對把效度錯覺拴在吻合、相關，以及你看不見的那些人身上。數字留在印出它們的那一段裡。
1

整齊的剖面讓人覺得更好預測

卡尼曼與特沃斯基舉的畫面是總評 B。兩門入門課都是 B，比一門 A 加一門 C 更能讓人有把握地預測這個總評。整齊的成績是一致的，於是預測分數看起來有代表性。他們引用保羅·斯洛維奇 1966 年的研究，說明輸入不一致時確信會下降。本頁不攜帶斯洛維奇的數字。他們也說，這種直覺和常用的線性模型不合。在那個模型裡，預期準確程度並不取決於剖面內部的分散。例子裡的 A 和 C 是一個不那麼整齊的剖面。他們引用的模型，並不把這種分散當成更低的預期準確程度。
2

一起變動的線索會削弱合併預測

線索高度相關時，整齊的剖面很常見。在各條線索的效度已經給定時，線索之間的相關越高，與結果的多重相關就越低。確信走的是另一個方向。成績研究發現，在預測分數的整個範圍內，人對相關的那一對更有把握，t = 4.80，df = 129，p < .001。論文沒有印出平均確信。它也沒有拿預測去對後來的成績打分。更低的效度，是模型對實驗說明的讀法。
3

計算高出基礎比率的那一截

希勒爾·艾因霍恩與羅賓·霍加斯在 1978 年問，經驗為什麼動搖不了這種確信。判斷被用來選擇行動時，後來的記錄主要是你接受的那些人。他們的示例不是一次招聘審計：被接受者中 80% 的命中率，旁邊是 70% 的基礎比率。他們要求的比較是這一截差額。在極端示例裡，判斷力和行動本身的效果都是零，基礎比率是 .75，於是被接受者中的命中率仍是 .75。基礎比率忽視是那一頁：判斷單個案例時，把群體中的份額放在一邊。
4

已知中等效度，預測仍可以很極端

在軍官選拔委員會，評判者已知效度大約在 .20 到 .40，預測成績的散布仍然貼著實際成績的散布，只是預測的不及格太少。論文說，這類預測中的確信，是預測水平的一個 J 形函數。它引用約翰遜 1972 年的著作，以及作者自己的研究。人對傑出的成功非常有把握，對徹底的失敗也比對平庸的結果更有把握。預測若沒有被拉向中間，最大的偏差就落在這些極端上。這裡不印約翰遜的曲線。

​
應用場景

當一份整齊的檔案就要被當成效度時，用上吻合、基礎比率和後續追蹤。每個印出來的數字，留在它自己的研究裡。

把每條線索標成重複或新事實

在課堂報告、求職檔案或家裡的學校材料裡，列出每條筆記量的是什麼。兩門相近的課都是 B，就是論文裡那個一致剖面的畫面。先加一條來自另一種工作、有可能不同意的線索，再讓這種同意本身提高你的確信。一個剖面內部的分散，是 A 加 C 的畫面。他們引用的線性模型，並不因為這種分散而降低預期準確程度。

把基礎比率寫在命中率旁邊

如果你只錄取、雇用或資助那些看起來有希望的人，先寫下更廣的人群裡成功者佔多少，再去讀這些成功。艾因霍恩與霍加斯的示例是 80% 對 70% 的基礎比率。差額才是要比較的東西。這是他們論證裡的示例。如果你沒有被你拒絕的那些人的記錄，相關仍然缺著。

把預測放進已知的準確程度裡

團隊如果已經有這類評分的效度，先把那個數字寫在生動的候選人旁邊，再去匹配故事裡的極端。軍官選拔委員會的評判者已知大約 .20 到 .40 的區間，預測成績最高的兩檔仍然和實際頻率吻合。那個區間屬於他們已知的研究。一場新的面試需要它自己的記錄。均值迴歸就是向中間拉的那一下。

把幫助和判斷分開

一個培訓名額、一筆資助，或管理者多給的時間，會改變你選中的那些人後來的結果。艾因霍恩與霍加斯用研究資助作示例，並寫明他們知道這個例子沒有資料。受資助工作的成功，把挑選和資源混在一起。把後來的成功讀成一份混合的記錄。效度係數必須把這兩件事分開。

​
經典案例

有計數的演示，就在命名效度錯覺的那一節裡。卡尼曼與特沃斯基請人根據兩對能力測驗，預測平均學分。一對叫創造性思考和符號能力，被描述為高度相關。另一對叫心理靈活性和系統推理，被描述為不相關。人們看到的分數符合這些描述。一半受試者看到的標籤對調了：哪一對被標成相關，哪一對被標成不相關，換了一半人。每個人都被告知，四份測驗在預測大學表現上同樣成功。 論文的預設受試者池是：除非某項研究另有說明，受試者是透過奧勒岡大學學生報紙招募的付費志願者，在小組裡作答。這項研究沒有寫出另一個受試者池。除了自由度，它也沒有印出樣本量。 按這個說明，不相關的那一對是更強的合併預測。每份測驗的效度相同，彼此不同步的測驗會帶來另一份測驗還沒攜帶的資訊。相關的那一對是在重複自己。作者使用的多元模型說，輸入之間的相關上升，多重相關就下降。 確信走的是另一個方向。在預測分數的整個範圍內，受試者從相關測驗來預測時更有把握，t = 4.80，df = 129，p < .001。
也就是說，他們在預測效度更差的情境裡更有把握。
這項研究沒有報告平均確信，也沒有後來的成績。「更差的效度」是模型對實驗說明的說法。它不是在這些預測上算出來的命中率。測驗的名字是指定的，並且對一半受試者做了對調，所以結果跟著相關這個標籤走。它並不跟著創造性思考或系統推理的某種特殊性質走。這個練習裡的 t = 4.80 留在這個練習裡。軍官選拔委員會的 .20 到 .40 是另一段。

​
邊界與失效場景

把三份軍隊記錄併成一個係數，把一個示例當成一次審計，或把鄰頁的統計數搬過來，效度錯覺就不是合適的概括。 第一條邊界是軍隊，它是三份記錄。傳記文章裡的抬桿過牆，每次八名候選人，兩名觀察者，回饋被寫成可以忽略。沒有印出係數。1973 年論文裡的軍官選拔委員會是另一段。它包括超過 200 個案例、7 點量表，以及數日觀察。評判者已知效度大約在 .20 到 .40。成績預測仍然和結果一樣極端。文章裡更晚的那項任務，他定為 1955 年，是為戰鬥部隊新兵做的面試，剛好在保羅·米爾 1954 年的書之後。文章說，那本書表明臨床預測一貫不如按統計公式作的預測。面試官是一小批人，大多是剛離開好高中的年輕女性，按心理測量分數和對心理學的興趣選出來。她們原先先形成一個總體印象，再給一個總體評分。卡尼曼引入六項評分，問題問的是平民生活。他記得這些維度包括男性自豪和義務感。她們反對失去那個總體判斷之後，他允許她們在結尾補上一個。他對第一批效度資料的回憶，以後來表現的評分作準則，是接近 .30 的相關，對照先前方法大約 .10。結尾的總體評價，是他們所作評分裡最有預測力的一項。他寫道，努力把評分做得可靠，結果讓這些評分有了效度。這兩個靠回憶的相關屬於那次面試。它們和抬桿過牆的回饋是分開的，也和委員會的 .20 到 .40 分開。文章說，這套面試改動很少，沿用了數十年。它沒有印出樣本量，也沒有把結果寫成男女之差。 第二條邊界是 1978 年的論文，《Psychological Review》第 85 卷第 5 期，第 395–416 頁。艾因霍恩在芝加哥大學商學院。霍加斯在倫敦商業研究生院，以及楓丹白露的 INSEAD。80%、70%，以及 .75 的基礎比率，都是論證裡的示例。他們引用泰勒與拉塞爾 1939 年的表：相關很低時，只要選中的人很少，被接受者中的命中率仍然可以很高。這裡不抄那些表裡的任何一格。資助的故事被標明為沒有資料的示例。他們的學習模型說，確信一旦形成，在部分強化的安排上，負面回饋應當很難把它消去。這是模型的預測。論文沒有印出消退曲線。他們還指出，人事主管常常因為雇錯人受罰，很少被問起被拒絕的人。這種結構不是一個數過的漏選率。 第三條邊界是往外搬。工程師檔案的中位數、迪克的素描、湯姆·W 的等級，留在代表性啟發。108 名研究生裡有 73 人把區間對稱地放在智商 140 兩邊，以及飛行學校的那道題，留在均值迴歸。測驗上的 0.79、−0.22、0.48、−1.36，以及 73.1% 的命中率，留在過度自信效應。蘭格的美分、要價和辦公室裡的比例，留在控制錯覺。那一頁是：機會任務上放了技能線索之後，人把自己的機會放在機率之上。虛幻優越是那一頁，談的是在容易的特質上把自己放在別人之上。艾因霍恩與霍加斯引用了奧斯坎普的確信上升，那些百分比留在過度自信那一頁。這些數字各自有自己的研究。

​
常見誤區

三個捷徑跟著這個名字走。同意被讀成額外的效度。被選中者中的高命中率被讀成相關。一段軍隊記憶被要求裝下三個不同的數。
同意會提高確信。在成績研究裡，相關的那一對帶來更高的確信，t = 4.80，df = 129，p < .001，而實驗說明使這一對成為更弱的合併預測。兩門 B，對照一門 A 和一門 C，是另一幅畫面：更整齊的剖面讓人更有把握，而他們引用的線性模型並不因為剖面內部的分散改變預期準確程度。這項研究從未給後來的平均學分打分。這個 t 留在確信的比較裡。
百分之八十是艾因霍恩與霍加斯用來說明被接受者命中率的示例。放在 70% 的基礎比率旁邊，差額是 10 個百分點。在他們的極端示例裡，判斷力是零，行動什麼也不改變，基礎比率是 .75，於是他們描述的命中率是 .75。沒有被你拒絕的那些人，這個正確百分比描述的是你決定去看的那一組。泰勒與拉塞爾的表被引來說明同一種結構。這裡不印那些表裡的格子。
「可以忽略」是文章對抬桿過牆回饋的用詞，那裡沒有印出係數。.20 到 .40 這個量級，是軍官選拔委員會的評判者已經知道的研究，出現在超過 200 個成績預測的那一段。接近 .30、對照大約 .10，是對後來那次結構化面試的回憶，結尾自由給出的總體評分是各項評分裡最有預測力的。三份記錄描述三種程序。哪一份都不是那個 t = 4.80。

​
相關概念

效度錯覺旁邊是相似、過分有把握的分數，以及被放過的基礎比率。它也挨著停在極端的預測、被撥動的機會，以及只留下仍能看見的人的記錄。這些連結是鄰居。每一頁保留自己的證據。

代表性啟發

選那個和證據相似的結果。1973 年的論文把這種確信追溯到那條捷徑。工程師的中位數和湯姆·W 留在那一頁。

過度自信效應

確信跑在分數、名次或區間前面。效度錯覺是吻合帶來的確信。2008 年測驗上的點數留在那一頁。

基礎比率忽視

判斷一個案例時，把群體中的份額放在一邊。艾因霍恩與霍加斯要的是命中率減去那個份額。他們的 80 和 70 不是出租汽車問題。

均值迴歸

有噪聲的極端測量之後，結果更靠近中間。軍官選拔委員會把成績預測得和結果一樣極端。飛行學校的故事留在均值迴歸那一頁。

控制錯覺

機會任務上放了技能線索之後，人預期自己的機會高於機率。一場整齊的面試，和一張自選的彩券，是不同的失誤。

倖存者偏差

只從仍然看得見的成功裡學習。這裡缺的人，常常是評判者拒絕的人。被接受的一組看起來準確，也可能只是因為基礎比率本來就高。

​
一句話總結

在相信一個整齊的故事之前，寫下線索是不是在重複同一件事，並把基礎比率寫在你選擇去看的那些人旁邊。