Skip to main content
类别: 效应
类型: 强化物出现在次数不固定的反应之后，这些次数围绕一个写明的平均数。固定次数、等待时间、每一次都有固定概率，是旁边的安排
来源: C. B. Ferster 与 B. F. Skinner，《Schedules of Reinforcement》（Appleton-Century-Crofts，纽约，1957），可变比率那一章。此处的赌博句子来自 B. F. Skinner 基金会摘录的《Cumulative Record》（第138页）、《About Behaviorism》（第67页）和《Science and Human Behavior》（第104页）。这三本书没有重读
别名: 可变比率程序。间歇强化是并不每次都给回报的那一类程序的总称，不是本页的第二个题名
快速回答 — 间歇性强化效应（Variable Ratio Reinforcement）是指，强化物出现在次数不固定的反应之后，次数围绕一个写明的平均数变动。Ferster 与 Skinner 在1957年写明了这个程序，实验大多是鸽子啄键。固定次数往往在得手后留下停顿。2018年的盲盒式战利品箱调查把花费档和问题赌博的等级连在一起，并没有说明相关朝哪一边走。

​
什么是间歇性强化效应？

间歇性强化效应在本页是指一种程序：强化物出现在次数不固定的反应之后，这个次数围绕一个写明的平均数变动。
强化取决于一定的平均反应次数，但各次的数目可以大致随机地变动。
这句话是 B. F. Skinner 的，见于 B. F. Skinner 基金会对《Cumulative Record》第10章第138页的摘录。原书没有重读。强化物是跟在行为后面、并让这种行为以后更可能出现的事件。被计数的是距上一次强化物的反应次数，不是钟面上的分钟。1957年那本书里的 VR 100 标出的是平均数。它并不保证第一百次反应才会得到回报。 每一次都有奖，是另一种程序。一次奖都没有，也是另一种情况。奖还在每次到达时，反应会被维持住。较快的下降出现在奖停止之后。控制错觉是：机会任务上一旦放了技巧线索，人估计的成功率会高过客观机会。抓娃娃机可以加上这种线索。本页计的是变动的尝试次数。

​
间歇性强化效应的三层理解

  • 入门: 下一次奖取决于尝试了多少次，而这个次数会变。先写下那一次尝试，再决定心情、等待或“差一点”是不是同一件事。
  • 实践: 写三行。回报跟的是反应次数，还是一段等待？平均数有没有写明？回报停止后，接下来的尝试会怎样？只有第一行是这个程序。
  • 进阶: 平均数相同的时候，固定次数和变动次数可以有相近的总反应率，得手后的停顿仍然不同。盲盒花费上的相关，没有指定因果方向。

​
起源

间歇性强化效应的程序写在 C. B. Ferster 与 B. F. Skinner 的《Schedules of Reinforcement》里，1957年由纽约的 Appleton-Century-Crofts 出版。扉页上 Ferster 在印第安纳大学医学中心，Skinner 在哈佛。致谢写明，大部分工作是在与哈佛签订的海军研究办公室合同 N5ori-07631 和 N5ori-07656 下完成的，时间从1949年9月1日到1955年6月30日。实验大多是鸽子啄键。后来的印本并没有为可变比率那一章共用一个页码，所以本页不印页码。 这本书用两个选择给程序分类。强化物可以取决于上一次强化以来的反应次数，也可以取决于上一次强化以来的时间。要求可以固定，也可以变动。这样就有四种基本程序：固定比率、可变比率、固定时距、可变时距。固定比率里，凑满设定次数的那一次反应得到强化。FR 100 就是上一次强化之后的第一百次反应。可变比率与此相似，只是书里把强化安排成一系列比率，有一个写明的平均数，并落在任意设定的上下界之间。平均数用一个数字写出，例如 VR 100。 Skinner 后来的句子把赌博装置说成这个程序。同一则《Cumulative Record》摘录说，这个程序是一切赌博装置和赌法的核心；所谓确诊的或病理性的赌徒表现了它的结果：相对轻微的净强化，引出很高的活动率。那是他的举例。它不是赌徒人数，也不是一台机器的返还率。基金会对《About Behaviorism》第67页的摘录说，一切赌博系统都建立在可变比率程序上，虽然人们通常把效果归到感受。摘录随后用省略号跳过一段，本页不补这段空缺，然后是第二句：同一种程序也作用在探索、勘探、发明、做科学研究，以及创作艺术、音乐或文学的人身上；在这些领域，高水平的活动通常被说成投入，而不是被说成强迫。基金会对《Science and Human Behavior》第104页的摘录说，长期的净赚或净亏，对于说明这个程序为何有效几乎无关。摘录用方括号把这个程序标成可变比率。方括号属于摘录，1953年的原书没有重读。 更早、而且程序不同的一项工作，是 Lloyd G. Humphreys，《Journal of Experimental Psychology》25卷2期，1939年8月，第141–158页。读过的是摘要，文章本身没有重读。66名大学生对一道光形成条件反应，光后面跟着吹向角膜的一股气。一组在96次试验里每次都有气。一组在96次试验里一半有气。一组在48次试验里每次都有气，并插入48段休息，休息的位置对应一半有气那一组里没有气的试验。然后每组做24次消退试验：只有光，没有气。摘要报告，获得阶段的频率和幅度没有差别；在这24次消退试验上，一半有气的那一组反应水平显著更高。摘要没有印出 p 值，也没有印出各格的均值。这是光和气，按试验的比例出现。它不是鸽子去完成一张写好的比率表。

​
核心要点

四种读法把计数器、停顿、消退程序和花费调查分开。惊讶的心情本身不是一种程序。
1

数的是距上次强化的反应

1957年的程序，在一系列有平均数的比率之后给予强化。VR 100 标出的是这个平均数，不是下一次。如果计时器让下一次回报在一段变动的等待之后到期，那是可变时距。把安静的一段时间等过去，可以让这种时距回报到期。等待完不成一个比率。通知若是随着时间到来，在有人写下查看次数之前，它属于计时器这一边。
2

看固定次数得手后的停顿

犹他州立大学的 Edward K. Crossman、Elliott J. Bonem 与 Brady J. Phelps 比较了鸽子的固定比率、可变比率和随机比率。《Journal of the Experimental Analysis of Behavior》48卷3期，1987年11月，第395–406页。读过的是摘要，文中的表没有重读。每一种类型内部，比率大小不规则地经过5、10、40和80。总反应率，也就是强化后停顿加上进行中的反应率，在这些大小上并不因类型而不同。强化后的停顿在固定比率上相对更长。他们把比率的大小读成总反应率的控制因素，把比率的类型读成停顿的控制因素。Skinner 在《Cumulative Record》第137页的摘录里，把固定比率称为计件。他描述赌博时的那种高进行速率，挨着这个停顿结果。它不是第二张总反应率的表。
3

把部分强化后的消退留在原程序里

Humphreys 那一组一半有气的人，在24次消退试验上的反应水平高于每次都有气的组。获得阶段没有差别。流行的说法认为，每次都有回报人就会放弃。这个说法把仍在给付的阶段和停止给付混在了一起。给付还在继续时，每一次反应都有强化物，反应会被维持。较快的下降，是摘要所报告的、强化物撤掉之后的情形。赌徒谬误是相信一次不中会让下一次更该中。有平均数的系列仍然允许一长串不中。信念和程序，是对同一段干旱的两种读法。
4

把花费等级留在按键之外

调查可以显示，问题赌博等级更高的人，报告的战利品箱花费档也更高。这个等级不是一张写好的比率表，也不是一条消退曲线。赌场资金效应是：一笔收益之后，人更愿意接受自己本来会拒绝的赌局。先前的赢，不是到下一次强化物的平均反应次数。

​
应用场景

写下反应、强化物和次数。然后再判断眼前这份记录是一种程序、一个调查档，还是一个故事。

先标计数器，再谈计时器

把一个习惯叫成这个效应之前，先写清数的是什么。查看信箱可以是反应。如果消息是因为时间过去才变得可取，按 Skinner 的划分，程序在计时器一边。比率需要的是距上一次强化物的反应次数；若知道平均数，把平均数写上。

人听得见时，写明平均数

一组练习可以每答对一次就确认，也可以在变动的答题次数之后再确认。家里可以每做完一件家务就致谢，也可以在变动的件数之后再致谢。任务里的人听得见时，把平均数说出来。把次数藏起来，好让对方停不下来，是把对程序的描述变成了压力。本页不推荐这种压力。

把花费档读成档，不读成金额

下面2018年的均值，是每月战利品箱花费的类别代码，从从未购买到超过300美元。6.47不是6.47美元。它不是一家店的一周，也不是一张盲盒小票。付了钱、内容又随机的盒子，形状上就是调查里的那个对象。这个代码仍然不给出平均比率。

把差一点和次数拆开

抓娃娃机可以按变动的付费次数出奖，同时给出“差一点”，或一次看起来像技术的抓取。差一点是额外线索。沉没成本谬误是因为已经花掉的部分而留下。下一次不可预计的奖是另一种继续的理由。两者都在，就两条都写。哪一条都不是对一段关系的诊断。

​
经典案例

被计数的案例是 David Zendle 与 Paul Cairns，《PLOS ONE》13卷11期，2018年11月21日，文章编号 e0206767。Zendle 在约克圣约翰大学计算机系。Cairns 在约克大学计算机系。他们问的是：花在战利品箱上的钱，是否与问题赌博的严重程度排在一起。他们论文里的战利品箱，是可以用真钱购买、内容随机的虚拟物品。 调查在网上进行，只有英文，没有报酬，年龄限于18岁及以上。招募用了 Reddit 游戏版块上的29个链接。邀请说明，研究关心战利品箱和赌博之间的联系，没买过也可以参加。他们收到14,182份回答。去掉3,173份没有年龄的、872份年龄写成18岁以下的、2份年龄超过120的、2份月赌博花费超过1,000,000美元的、9份赌博花费为负数的，以及2,702份不完整的。分析集是7,422人。其中5,793人（78%）买过战利品箱，1,629人没有。与此分开，6,441人（87%）曾用真钱买过其他游戏内物品，981人没有。 严重程度用的是问题赌博严重指数：针对过去12个月的九个问题，每题0到3分，总分0到27。Zendle 与 Cairns 使用的分段是0、1到4、5到7、8及以上，并分别称为无问题、低风险、中等风险和问题赌博。他们引用的计分论文没有重读。战利品箱花费先问有没有买过。买过的人再回答论文中的原话：大约每个月在战利品箱上花多少美元。选项从不到1美元到超过300美元，共13档。从未购买记为0。问题没有印出日期范围。下面的均值是类别代码的均值。论文自己这样说。 对战利品箱花费做 Kruskal-Wallis 检验，χ²(3) = 284.255，p < 0.001，η² = 0.054。类别均值是：无问题 2.41，低风险 3.67，中等风险 4.96，问题赌博 6.47。论文把 2.41 放在1–5美元和5–10美元两档之间，把 3.67 放在5–10美元和10–15美元之间，把 4.96 放在10–15美元和15–20美元之间，把 6.47 放在20–30美元和30–40美元之间。对其他微交易花费做同一个检验，χ²(3) = 38.622，p < 0.001，η² = 0.004。作者说，严重程度每上一个档，战利品箱花费就更高。两两比较用的 Bonferroni 阈值是0.008。那六格不在本页重印。他们还说，无问题档和问题档之间，其他花费的差距是 d = 0.046，比同样两档之间的战利品箱差距小五倍以上。那一对的战利品箱 d 没有印在本页。 教训是这个 Reddit 样本里的一条分级花费代码。严重程度更高的人，报告的战利品箱类别更高，而且这条坡度陡于其他游戏内购买。Zendle 与 Cairns 写明，这个设计看不出是购买箱子把人引向问题赌博，还是已经以有害方式赌博的人在箱子上花得更多。没有人编排比率。6.47不是到一次奖为止的尝试次数。

​
边界与失效场景

三种复述会把间歇性强化效应用错。每一种惊喜都叫比率。平均数相同时，固定次数被说成总反应率更低。一份调查、一台抓娃娃机，或一段捉摸不定的关系，被当成实验室里最令人上瘾的机制的证据。 第一道边界是程序本身。Humphreys 变动的是有气的试验比例。他没有列出围绕平均数的比率。摘要里更高的消退水平，是那些学生在24次试验上的眨眼反应。它不是课堂测验，不是家务表，也不是一段关系。Crossman 的摘要在比率大小为5、10、40和80时，没有发现固定、可变和随机三种比率的总反应率差异。他们报告的差异，是固定比率上更长的强化后停顿。在那项比较里，随机比率是单独的一类。每一次尝试都有固定概率，例如一个盒子以设定概率开出稀有物品，更接近这种随机比率，而不是一张预先写好、带有平均数和上下界的表。Ferster 与 Skinner 的可变比率是那张表。用一个名字叫这两种安排，会把停顿结果藏起来。停顿把固定次数和另外两种分开了。 第二道边界是作为编码对象的战利品箱，以及作为收据的战利品箱。Aaron Drummond 与 James D. Sauer，《Nature Human Behaviour》第2卷，2018年8月，第530–532页，没有重读。Zendle 与 Cairns 引用了他们的结论：战利品箱系统在鼓励并维持参与的方式上，与赌博有结构和心理上的相似。Drummond 与 Sauer 自己的说明，写在2018年6月28日的《The Conversation》和他们的议会书面证据里：他们查看了2016年和2017年出版的22款主机与电脑游戏。其中10款，他们也写成45%，满足他们所使用的 Mark Griffiths 的全部五条标准：金钱或有价值的东西转手，未知的未来事件决定这次交换，机会参与其中，不参加就能避免损失，赢家的所得以输家的所失为代价。第五条他们按随后对局里的竞争优势来判断，并把稀缺外观的主观价值放在一边。按他们的规则，一个纯外观的盒子可以通不过第五条，而在他们的说明里，贵重物品仍然可以在变动的次数上出现。他们把这种变动的次数称为可变比率程序。他们举的10%的例子，平均每十个箱子成功一次、确切次数会变，是一个说明。它不是某一款有名字的游戏的掉落率。10/22是编码计数。它不是 η² = 0.054，也不是反应率。 第三道边界，是把程序用在看不见平均数的人身上。一堂课或一个家庭可以把平均数说出来，这仍然可以是这个程序。把平均数藏起来，好让学生、员工或伴侣继续下去，是把程序用作压力。本页没有任何研究去数一段关系里的亲近和冷淡，并对照一个平均比率。留下并不是那个次数。离开也不需要先给程序起名。过度理由效应是：一件人本来就会做的事，若事先答应用奖励来交换，事后的自由选择会下降。习得性无助是：在人改变不了的结果之后，后来的行动下降。这两行都不是到下一次强化物的变动次数。 Zendle 与 Cairns 的一则更正，《PLOS ONE》，2019年3月14日，文章编号 e0214167，删掉了结论里的一句话。那句话说，无问题与问题赌博的划分解释了战利品箱花费方差的37.7%。他们说，这句话指的是预印本里的一种参数检验，发表稿没有使用。这个百分比不是本页的结果。发表稿上的 η²，0.054 和 0.004，仍然保留。样本知道题目，从 Reddit 招募，用英文作答。严重程度的窗口是12个月。花费问题写的是“每个月”，没有印出日期。这两段不是同一个窗口。

​
常见误区

三种说法跟着这个名字一起流传。一种说，稳定的回报会让人放弃。一种把每一种惊喜都叫成比率。一种把花费上的相关，或一段捉摸不定的关系，读成最令人上瘾的机制已经得到证明。
每一次反应都有强化物，只要它还在到达，反应就会被维持。Humphreys 的摘要发现，每次都有气和一半有气，在获得阶段没有差别。更高的水平出现在消退里：训练时只有一半有气的人，在随后24次没有气的试验上更高。给付的阶段和停止的阶段是两段。每次做完家务都得到一声谢谢，这时还没有进入消退。
Skinner 的划分是计数器或计时器。下一次回报要等一段变动的时间才到期，那是可变时距。变动的是反应次数，那才是可变比率。每一次都有固定概率，是 Crossman 那项比较里的随机比率邻居。在那篇摘要的大小上，总反应率并不按类型分开。更长的停顿落在固定次数上。一个随时间更新的信息流，还没有被写成比率。
2018年的类别均值随严重程度的档上升，作者拒绝指定方向。一则更正删掉了37.7%那句话。Drummond 与 Sauer 的10/22，是满足五条标准的游戏数量，不是游戏率。每个箱子里都有一件物品，与稀有物品出现在变动次数上，可以同时成立。Zendle 与 Cairns 引用了 ESRB 的比较：战利品箱更像棒球卡，其中有惊喜，而且你总会得到一点东西。这句话不是一个比率。本页没有任何一段关系有被数过的平均数。

​
相关概念

间歇性强化效应旁边，是机会任务上的技巧线索、关于下一次不中的信念、事先答应的奖励、先前的一笔收益、已经花掉的钱，以及在改变不了的结果之后出现的行动下降。

控制错觉

机会任务上放了技巧线索之后，估计的成功率高过客观机会。一次看起来像技术的抓取是那条线索。变动的次数是另一行。

赌徒谬误

相信一次不中会让下一次更该中。有平均数的系列仍然允许一长串不中。

过度理由效应

一件人本来就会选的活动，事先答应给奖励之后，后来的自由选择下降。那一行不是变动的次数。

赌场资金效应

一笔收益之后更愿意接受赌局。收益是先前的。它不是到下一次强化物的平均反应次数。

沉没成本谬误

因为已经花掉的部分而留下。下一次不可预计的奖是另一种继续的理由。

习得性无助

在人改变不了的结果之后，后来的行动下降。到强化物为止的变动次数是另一个方向。

​
一句话总结

把一个习惯叫成间歇性强化效应之前，先写下反应、强化物和变动的次数，不要把盲盒花费的类别均值读成次数导致了花费的证据。