类别: 模型
类型: 决策 / 概率图模型
来源: Judea Pearl（1985），加州大学洛杉矶分校
别名: 信念网络；Bayes net；贝叶斯信念网
类型: 决策 / 概率图模型
来源: Judea Pearl（1985），加州大学洛杉矶分校
别名: 信念网络；Bayes net；贝叶斯信念网
快速回答 — 贝叶斯网络（Bayesian Network）是一张有向无环图：节点是变量，箭头标出直接依赖，新证据到来时，所有相关信念一起更新。Judea Pearl 于 1985 年为其命名，并在 1988 年的专著 Probabilistic Reasoning in Intelligent Systems 中给出计算方法。实践启示是：先画出依赖结构，再让概率既能从原因流向症状，也能从症状回流到原因。
什么是贝叶斯网络？
贝叶斯网络是联合概率分布的紧凑模型：每个节点是一个变量，每条箭头标记直接依赖，每个节点只保存“在父节点已知时自己取各值的概率”。信念网络是有向无环图：节点表示命题或变量，弧表示直接依赖，依赖的强度用条件概率来量化。想象一辆车打不着火。大灯发暗、启动机只咔咔响、油表有油——这三件事不是三张独立的选票。大灯和启动机都挂在电瓶上，油路是另一条父节点。若大灯很亮，电瓶这条解释在开引擎盖之前就会减弱。日常提示是：事实若总是结伴出现，就画出“给定这个之后”的箭头，而不是把孤立分数相加。同一纪律也支撑着贝叶斯思维和概率思维，但网络是让许多次更新彼此不打架的那张地图。
贝叶斯网络的三层理解
- 入门：咳嗽、发烧、同班有人感冒同时出现时，不要当成三张独立选票。先问：什么会让什么更可能。
- 实践：列出变量，从原因画到结果，给每个节点写“给定父节点时”的粗略概率，有证据就同时更新预测和诊断。
- 进阶：图是关于条件独立的断言。漏画或画反箭头，会改变整个联合分布。稀疏图上精确推断仍可行；父节点一多或回路一多，计算就会爆炸。
起源
加州大学洛杉矶分校认知系统实验室的 Judea Pearl 发展这一模型，是为了把概率放进机器，却不必存储所有组合的指数级表格。1982 年，他在 AAAI 发表 “Reverend Bayes on Inference Engines: A Distributed Hierarchical Approach”，证明树状网络可以通过局部消息传递更新信念。1985 年，他在认知科学学会上的论文 “Bayesian Networks: A Model of Self-Activated Memory for Evidential Reasoning” 中提出 Bayesian networks 这一名称。1986 年发表于 Artificial Intelligence 的 “Fusion, Propagation, and Structuring in Belief Networks” 给出了表示与精确推断的技术核心。 综合出现在 1988 年的 Probabilistic Reasoning in Intelligent Systems: Networks of Plausible Inference（Morgan Kaufmann）。同年，Steffen L. Lauritzen 与 David J. Spiegelhalter 在 Journal of the Royal Statistical Society Series B 发表 “Local Computations with Probabilities on Graphical Structures”，说明如何通过重新分组变量，在一般网络——不只是树——上做计算。更早的图祖先包括 Sewall Wright 的路径图，以及 Ronald Howard 与 James Matheson 的影响图；Pearl 的贡献是连贯的概率语义，加上能跑起来的算法。 ACM 将 2011 年 A.M. Turing Award 授予 Pearl（2012 年 3 月宣布），表彰其概率与因果推理演算。贝叶斯网络是该计划的概率一半；后来的因果一半写在 Causality（2000）里，把箭头当成干预，而不只是相关。核心要点
把贝叶斯网络用来让许多不确定事实彼此一致，而不是当成取代判断的黑箱。1
先画图，再填数
节点是你真正跟踪的变量。箭头表示：一旦父节点已知，哪些变量仍然相互依赖。缺一条箭头就是在主张独立，不是装饰。两封热情推荐若来自同一位经理，它们共享一个父节点；画成两条独立箭头，等于把同一个人的口味算了两遍。
2
把联合分布拆成局部表
你不需要一张覆盖所有组合的总表。每个节点只保存“给定父节点时自己的概率”。这也是它能比枚举整条路径的决策树走得更远的原因：图在复用局部零件。父节点集合要小，否则局部表自己也会爆炸。
3
让证据双向流动
原因预测结果（顺箭头向下）。观察到的结果也会修正原因（逆箭头向上）。Pearl 的要点是：只要图画清楚，普通概率本来就支持两个方向。检测呈阳性，就更新疾病节点；一旦得知此人从未有过危险因素，就把这条消息送回检测结果的含义里。
4
让独立假设经得起追问
朴素贝叶斯是星形特例：每个线索在类别已知时彼此独立。真实线索常常成簇。Pathfinder 的后期版本胜过独立模型，正因为淋巴结所见并非在疾病已知后仍彼此独立。只有当你已经知道父节点后，依赖仍然存在，才加那条箭头。
应用场景
当若干不确定事实共享父节点、你又必须同时改写多个信念时，这个模型才真正值钱。家庭与临床诊断
孩子发烧、出疹、同班有人流感，不是三只独立闹钟。把接触史画成同学和自家孩子的共同父节点，再更新。门诊里同一招，能避免把化验单读成“从天而降的铁证”。
机器与软件排障
列出故障模式、症状和检测。电瓶、启动机、油路是“打不着火”的不同父节点。大灯很亮，就先降低电瓶假设，再决定换零件。服务崩溃也可以同样草图：共享配置，还是彼此独立的缺陷。
招聘、信贷与案卷复核
相关的证据就按相关来处理。同一场比赛的两个奖、同一团队的两封推荐，弱于两个独立来源。把共同父节点写在纸上，这样“再多一封信”的期望值才不会被抬高。
数据稀疏的公共风险
疫情、洪水预警、故障上报，混杂着检测、基础率和共同暴露。仪表盘上的单个数字托不住这些链接时，用网络来问：哪一次观察会改变决策——而不是制造假精确。
经典案例
Pathfinder 是一套面向淋巴结病理诊断的决策论专家系统，1983 年由斯坦福的研究者——包括 David Heckerman、Eric Horvitz 和 Larry Fagan——与南加州大学的 Bharat Nathwani 联合启动。领域很大：能累及淋巴结的疾病超过 60 种（25 种良性、9 种霍奇金淋巴瘤、18 种非霍奇金淋巴瘤、10 种转移瘤），以及超过 130 项显微、临床、实验室、免疫和分子特征。 早期版本假定：给定疾病后，所见彼此独立。后期版本改用信念网络，以便表示所见之间的依赖。Heckerman、Horvitz 与 Nathwani 在 1989 年的 SCAMC 报告中比较了两套知识库。专家评分均值从独立模型的 7.99（标准差 2.32）升到依赖模型的 8.94（标准差 1.51）。决策论分数以 micromort 计，均值从 340 降到 16。作者把差距约计为每例 300 个 micromort；按其专家每 micromort 折合 20 美元的换算，大约 6000 美元。 Heckerman 与 Nathwani 1992 年发表于 Computers and Biomedical Research（第 25 卷，第 56–74 页）的论文结论是：把这些依赖写进模型是划算的，更复杂的 Pathfinder 至少不弱于 Pathfinder 的那位专家。1990 年代初，商业衍生系统 Intellipath 已在数百名病理医生中使用。教训是结构上的：图之所以值钱，是因为它拒绝假装线索彼此独立。边界提示：Pathfinder 假定疾病互斥且穷尽——许多现实里的决策并不满足这一点。边界与失效场景
贝叶斯网络的诚实程度，取决于箭头。把因果画反，或漏掉共同父节点，更新看起来很精确，答的却是错问题。这是图的错误，不是软件故障。 精确推断也不是免费的。在树上，局部消息传递很高效。图一密，或某个节点父节点很多，局部表和计算都会迅速变大。这时蒙特卡洛模拟等近似不再是可选项。不要把一张巨大的网络自动当成更科学。 后来的因果读法是另一项主张。观察到撑伞的人也常看见雨，并不能告诉你强迫他们撑伞会发生什么。因果思维和 Pearl 的干预演算问的是这多出来的一步。把贝叶斯网络里的每条箭头都当成已经可扳的杠杆，是最常见的误用。常见误区
这个名字容易引出三条捷径：把模型收成一个公式、把每条箭头当成因果、以为节点越多就越真。贝叶斯网络就是贝叶斯定理
贝叶斯网络就是贝叶斯定理
贝叶斯法则是局部更新。网络是地图，规定哪些更新可以互相影响。朴素贝叶斯只是一张很小的图：一个类别节点，下面挂彼此独立的子节点。多数有用的网络不是那颗星。
每条箭头都是已被证明的因果
每条箭头都是已被证明的因果
箭头编码的是概率模型里的直接依赖。它们可以来自因果知识，也可以只是相关、时间顺序，或一种方便的分解。干预是另一步，不是画图附赠的礼物。
节点和箭头越多，模型一定越好
节点和箭头越多，模型一定越好
多出来的父节点会让你必须填写的表爆炸，多出来的回路会让精确推断更难。一张更小、独立关系更诚实的图，往往比一张挤满猜测数字的图预测得更好。
相关概念
这些页面挨着同一个问题：如何在不确定中修正信念，却不把每条线索都当成独立的。贝叶斯思维
有证据就更新先验的习惯；网络是这一习惯在许多变量上的展开。
概率思维
保持信念的程度，而不是被迫贴上是/否标签。
因果思维
何时箭头应当表示干预，而不只是相关。
决策树
按路径展开选择与机会的地图；与依赖图互补，并不等同。
期望值
把更新后的概率收成可比较数字的计分规则。
蒙特卡洛模拟
用抽样近似难以精确计算的网络查询，而不是只靠消息传递。