跳到主要内容

贝叶斯更新:从先验、似然到后验

贝叶斯更新用于修正不确定判断。观察证据 EE 之后,假设 HH 的概率变为:

P(HE)=P(EH)P(H)P(E)P(H\mid E)=\frac{P(E\mid H)P(H)}{P(E)}

这个事件概率版本要求 P(E)>0P(E)>0,可由 P(HE)P(H\cap E) 的两种分解方式推出。若某个假设的先验概率为零,乘以有限似然后也不会获得正的后验概率。对连续观测,应使用似然密度,而非精确取值的点概率;参见 NIST 对贝叶斯公式的说明

公式中的四个量

  • P(H)P(H) 是先验概率,即观察当前证据前对假设的判断。
  • P(EH)P(E\mid H) 是似然,即假设成立时出现该证据的概率。它回答的是"如果假设成立,这项证据有多常见",不能与 P(HE)P(H\mid E) 互换。
  • P(E)P(E) 是证据概率。若候选假设 HiH_i 互斥且覆盖所有可能性,则 P(E)=iP(EHi)P(Hi)P(E)=\sum_i P(E\mid H_i)P(H_i)。它把各假设的结果归一化,使后验概率之和为 1。
  • P(HE)P(H\mid E) 是后验概率,即纳入证据后的判断。

比较多个假设时,可以简写为:

P(HE)P(H)P(EH)P(H\mid E)\propto P(H)P(E\mid H)

证据与解释相符,不保证后验会上升。当 0<P(H)<10<P(H)<1 时,只有 P(EH)>P(E¬H)P(E\mid H)>P(E\mid\neg H),后验才高于先验。若两种似然都是 0.8,证据同时符合两种解释,先验就保持不变。似然比决定更新方向,先验也会影响最终幅度。

基础率:0.2% 与 99% 的算例

假设某病在人群中的患病率为 0.2%0.2\%。检测的灵敏度为 99%99\%,意思是患病者中有 99%99\% 会测出阳性;特异度也为 99%99\%,意思是未患病者中有 99%99\% 会测出阴性。用 HH 表示患病,++ 表示检测阳性。从这个人群中随机抽取一人,阳性后的患病概率可由贝叶斯公式算出:

P(H+)=0.99×0.0020.99×0.002+0.01×0.99816.6%P(H\mid +)= \frac{0.99\times0.002} {0.99\times0.002+0.01\times0.998} \approx16.6\%

按 10,000 人计算,预计有 20 人患病,其中 19.8 人检测呈阳性;其余 9,980 人中,预计有 99.8 个假阳性。于是全部阳性结果中,真阳性约占 16.6%16.6\%

这个算例说明,灵敏度和特异度不能直接当作阳性后的患病概率。结果还取决于基础率、受检人群和检测条件。它只是概率计算示例,不对应具体疾病或产品,也不能代替医学判断。

连续更新

一轮后验可以成为下一轮的先验:

P(HE1,E2)P(HE1)P(E2H,E1)P(H\mid E_1,E_2) \propto P(H\mid E_1)P(E_2\mid H,E_1)

搜索某个区域却没有发现目标,也能用于更新。如果目标确实在该区域时通常可以被探测到,搜索失败就会降低目标位于该处的后验概率。这个结论依赖搜索范围是否完整、探测是否可靠,以及漏检率是否得到正确建模。

LK-99 提供了一个紧凑例子:早期现象一度提高了室温常压超导解释的可信度,后续复现、电阻测量和材料分析又将其降低。相关材料分析涉及 Cu₂S(硫化亚铜)杂质,并非硫化亚铁。这里重要的是证据如何逐轮改变判断,而不是事后把早期概率改写成零。

相关证据不能重复计算

两项证据的联合似然通常应写成:

P(E1,E2H)=P(E1H)P(E2E1,H)P(E_1,E_2\mid H) = P(E_1\mid H)P(E_2\mid E_1,H)

只有在给定假设 HH 后,两项证据条件独立,第二项才可简化为 P(E2H)P(E_2\mid H)。多个报道若来自同一消息源,多个指标若受同一种测量误差影响,或者多个现象由同一潜在原因造成,直接按独立性把这类重复证据的似然相乘,可能重复计算信息,产生过度自信。对于一般的依赖关系,误差方向取决于各个候选假设下的联合似然。

朴素贝叶斯分类器为了简化计算,会假设特征在给定类别后条件独立。这是一种模型近似,不表示自然语言中的词语真的彼此独立。

模型能说明什么

贝叶斯模型把先验、候选假设、观测误差和证据依赖关系写得明确,因此适合分析不确定判断。遗漏候选解释、选错先验、误设似然或忽略相关性,都可能得到误导性的后验。

某些感知和判断行为可以用贝叶斯模型拟合,这不足以证明大脑正在执行精确的贝叶斯计算。部分机器学习系统采用贝叶斯方法,也不能推出所有人工智能都能归结为同一种推断过程。贝叶斯方法是研究认知和人工智能的工具,不是已经得到证明的统一心智理论或统一 AI 理论。

与宏观情景分析的关系

本文解释通用概率结构。宏观情景中的贝叶斯方法进一步把它用于互斥情景、似然比、可验证预测和校准评分。宏观页面关注如何记录和检验判断,不再重复这里的基础定义。

来源

探索关联打开关联网络