贝叶斯更新:从先验、似然到后验
贝叶斯更新用于修正不确定判断。观察证据 之后,假设 的概率变为:
这个事件概率版本要求 ,可由 的两种分解方式推出。若某个假设的先验概率为零,乘以有限似然后也不会获得正的后验概率。对连续观测,应使用似然密度,而非精确取值的点概率;参见 NIST 对贝叶斯公式的说明。
公式中的四个量
- 是先验概率,即观察当前证据前对假设的判断。
- 是似然,即假设成立时出现该证据的概率。它回答的是"如果假设成立,这项证据有多常见",不能与 互换。
- 是证据概率。若候选假设 互斥且覆盖所有可能性,则 。它把各假设的结果归一化,使后验概率之和为 1。
- 是后验概率,即纳入证据后的判断。
比较多个假设时,可以简写为:
证据与解释相符,不保证后验会上升。当 时,只有 ,后验才高于先验。若两种似然都是 0.8,证据同时符合两种解释,先验就保持不变。似然比决定更新方向,先验也会影响最终幅度。
基础率:0.2% 与 99% 的算例
假设某病在人群中的患病率为 。检测的灵敏度为 ,意思是患病者中有 会测出阳性;特异度也为 ,意思是未患病者中有 会测出阴性。用 表示患病, 表示检测阳性。从这个人群中随机抽取一人,阳性后的患病概率可由贝叶斯公式算出:
按 10,000 人计算,预计有 20 人患病,其中 19.8 人检测呈阳性;其余 9,980 人中,预计有 99.8 个假阳性。于是全部阳性结果中,真阳性约占 。
这个算例说明,灵敏度和特异度不能直接当作阳性后的患病概率。结果还取决于基础率、受检人群和检测条件。它只是概率计算示例,不对应具体疾病或产品,也不能代替医学判断。
连续更新
一轮后验可以成为下一轮的先验:
搜索某个区域却没有发现目标,也能用于更新。如果目标确实在该区域时通常可以被探测到,搜索失败就会降低目标位于该处的后验概率。这个结论依赖搜索范围是否完整、探测是否可靠,以及漏检率是否得到正确建模。
LK-99 提供了一个紧凑例子:早期现象一度提高了室温常压超导解释的可信度,后续复现、电阻测量和材料分析又将其降低。相关材料分析涉及 Cu₂S(硫化亚铜)杂质,并非硫化亚铁。这里重要的是证据如何逐轮改变判断,而不是事后把早期概率改写成零。
相关证据不能重复计算
两项证据的联合似然通常应写成:
只有在给定假设 后,两项证据条件独立,第二项才可简化为 。多个报道若来自同一消息源,多个指标若受同一种测量误差影响,或者多个现象由同一潜在原因造成,直接按独立性把这类重复证据的似然相乘,可能重复计算信息,产生过度自信。对于一般的依赖关系,误差方向取决于各个候选假设下的联合似然。
朴素贝叶斯分类器为了简化计算,会假设特征在给定类别后条件独立。这是一种模型近似,不表示自然语言中的词语真的彼此独立。
模型能说明什么
贝叶斯模型把先验、候选假设、观测误差和证据依赖关系写得明确,因此适合分析不确定判断。遗漏候选解释、选错先验、误设似然或忽略相关性,都可能得到误导性的后验。
某些感知和判断行为可以用贝叶斯模型拟合,这不足以证明大脑正在执行精确的贝叶斯计算。部分机器学习系统采用贝叶斯方法,也不能推出所有人工智能都能归结为同一种推断过程。贝叶斯方法是研究认知和人工智能的工具,不是已经得到证明的统一心智理论或统一 AI 理论。
与宏观情景分析的关系
本文解释通用概率结构。宏观情景中的贝叶斯方法进一步把它用于互斥情景、似然比、可验证预测和校准评分。宏观页面关注如何记录和检验判断,不再重复这里的基础定义。