数据与评估

评估从结果将支持什么决定开始。数据来源、预测时间与错误代价，应先于模型选择决定数据划分和评价指标。

先检查数据集适用性与泄漏，再处理分布偏移。校准把概率连接到阈值和弃权；本地模型任务重放、检索与生成评估将这些原则放到完整系统中；证据文章解释一个比较究竟能支持多强的结论。

阅读顺序

顺序	文章	解决的问题
1	数据集：溯源、泄漏与评估	从数据生成机制与溯源出发，梳理防泄漏切分、分布偏移评估及权威数据源的使用指南。
2	数据划分与泄漏	明确预测时点、实体边界与训练专用 Pipeline，从根源上阻断目标、时间、实体及预处理层面的数据泄漏。
3	分布偏移下的模型评估	从部署分布、切分、指标、阈值和不确定性出发，避免把单一 test score 当作普遍能力。
4	概率校准、决策阈值与弃权	区分预测准确、概率可信和动作值得执行，用独立数据设置校准与弃权规则。
5	本地模型与 Agent 任务评测	一套可复现的协议，用于验证特定本地模型配置是否满足真实工作流的性能门槛。
6	检索与生成系统评估：从证据命中到回答正确	分开测量证据召回、排序、忠实性和答案质量，用反事实实验找到 RAG 的实际瓶颈。
7	怎样判断 AI 实验的证据强弱	规范、厂商说法、基准测试、个人观察和推荐不是一回事，写笔记时要说明每种材料到底能证明什么。

怎样把这些内容用起来

区分训练、选择、校准和最终测试。报告分数时同时说明人群与运行条件，并保留那些足以改变部署决定的失败案例。

需要接着学习其他环节时，回到AI 阅读路径选择相邻主题。

我的阅读 · 打开过的笔记会记在当前浏览器里。