AI 与数据基础

模型怎样从错误中学习？先找一个能亲手改变、看见结果的例子，公式可以稍后再读。

先动手试试

• 让直线穿过两个点：调斜率和截距，再让梯度下降走一步。展开代码，还能对照 NumPy 手写求导和 JAX 自动微分。
• 关掉隐藏层的非线性：试完 XOR 的四种输入，看看为什么只叠加线性运算还不够。
• 手算一次注意力：顺着数值看分数怎样变成权重，再怎样组合 value。这篇是计算示例，暂时没有交互面板。

拟合好训练点只是开始：数据划分与泄漏解释为什么训练误差小，还不足以说明模型好用。

这个书架有哪些内容，还有哪些缺口

本分支收录了关于机器学习、神经架构、生成模型及数据处理的精简课程笔记。这里是一个正在建设中的参考书架，而非一套完整或中立的 AI 课程体系。

当前分支

分支	当前优势	已知缺口
机器学习	监督学习术语与经典模型	因果推断、不确定性、校准、决策理论、无监督/强化学习覆盖不足
深度学习	从 MLP 到 Transformer 及扩散模型的架构概览	训练系统、Scaling、对齐（Alignment）、鲁棒性、多模态及现代评估细节缺失
数据科学	数据集结构、划分、泄漏、溯源及分布偏移下的评估	隐私、治理、代表性、标注运营及生产环境数据质量

Agent 运行时、MCP、Skills、工具及 Harness 相关内容请见 AI Systems。当前模型/API 选型请查阅带日期的 Frontier Radar。

LLM 相关性，而非新的有效性测试

内容	对当前 LLM 的相关性
概率、线性代数、优化、损失函数	仍是基石；模型规模扩大不会消除其底层假设
MLP 与现代激活函数	直接相关：Transformer FFN 常用 GELU/SwiGLU，而非仅教材中的 ReLU
CNN 与经典 RNN	作为对照和部署替代方案有用，但非主流文本 LLM 核心
Attention 与 Transformer	直接相关，涵盖 RoPE、GQA、RMSNorm、KV Cache 及高效 Kernel
VAE 与扩散模型笔记	相邻的生成式基础，不足以单独解释文本 LLM
数据泄漏 与 评估	至关重要：规模化后，数据污染和基准复用问题更严重，而非消失

该书架仍缺乏 Tokenization/Embedding、预训练数据与目标、Scaling 定律、指令/偏好后训练、开放式生成评估及推理系统的专门基础笔记。请勿从旧架构页面推断这些主题；在专用基础笔记建立前，请优先使用已维护的 AI Systems 和 Frontier 笔记。

如何阅读旧笔记

大多数子页面是基于少量教材或参考文献提炼的精简学习辅助材料。其中的公式和定义可能有用，但篇幅简短往往掩盖了隐含假设和不同学派的观点。本分支存在以下偏差：

• 偏向教材和架构，忽视部署和社会技术背景；
• 偏向监督学习，忽视因果、无监督及序列决策方法；
• 偏向英语数据和基准数据集；
• 偏向干净数据示例，忽视分布偏移、泄漏、反馈及运维故障；
• 将历史演进呈现为平滑进步，而非充满争议的设计选择。

请勿依据本分支推断当前技术前沿（State of the Art）。

一条入门阅读路径

若要学习表格数据上的监督预测，先读通用概念，明确输入、目标、参数以及损失与指标的区别。再手算普通最小二乘中的三个观测。在把低误差解释为有效预测之前，先读数据划分与评估笔记。这条路径需要基本的向量、导数和条件概率知识；下方数学地图提供前置学习顺序。

阅读每个模型时，用具体问题检查理解：

1. 在什么时间，凭哪些信息，预测什么？
2. 最小化哪个目标，为什么能得到这个解？
3. 能否手算或运行一个小例子，包括失败情形？
4. 预测、概率和统计推断分别依赖哪些假设？
5. 简单基线在相同留出样本上表现如何？
6. 总体变化后哪些结论仍成立，哪些实现细节需要查阅带日期的文档？

不必先掌握方法再查笔记。可以先找到需要的定义或公式，实际应用时再顺着推导检查假设。AI 笔记中的证据与偏差帮助区分数学结论、实证比较和缺乏依据的外推。

支撑网络

• 数学：概率、微积分、线性代数和优化。
• 计算机科学：算法、数据结构和系统。
• 工具与工作流：环境、Notebook、版本控制与可复现性。

我的阅读 · 打开过的笔记会记在当前浏览器里。