线性模型

只要预测值关于学习到的系数是线性的，该模型即为线性模型，即使输入特征经过了非线性基函数变换：

$$f(x)=\mathbf{w}^{\top}\phi(x)+b.$$

例如，$b+w_1x+w_2x^2$ 关于系数是线性的，尽管它在 $x$ 上画出抛物线。逻辑回归中，线性的是得分 $z=w^\top x+b$，而非概率 $1/(1+e^{-z})$。“线性分类器”通常指所选特征空间中的决策边界是线性的。下方链接的 QDA 用于对照，不属于线性分类器。

从线性模型家族中选型，只需回答四个核心问题：

问题	常见选择
目标变量是数值型吗？	最小二乘、稳健损失、分位数回归，或合适的广义线性模型
目标变量是类别型吗？	逻辑回归/Softmax 回归，或具有显式类别分布的判别模型
系数不稳定或存在过拟合？	岭回归 ($\ell_2$)、Lasso ($\ell_1$) 或 Elastic Net (两者结合)
原始特征间存在非线性关系？	引入基函数或交互项，保持系数线性

站内路径

• 普通最小二乘与正则化：涵盖 OLS、Ridge、Lasso 及 Elastic Net。
• 线性与二次判别分析：对比高斯生成式分类器。
• 线性回归：将同一预测器视为浅层神经网络模型。
• Softmax 回归：多分类线性分类详解。

正则化参数与特征变换必须在训练/验证流程内确定。系数不具备天然的因果解释性，且在特征尺度不一致时不可直接比较。

具体实现细节请参考 scikit-learn 线性模型指南；本页仅作为概念选型地图。

我的阅读 · 打开过的笔记会记在当前浏览器里。