线性模型

Model	Mathematical Expression	Description
Ordinary Least Squares	$\min_{w} \|Xw - y\|_2^2$	拟合一个带有系数的线性模型，以最小化观测目标与预测目标之间的残差平方和。对异常值敏感；如果特征相关（多重共线性），则不稳健。
Ridge Regression	$\min_{w} \|Xw - y\|_2^2 + \alpha \|w\|_2^2$	为模型添加L2正则化，以解决普通最小二乘法的一些问题。对多重共线性更稳健；具有由$\alpha$控制的偏差-方差权衡。
Lasso Regression	$\min_{w} \frac{1}{2n_{\text{samples}}} \|Xw - y\|_2^2 + \alpha \|w\|_1$	添加L1正则化以强制系数向量的稀疏性。适用于特征选择；生成的模型系数较少。
Elastic Net	$\min_{w} \frac{1}{2n_{\text{samples}}} \|Xw - y\|_2^2 + \alpha \rho \|w\|_1 + \frac{\alpha (1-\rho)}{2} \|w\|_2^2$	结合L1和L2正则化，通过两个参数控制模型复杂度。平衡岭回归和Lasso回归的优点；当特征之间存在相关性时非常有用。
Logistic Regression	$\min_{w, c} \sum_{i=1}^{n} \log (1 + \exp (-y_i (X_i^T w + c)))$	用于二元分类问题，使用逻辑函数估计概率。为二元分类任务提供概率解释。
Polynomial Regression	Depends on the degree of the polynomial features created from $X$.	通过添加多项式项扩展线性模型，从而能够拟合更广泛的数据。可以拟合非线性模式；注意高次多项式可能导致过拟合。
RidgeCV	Same as Ridge, with $\alpha$ optimized by CV.	具有内置alpha参数交叉验证的岭回归，用于确定最佳正则化。便于自动化$\alpha$的选择。
LassoCV	Same as Lasso, with $\alpha$ optimized by CV.	具有内置交叉验证的Lasso回归，用于选择最佳的$\alpha$值。适用于高维数据；自动化$\alpha$的选择。