优化与现实应用

引言

导数在数学优化中发挥着关键作用。优化既是理论构造的重要组成部分，也广泛应用于机器学习、经济学等领域。在机器学习中，优化主要关注如何最小化误差函数，从而提高模型的准确性。

优化基础

在机器学习中的重要性

优化旨在寻找函数的极值（最大值或最小值）。在机器学习中，通常是根据训练目标拟合参数，而非直接优化未见数据上的准确率。

数学表示

设函数 $f(x)$ 表示机器学习中的误差函数，目标是找到使 $f(x)$ 最小的 $x$。这需要借助微积分，尤其是导数，来定位可能的极小值点或极大值点。

分析示例

桑拿房类比

想象一下，我们要在桑拿房的长凳上找到温度最低的位置，这就类似于寻找函数的最小值。这个直观例子有助于理解抽象的优化概念。

确定极值

若 $f$ 在区间内部的 $a$ 点可导，并且在该点取得局部极值，那么费马定理给出

$$f'(a)=0.$$

它只能找出候选点，不能保证这里一定有极值。不可导点和区间端点也要检查；局部条件本身同样不能确定全局最优值。

现实优化问题：连接电力线路

问题背景

假设多条电力线路相对于某个参考点的位置分别为 $x_i$，我们要确定房屋的最佳建造位置，以最小化连接所有线路的总成本。这个典型的优化问题可以表示为：

$$C_{\text{total}} = \sum_{i=1}^{n} (x - x_i)^2$$

求解方法

基于微积分的方法

为最小化总成本 $C_{\text{total}}$，我们：

1. 计算 $C_{\text{total}}$ 关于 $x$ 的一阶导数。
2. 找出使导数为零的 $x$。
3. 使用二阶导数判别法确定极值的性质。

解析解

总成本函数 $C_{\text{total}}$ 的导数为：

$$\frac{d}{dx}C_{\text{total}} = 2\sum_{i=1}^{n} (x - x_i)$$

令 $\frac{d}{dx}C_{\text{total}} = 0$ 并求解 $x$，得到：

$$x = \frac{\sum_{i=1}^{n} x_i}{n}$$

这说明最佳位置是所有电力线路位置的算术平均值，此时总连接成本最小。

对机器学习的意义

这个优化问题，特别是平方误差最小化，与线性回归和神经网络等机器学习算法中常见的平方误差损失函数高度相似。这种概念与数学上的对应关系，有助于深入理解机器学习算法的优化策略。

总结

借助导数研究优化，可以同时理解机器学习和基础设施规划中的理论与实践问题。平均数只是在这里等权平方距离目标下最优；成本与约束不同，答案也会改变。微积分与优化理论正是许多关键问题求解方法的基础。

先说明模型，再解释最优解

连接成本公式假设 $n\ge1$，所有位置在同一直线上、权重相同，而且成本与距离的平方成正比。它是教学模型，不能由电缆按长度计费直接推出。若成本与长度成正比，目标应为 $\sum_i|x-x_i|$，最优位置是中位数，而非平均数。

记 $\bar x=\sum_i x_i/n$。围绕平均数展开，能直接证明全局结论，而不只是使用局部二阶导数检验：

$$\sum_i(x-x_i)^2=\sum_i(\bar x-x_i)^2+n(x-\bar x)^2.$$

因为 $\sum_i(\bar x-x_i)=0$，交叉项消失。因此 $\bar x$ 是唯一无约束最小点，且 $C''=2n>0$。位置为 $0,2,10$ 时，平均数为 $4$，平方成本为 $56$；若最小化长度，中位数为 $2$，成本为 $10$。若只能在 $[0,3]$ 内建造，平方成本的最优位置是边界 $3$，成本为 $59$，尽管 $C'(3)=-6\ne0$。一般地，对闭区间 $[a,b]$，把 $\bar x$ 截到该区间即可。

局部极小值只与附近可行位置比较，全局最小值则与所有可行位置比较。连续目标函数在非空紧致可行集上必能取得最大、最小值；开集或无界域却未必如此：$f(x)=x$ 在 $(0,1)$ 上的下确界为 $0$，但没有最小点。可操作的流程是先明确变量、单位、目标和可行集，再找内部与边界候选点，比较函数值或证明全局界，最后检查成本模型是否代表真实目标。机器学习中，训练损失最小并不自动意味着未见数据上的准确率最高。

我的阅读 · 打开过的笔记会记在当前浏览器里。