梯度下降

1

蒙眼下山的游戏

想象这样一个游戏：

• 你在一个山坡上
• 蒙着眼睛，看不见路
• 目标是走到山底（最低点）
• 你只能感受到脚下的坡度

你会怎么做？

每一步，都往最陡的下坡方向走。

这个看似简单的游戏，其实就是AI训练的核心机制。让我们把「下山」和「训练AI」做个对比：

AI训练时，损失函数就像是一个多维的「山坡」。每个参数都是山坡上的一个维度，损失值就是山坡的高度。我们的目标就是找到这个山坡的最低点——损失最小的参数组合。

2

梯度是什么？

梯度（Gradient）就是坡度。

在数学上，梯度是一个向量，指向函数增长最快的方向。所以我们要往梯度的反方向走（下降）。

让我们用更数学的方式来理解梯度。假设损失函数 L 依赖于两个参数 w₁ 和 w₂，那么梯度就是一个二维向量：

每个偏导数告诉我们：如果单独改变这个参数，损失会如何变化。

3

学习率：步子迈多大？

梯度下降有一个重要参数：学习率（Learning Rate）。

学习率决定了每一步迈多大：

让我们用一个简单的例子来可视化不同学习率的效果。假设我们要找到函数的最小值：

4

局部最优 vs 全局最优

现实世界的「山」通常很复杂，有很多坑：

让我们用一个二维的可视化来理解这些概念。想象一个有两个谷地的地形：

从起点A出发，梯度下降会一路下滑，最终卡在左边的局部最低点。而从起点B出发，则能顺利到达真正的全局最优。

鞍点比局部最优更常见，尤其是在高维空间中。在深度学习中，参数可能有数百万个，鞍点的数量远多于局部最优。好消息是，随机梯度下降的噪声通常能帮助模型逃离鞍点。

简单的梯度下降可能会卡在局部最优。为了解决这个问题，研究人员发明了很多改进方法。

5

梯度下降的变体

基本的梯度下降有几种变体，各有优缺点：

让我们用可视化来理解这三种方法的区别：

6

梯度下降的完整流程

让我们把梯度下降的整个过程串起来，看看AI是如何一步步找到最优参数的：

让我们用一个简单的线性回归例子来演示梯度下降：

经过数百甚至数千轮迭代后，w和b会收敛到使损失最小的值。这就是梯度下降的神奇之处——通过反复试错，AI能自动找到最优参数。

7

总结