Chapter 04
极限与 ε-δ 论述 (ε-δ)
极限描述「无限接近某个值时」会发生什么。ε-δ 是严格定义这一概念的方式,是微分与深度学习的基础。
home.mathDiagramTitle
home.mathDiagramDescription
在下面图中理解极限与 ε-δ。
小结:先定误差 ε(绿),就有一个距离 δ(蓝)——只要x 在蓝色带里,f(x) 就一定在绿色带里。这就是 ε-δ 的意思。
看图顺序
- 橙点 = 曲线上的 (x, f(x)) 趋近 (2, 4)
- 绿色带 = L±ε(f(x) 的允许误差)
- 蓝色带 = a±δ(x 在这里则 f(x) 在绿色带内)
什么是极限?
极限的意思是:当 无限接近某个数 时, 无限接近某个数 。记作 。不要求 真的等于 ,只要在 附近时 与 足够接近即可。
通俗讲:只要把 取得足够接近 ,就能让 要多接近 就多接近。例如: 趋于 时, 趋于 ()。
ε-δ 论述把「接近」说成 精确语言:「无论把误差()定得多小,总可以找到一个距离(),使得只要 在 的 以内, 与 的差就小于该误差。」初看会有点难,只要理解为「再靠近一点,结果就能要多准有多准」即可。
微分衡量某一点的 瞬时变化率,也就是「动一点点时,值变化多少」的 极限。掌握极限有助于理解微分和斜率。
深度学习里用 梯度下降一点点改参数来减小损失;「参数改一点,损失变多少」就是 微分(梯度),其背后就是 极限。对极限有个大致印象,就更容易理解「为什么要用微分」。
在 AI 里,极限 藏在公式里。学习率取小,一步的更新就接近 极限下的更新;反向传播求的 梯度也是「变化量÷移动距离」在移动距离趋于 0 时的极限。不必背 ε-δ,只要感觉「我们在处理 非常小的变化」就够继续学后面的内容。
看极限时,先想 往哪儿跑(如 、)以及 随之接近哪个数。画图可以看到在 附近 会聚在 附近。
ε-δ 证明的套路是 先给定 ,再 找对应的 。实际中只要理解「足够近就能让误差任意小」,就足以继续学微分和连续性。
例题与解题步骤见下表。
| 问题 | 解答 |
|---|---|
| 例 1. 求 | 解: 代入 得 。答案为 5。 |
| 例 2. 求 | 解: 无限增大时 趋于 0。答案为 0。 |
| 例 3. 求 | 解: 代入 得 。答案为 5。 |