Ch.11

泰勒级数：用多项式近似复杂函数

选择章节后，下方图示会切换为该章节内容。可一览中级数学的脉络。

复杂曲线在一点附近放大后，也会像直线（一阶）或抛物线（二阶）一样。请看下方动画：次数越高，越贴近原函数。

泰勒级数把该点处函数如何变化写入微分值，并在附近区间用多项式代替原曲线。

一阶：沿切线追随二阶：像抛物线一样弯曲贴合三阶：更远也相似

지금 보는 단계

一阶：沿切线追随

원함수1차 근사핵심: 중심에서 멀수록 오차 큼

핵심: 차수가 올라갈수록 보통 더 정확해집니다.

紫色为原函数，橙、绿、蓝为一、二、三阶泰勒近似。离中心越远误差越大。

泰勒级数是在“当前所在点”附近，把复杂函数改写成多项式的方法。一阶近似像切线一样用直线追随，二阶、三阶则越来越贴合曲线。在人工智能中，它用于近似损失函数或激活函数，也是理解牛顿法和二阶优化的核心。

泰勒级数：用多项式追随复杂函数

a

a

T_n(x)=f(a)+f^{\prime}(a)(x-a)+\frac{f^{\prime\prime}(a)}{2!}(x-a)^2+\cdots+\frac{f^{(n)}(a)}{n!}(x-a)^n

机器学习中，在参数附近把 损失函数 二次近似，就连接到牛顿法与 Hessian（第10章）。 激活函数 在小区间也可线性或二次近似，帮助理解学习率与误差。

泰勒级数在特定点附近用多项式近似复杂函数。一阶连梯度，二阶连 Hessian 与牛顿；次数越高通常越准。与第08章梯度、第10章 Hessian 共同构成优化数学的主线。

仅有微分只知道当前斜率，难知整段曲线。泰勒级数用 同一点的高阶导数 把局部形状汇总为一个多项式。

\frac{f^{\prime\prime}(a)}{2}(x-a)^2

1. 在梯度下降里怎么用？（一阶近似） 梯度下降的核心是：在当前点朝“损失下降最快”的方向小步移动。这正是一阶泰勒近似的思想。也就是在当前点附近，把损失函数看成切线（线性）来决定下一步。 实战流程通常是： - 在当前参数处计算损失和梯度； - 用一阶近似判断下降方向； - 乘学习率执行一步更新。 这个视角很重要，因为更新公式不是机械记忆，而是“基于一阶近似的决策”。因此也更容易理解：学习率过大为何会震荡，过小为何会很慢。

2. 在牛顿法与 Hessian 里怎么用？（二阶近似） 牛顿类方法不仅看一阶信息（斜率），还使用二阶信息（曲率）。从二阶泰勒角度看，就是把局部损失面近似为抛物面，再根据这个形状决定更高效的步长。 可直观比较为： - 一阶近似（梯度下降）：擅长找方向； - 二阶近似（牛顿法）：方向和步长都更聪明。 Hessian 是承载曲率信息的核心工具。它告诉你哪些方向更陡、哪些方向更平，从而按方向调整移动尺度。条件合适时，牛顿系方法往往收敛更快。

e^x

下表仅整理解题所需的 公式与符号 。请参见表下 例题 的步骤。

T_n(x)=\sum_{k=0}^{n}\frac{f^{(k)}(a)}{k!}(x-a)^k

例题

a=0

a

1 / 5

泰勒级数：用多项式追随复杂函数

a

a

T_n(x)=f(a)+f^{\prime}(a)(x-a)+\frac{f^{\prime\prime}(a)}{2!}(x-a)^2+\cdots+\frac{f^{(n)}(a)}{n!}(x-a)^n

机器学习中，在参数附近把 损失函数 二次近似，就连接到牛顿法与 Hessian（第10章）。 激活函数 在小区间也可线性或二次近似，帮助理解学习率与误差。

泰勒级数在特定点附近用多项式近似复杂函数。一阶连梯度，二阶连 Hessian 与牛顿；次数越高通常越准。与第08章梯度、第10章 Hessian 共同构成优化数学的主线。

仅有微分只知道当前斜率，难知整段曲线。泰勒级数用 同一点的高阶导数 把局部形状汇总为一个多项式。

\frac{f^{\prime\prime}(a)}{2}(x-a)^2

1. 在梯度下降里怎么用？（一阶近似） 梯度下降的核心是：在当前点朝“损失下降最快”的方向小步移动。这正是一阶泰勒近似的思想。也就是在当前点附近，把损失函数看成切线（线性）来决定下一步。 实战流程通常是： - 在当前参数处计算损失和梯度； - 用一阶近似判断下降方向； - 乘学习率执行一步更新。 这个视角很重要，因为更新公式不是机械记忆，而是“基于一阶近似的决策”。因此也更容易理解：学习率过大为何会震荡，过小为何会很慢。

2. 在牛顿法与 Hessian 里怎么用？（二阶近似） 牛顿类方法不仅看一阶信息（斜率），还使用二阶信息（曲率）。从二阶泰勒角度看，就是把局部损失面近似为抛物面，再根据这个形状决定更高效的步长。 可直观比较为： - 一阶近似（梯度下降）：擅长找方向； - 二阶近似（牛顿法）：方向和步长都更聪明。 Hessian 是承载曲率信息的核心工具。它告诉你哪些方向更陡、哪些方向更平，从而按方向调整移动尺度。条件合适时，牛顿系方法往往收敛更快。

e^x

下表仅整理解题所需的 公式与符号 。请参见表下 例题 的步骤。

T_n(x)=\sum_{k=0}^{n}\frac{f^{(k)}(a)}{k!}(x-a)^k

例题

a=0

a

1 / 5

公式	符号含义
$T_n(x)=\sum_{k=0}^{n}\frac{f^{(k)}(a)}{k!}(x-a)^k$	$n$ 阶泰勒多项式。 $f^{(k)}(a)$ = $k$ 阶导数。
$T_1(x)=f(a)+f^{\prime}(a)(x-a)$	一阶（线性）近似 = 切线。对应梯度一步。
$T_2(x)=f(a)+f^{\prime}(a)(x-a)+\frac{f^{\prime\prime}(a)}{2}(x-a)^2$	二阶近似。牛顿法·Hessian。
$a=0$ （麦克劳林）	中心在原点。
$n$ 阶项数	$n+1$ 个。
$x^n$ 系数	低次多项式的麦克劳林系数。
余项	约为 $(x-a)^{n+1}$ 阶。
ML	一阶→SGD；二阶→牛顿·Hessian。

公式	符号含义
$T_n(x)=\sum_{k=0}^{n}\frac{f^{(k)}(a)}{k!}(x-a)^k$	$n$ 阶泰勒多项式。 $f^{(k)}(a)$ = $k$ 阶导数。
$T_1(x)=f(a)+f^{\prime}(a)(x-a)$	一阶（线性）近似 = 切线。对应梯度一步。
$T_2(x)=f(a)+f^{\prime}(a)(x-a)+\frac{f^{\prime\prime}(a)}{2}(x-a)^2$	二阶近似。牛顿法·Hessian。
$a=0$ （麦克劳林）	中心在原点。
$n$ 阶项数	$n+1$ 个。
$x^n$ 系数	低次多项式的麦克劳林系数。
余项	约为 $(x-a)^{n+1}$ 阶。
ML	一阶→SGD；二阶→牛顿·Hessian。