Ch.11

テイラー級数：多項式による複雑な関数の近似

チャプター別数学図

チャプターを選ぶと、下の図がそのチャプターの内容に切り替わります。中級数学の流れを一覧で確認できます。

複雑な曲線も、1点の近くを拡大すれば直線（1次）や放物線（2次）のように見えます。下のアニメーションで次数を上げるほど原関数に沿う様子を追ってみましょう。

テイラー級数は、この点での関数の動きを微分値に込め、近くの区間だけ多項式で代わりに描く道具です。

1次：接線で追う2次：放物線のように曲げる3次：より遠くまで一致

지금 보는 단계

1次：接線で追う

원함수1차 근사핵심: 중심에서 멀수록 오차 큼

핵심: 차수가 올라갈수록 보통 더 정확해집니다.

紫が原関数、オレンジ・緑・青が1・2・3次テイラー近似です。中心から離れるほど誤差が大きくなります。

テイラー級数は、複雑な関数を「今立っている点」の近くで多項式に置き換える方法です。1次近似は接線のように直線で追い、2次・3次に上げるほど曲線にぴったり沿います。AIでは損失関数や活性化関数を単純な式で近似するとき、ニュートン法や2次最適化を理解するときにこの概念が核心になります。

テイラー級数：複雑な関数を多項式で追いかける

f(x)

a

T_n(x)=f(a)+f^{\prime}(a)(x-a)+\frac{f^{\prime\prime}(a)}{2!}(x-a)^2+\cdots+\frac{f^{(n)}(a)}{n!}(x-a)^n

機械学習では 損失関数 をパラメータ近傍で2次多項式に近似するとニュートン法・ヘシアン（Ch.10）につながります。 活性化関数 も小さな区間では線形・2次近似で読め、学習率や近似誤差の理解に役立ちます。

テイラー級数は、特定の点の近くで複雑な関数を多項式で近似する道具です。1次は勾配、2次はヘシアン・ニュートンと結びつき、次数を上げるほど精度が上がります。Ch.08勾配、Ch.10ヘシアンとともに最適化理解の柱をなします。

微分だけでは今の傾きは分かっても曲線全体は分かりにくい。テイラー級数は 同じ点の高次微分 まで使い、近傍の形を1つの多項式にまとめます。

\frac{f^{\prime\prime}(a)}{2}(x-a)^2

1. 勾配降下ではどう使う？（1次近似） 勾配降下は「今いる点で損失を最も減らす方向」へ少しずつ進む方法です。このとき内部の考え方は1次テイラー近似と同じです。つまり、現在点の近くでは損失を接線（直線）で近似して次の一歩を決めます。 実務的な流れは次の通りです。 - 現在のパラメータで損失と勾配を計算する - 1次近似の視点で減少方向を決める - 学習率を掛けて1ステップ移動する この見方の利点は、更新式を暗記ではなく「1次近似に基づく意思決定」として理解できることです。学習率が大きすぎると振動し、小さすぎると遅い理由も説明しやすくなります。

2. ニュートン法・ヘシアンではどう使う？（2次近似） ニュートン法は1次情報（傾き）だけでなく、2次情報（曲率）も使います。2次テイラー近似で損失地形を放物面として見て、その形に合わせて効率の良い移動量を決めます。 簡単に比べると、 - 1次近似（勾配降下）：方向を決めるのが得意 - 2次近似（ニュートン法）：方向と移動量をより賢く決める ヘシアンは曲率をまとめた中核の道具です。方向ごとの急さ・緩さが分かるため、方向別に移動量を調整できます。条件が合えば、ニュートン系はかなり速く収束します。

e^x

下の表は問題解決に必要な 公式と記号 だけをまとめました。表の下の 例題 で手順を確認してください。

T_n(x)=\sum_{k=0}^{n}\frac{f^{(k)}(a)}{k!}(x-a)^k

例題

a=0

문제

a

1 / 5

テイラー級数：複雑な関数を多項式で追いかける

f(x)

a

T_n(x)=f(a)+f^{\prime}(a)(x-a)+\frac{f^{\prime\prime}(a)}{2!}(x-a)^2+\cdots+\frac{f^{(n)}(a)}{n!}(x-a)^n

機械学習では 損失関数 をパラメータ近傍で2次多項式に近似するとニュートン法・ヘシアン（Ch.10）につながります。 活性化関数 も小さな区間では線形・2次近似で読め、学習率や近似誤差の理解に役立ちます。

テイラー級数は、特定の点の近くで複雑な関数を多項式で近似する道具です。1次は勾配、2次はヘシアン・ニュートンと結びつき、次数を上げるほど精度が上がります。Ch.08勾配、Ch.10ヘシアンとともに最適化理解の柱をなします。

微分だけでは今の傾きは分かっても曲線全体は分かりにくい。テイラー級数は 同じ点の高次微分 まで使い、近傍の形を1つの多項式にまとめます。

\frac{f^{\prime\prime}(a)}{2}(x-a)^2

1. 勾配降下ではどう使う？（1次近似） 勾配降下は「今いる点で損失を最も減らす方向」へ少しずつ進む方法です。このとき内部の考え方は1次テイラー近似と同じです。つまり、現在点の近くでは損失を接線（直線）で近似して次の一歩を決めます。 実務的な流れは次の通りです。 - 現在のパラメータで損失と勾配を計算する - 1次近似の視点で減少方向を決める - 学習率を掛けて1ステップ移動する この見方の利点は、更新式を暗記ではなく「1次近似に基づく意思決定」として理解できることです。学習率が大きすぎると振動し、小さすぎると遅い理由も説明しやすくなります。

2. ニュートン法・ヘシアンではどう使う？（2次近似） ニュートン法は1次情報（傾き）だけでなく、2次情報（曲率）も使います。2次テイラー近似で損失地形を放物面として見て、その形に合わせて効率の良い移動量を決めます。 簡単に比べると、 - 1次近似（勾配降下）：方向を決めるのが得意 - 2次近似（ニュートン法）：方向と移動量をより賢く決める ヘシアンは曲率をまとめた中核の道具です。方向ごとの急さ・緩さが分かるため、方向別に移動量を調整できます。条件が合えば、ニュートン系はかなり速く収束します。

e^x

下の表は問題解決に必要な 公式と記号 だけをまとめました。表の下の 例題 で手順を確認してください。

T_n(x)=\sum_{k=0}^{n}\frac{f^{(k)}(a)}{k!}(x-a)^k

例題

a=0

문제

a

1 / 5

公式	記号の意味
$T_n(x)=\sum_{k=0}^{n}\frac{f^{(k)}(a)}{k!}(x-a)^k$	$n$ 次テイラー多項式。 $f^{(k)}(a)$ = $k$ 階微分。
$T_1(x)=f(a)+f^{\prime}(a)(x-a)$	1次（線形）近似 = 接線。MLの勾配1ステップ。
$T_2(x)=f(a)+f^{\prime}(a)(x-a)+\frac{f^{\prime\prime}(a)}{2}(x-a)^2$	2次近似。ニュートン・ヘシアン。
$a=0$ （マクローリン）	中心が原点。
$n$ 次の項の数	$n+1$ 個。
$x^n$ の係数	低次多項式のマクローリンで判定。
剰余項	おおよそ $(x-a)^{n+1}$ 次。
ML	1次→SGD、2次→ニュートン・ヘシアン。

公式	記号の意味
$T_n(x)=\sum_{k=0}^{n}\frac{f^{(k)}(a)}{k!}(x-a)^k$	$n$ 次テイラー多項式。 $f^{(k)}(a)$ = $k$ 階微分。
$T_1(x)=f(a)+f^{\prime}(a)(x-a)$	1次（線形）近似 = 接線。MLの勾配1ステップ。
$T_2(x)=f(a)+f^{\prime}(a)(x-a)+\frac{f^{\prime\prime}(a)}{2}(x-a)^2$	2次近似。ニュートン・ヘシアン。
$a=0$ （マクローリン）	中心が原点。
$n$ 次の項の数	$n+1$ 個。
$x^n$ の係数	低次多項式のマクローリンで判定。
剰余項	おおよそ $(x-a)^{n+1}$ 次。
ML	1次→SGD、2次→ニュートン・ヘシアン。

テイラー級数：多項式による複雑な関数の近似

チャプター別 数学図

テイラー級数：複雑な関数を多項式で追いかける

문제

テイラー級数：多項式による複雑な関数の近似

チャプター別 数学図

テイラー級数：複雑な関数を多項式で追いかける

문제

チャプター別数学図

チャプター別数学図