Chapter 04
極限とイプシロン-デルタ論法 (ε-δ)
極限は「ある値に限りなく近づくとき」を表します。イプシロン-デルタはそれを数学的に厳密に定義する方法で、微分・ディープラーニングの基礎になります。
home.mathDiagramTitle
home.mathDiagramDescription
下のグラフで極限と ε-δ を確認しましょう。
まとめ: 誤差 ε(緑)を決めると、それに合う距離 δ(青)があって、 が青の範囲にあれば はいつも緑の範囲に入ります。これが ε-δ の意味です。
見る順序
- オレンジの点 = 曲線上の (x, f(x)) が (2, 4) に近づく
- 緑の帯 = L±ε(f(x) の許容誤差)
- 青の帯 = a±δ(x がここなら f(x) は緑に入る)
極限とは何か
極限とは「 がある数 に 限りなく近づくとき、 がある値 に 限りなく近づく」という意味です。記号では と書きます。 が実際に に到達しなくても、 の近くだけで が にほぼ寄っていればよいのです。
平たく言うと: を に十分近づければ、 をいくらでも に近づけられます。例: が に近づくとき は に近づきます()。
イプシロン()-デルタ()論法は、この「近づく」を 厳密な言葉で言い換えたものです。「誤差をどんなに小さく()決めても、 を に十分近く( 以内)取れば、 と の差がその誤差より小さくなる」と書くやり方です。最初は難しく感じても、「もう少し近づけば、結果が望むだけ正確になる」という意味だと捉えれば十分です。
微分は「ある点での 瞬間の変化率」を測るもので、これは「ほんの少し動かしたとき、値がどれだけ変わるか」の 極限です。極限を押さえると微分・傾きが理解しやすくなります。
ディープラーニングでは 勾配降下法でパラメータを少しずつ変えて損失を減らしますが、「少し変えたとき損失がどれだけ変わるか」が 微分(グラディエント) であり、その背後に 極限 があります。極限をざっくりでも知っておくと「なぜ微分を使うか」が自然に見えてきます。
AIでは極限は 式の中に隠れて います。学習率を小さくすると一ステップの動きが 極限に近い 動きになり、逆伝播で求める 勾配も「変化量を動いた距離で割って、その距離を 0 に近づけた極限」です。イプシロン-デルタを暗記しなくても、「ごく小さな変化を扱っている」という感覚があれば次の章を読む助けになります。
極限を見るときは がどこに向かうか(例:、)と、それに応じて がどの値に近づくかをまず考えましょう。グラフを描くと「 の近くで が の周りに集まる」ことが目で確認できます。
イプシロン-デルタの証明は「 を先に決めて、それに合う を探す」順番で進めます。実務では「十分近づけば誤差が望むだけ小さくなる」という論理だけ理解していれば、次の章(微分、連続性)を読むのに十分です。
例題と解答を表にまとめました。
| 問題 | 解答 |
|---|---|
| 例 1. | 解答: を代入して 。答え 5。 |
| 例 2. | 解答: が大きくなると は 0 に近づく。答え 0。 |
| 例 3. | 解答: を代入して 。答え 5。 |