Chapter 04

極限とイプシロン-デルタ論法 (ε-δ)

極限は「ある値に限りなく近づくとき」を表します。イプシロン-デルタはそれを数学的に厳密に定義する方法で、微分・ディープラーニングの基礎になります。

home.mathDiagramTitle

home.mathDiagramDescription

下のグラフで極限と ε-δ を確認しましょう。

12312345xyy = x²(a, L) = (2, 4)(x, f(x))

まとめ: 誤差 ε(緑)を決めると、それに合う距離 δ(青)があって、xx が青の範囲にあれば f(x)f(x) はいつも緑の範囲に入ります。これが ε-δ の意味です。

見る順序

  • オレンジの点 = 曲線上の (x, f(x)) が (2, 4) に近づく
  • 緑の帯 = L±ε(f(x) の許容誤差)
  • 青の帯 = a±δ(x がここなら f(x) は緑に入る)

極限とは何か

極限とは「xx がある数 aa限りなく近づくときf(x)f(x) がある値 LL限りなく近づく」という意味です。記号では limxaf(x)=L\lim_{x \to a} f(x) = L と書きます。xx が実際に aa に到達しなくても、aa の近くだけで f(x)f(x)LL にほぼ寄っていればよいのです。
平たく言うとxxaa に十分近づければ、f(x)f(x) をいくらでも LL に近づけられます。例:xx00 に近づくとき sinxx\frac{\sin x}{x}11 に近づきます(limx0sinxx=1\lim_{x \to 0} \frac{\sin x}{x} = 1)。
イプシロン(ε\varepsilon)-デルタ(δ\delta)論法は、この「近づく」を 厳密な言葉で言い換えたものです。「誤差をどんなに小さく(ε\varepsilon)決めても、xxaa に十分近く(δ\delta 以内)取れば、f(x)f(x)LL の差がその誤差より小さくなる」と書くやり方です。最初は難しく感じても、「もう少し近づけば、結果が望むだけ正確になる」という意味だと捉えれば十分です。
微分は「ある点での 瞬間の変化率」を測るもので、これは「ほんの少し動かしたとき、値がどれだけ変わるか」の 極限です。極限を押さえると微分・傾きが理解しやすくなります。
ディープラーニングでは 勾配降下法でパラメータを少しずつ変えて損失を減らしますが、「少し変えたとき損失がどれだけ変わるか」が 微分(グラディエント) であり、その背後に 極限 があります。極限をざっくりでも知っておくと「なぜ微分を使うか」が自然に見えてきます。
AIでは極限は 式の中に隠れて います。学習率を小さくすると一ステップの動きが 極限に近い 動きになり、逆伝播で求める 勾配も「変化量を動いた距離で割って、その距離を 0 に近づけた極限」です。イプシロン-デルタを暗記しなくても、「ごく小さな変化を扱っている」という感覚があれば次の章を読む助けになります。
極限を見るときは xx がどこに向かうか(例:x0x \to 0xx \to \infty)と、それに応じて f(x)f(x) がどの値に近づくかをまず考えましょう。グラフを描くと「aa の近くで f(x)f(x)LL の周りに集まる」ことが目で確認できます。
イプシロン-デルタの証明は「ε\varepsilon を先に決めて、それに合う δ\delta を探す」順番で進めます。実務では「十分近づけば誤差が望むだけ小さくなる」という論理だけ理解していれば、次の章(微分、連続性)を読むのに十分です。
例題解答を表にまとめました。
問題解答
例 1. limx2(x2+1)\lim_{x \to 2} (x^2 + 1)解答: x=2x = 2 を代入して 22+1=52^2 + 1 = 5。答え 5
例 2. limx1x\lim_{x \to \infty} \frac{1}{x}解答: xx が大きくなると 1x\frac{1}{x} は 0 に近づく。答え 0
例 3. limx3(2x1)\lim_{x \to 3} (2x - 1)解答: x=3x = 3 を代入して 2×31=52 \times 3 - 1 = 5。答え 5