Chapter 07

連鎖律

関数を重ねて書いたものを微分するときは 外の微分 \times 内の微分 をかければよいです。逆伝播の核心です。

home.mathDiagramDescription

重なった関数は $x$ → 内側 → 外側 → $y$ と連鎖しています。外の微分 × 内の微分をかけると全体の微分になります。

例で見る計算の順番（一度に一つずつ強調）

1.例：上のグラフのように

u = g(x) = 2x+1

、

y = f(u) = u^2

のとき

y = (2x+1)^2

を

x

で微分する。

2.① 内の微分（左グラフ）：

u = g(x) = 2x+1

を

x

で微分 →

2

3.② 外の微分（右グラフ）：

y = f(u) = u^2

を

u

で微分 →

2u = 2(2x+1)

4.③ かける：

2 \times 2(2x+1) = 4(2x+1)

→ 答え

点が連鎖に沿って動くように、変化率がかけ算されて伝わります。逆伝播もこのかけ算の繰り返しです。

連鎖律とは

一言で関数を重ねたものが合成関数です。

x

をまず一つの関数に入れ、出てきた値をまた別の関数に入れて最終結果にします。この重なった関数を微分するときのルールが連鎖律です。

ディープラーニングでは層がいくつもつながっています。入力が1層、2層、…と通り、最後に損失が出ます。この損失を各重みで微分して学習します。

誤差逆伝播は損失から入力側へ一歩ずつ微分を渡す方法です。各段で「次から来た値」に「この段の微分」をかけて前に渡します。このかけ算が連鎖律です。

まとめると連鎖律は逆伝播の骨組みです。Ch06で導関数を学んでいれば、ここでは「重なった関数」に当てはめるだけです。

一般に一つを変えると他が連鎖的に変わる状況で全体の変化率を求めるときに使います。連鎖的につながった変化率はすべてかければよいです。下の表はいろいろな分野で同じやり方が使われる例です。

AI学習では損失が何層も経て出るので、各重みで微分するとき連鎖律で一層ずつかけます。この章を終えればCh08偏微分・勾配に自然につなげられます。

重なった関数を微分するときは内側を一つの塊と見て、外を微分したものと内を微分したものをかけるだけ。内側がまた重なっていればそこでも同じように繰り返します。コツ：まず「内側＝何」とおき、外の関数だけ微分してから、内側を

x

で微分したものをかければよいです。