Chapter 13

全体のまとめ

Ch01〜Ch12の内容を一つのネットワーク図にまとめて確認できます。

チャプター別 ディープラーニング図

チャプターを進めるたびに、下の図が少しずつ埋まります。ここまでの構造です。

Chapter 01 ベクトル内積

X1X2X3Y1Y2Y3重みx₂·y₂結果

左のX1,X2,X3と右のY1,Y2,Y3が線でつながっています。右の1ノードは左との重みの内積です。

Chapter 02 行列の積

X1X2X3Y1Y2Y3重みA·B行列積の結果

左は行列Aの1行、右Y1~Y3は行列Bの列との内積結果。これが集まってA·Bの行列積になります。

Chapter 03 線形層(重みとバイアス)

X1X2X3Y1Y2Y3重み·入力+バイアスReLUY結果

この区間が線形層です。Y=W·X+bで入力が次の層に一度に計算されます。

Chapter 04 活性化関数(非線形)

入力Xに応じて出力Yが非線形に変わる代表的な活性化関数です。(3段階量子化版)

Y = Sigmoid(X)00.51
Y = ReLU(X)0
Y = Tanh₃(X)-101

ノード値がReLUやσを通ると曲線的に変わります。最後の層Y1,Y2,Y3がその結果です。

Chapter 05 人工ニューロン(重み付き和と活性化)

ニューロンw1w2w3X1X2X3w·x + bReLUYB

点線の円の中が人工ニューロン1つ。入力(X)に重みをかけて足し(w·x+b)、ReLUを通って出力(Y)になります。

Chapter 06 バッチ(一度に計算)

だから結果Yも一つの表で一度に出ます。

入力表 X
X1
X2
X3
サンプル 1
サンプル 2
サンプル 3
1列=1サンプル
同じ W, b一度に計算
結果 Y
サンプル 1
サンプル 2
サンプル 3
Y1
Y2
Y3
← 同じW,bで一度に出た結果

入力が一つの表にまとまると、結果Yも一つの表で一度に出ます。

Chapter 07 重み付き結合

層と層の間の各線重み(w)です。入力に重みをかけて足し、バイアス(b)を足すと次の層Yになります。

重み(w)重み(w)重み(w)重み(w)重み(w)重み(w)重み(w)重み(w)重み(w)X1X2X3+バイアス(b)Y1Y2Y3

丸が値、線が重み(w)です。重み付き和にバイアス(b)を足した値が次の層Yです。

Chapter 08 隠れ層(見えない層)

見えるのは入力(X)出力(Y)だけ。その間の層はネットワーク内だけで使う表現なので隠れ層です。

見える: 入力見えない: 隠れ(H)見える: 出力

隠れ層(外からは見えない)W₁·X+b₁ → ReLUW₂·H+b₂ → ReLUX1X2X3H1H2H3Y1Y2Y3

値は入力→隠れ層→出力と流れます。隠れ層は見えない内部表現です。

Chapter 09 深さ(ディープネット)

深い隠れ層(中間段階)が多い。ディープラーニングの「ディープ」がこの深さです。

X1X2X3A1A2A3B1B2B3C1C2C3D1D2D3Y1Y2Y3X1層A2層B3層C4層D5層Y6層

段階が多いほど深いネットワーク。深いほどより細かいパターンを学べます。

Chapter 10 幅(1層のニューロン数)

X1H1H2H1H2H3H4Y1Y2Y3Y4Y5Y6Y7Y8幅 1ニューロン 1個幅 2ニューロン 2個幅 4ニューロン 4個幅 8ニューロン 8個

一つの層のニューロン数が幅です。幅が広いほどその段階でより多くの特徴を同時に扱えます。

Chapter 11 ソフトマックス(確率に変換)

Softmaxスコア→確率(例: eを3とする)
スコア
3
1
0
中間
27
3
1
3のべき乗
3³=27
3¹=3
3=1
確率
27/31
3/31
1/31
合計で割る
27÷31=27/31
3÷31=3/31
1÷31=1/31

3をかけると 27(3の3乗)

27/31=27 ÷ 31

Chapter 12 勾配(逆伝播)

XHY

Y → H → X

最後のチャプターでは「順伝播→損失→逆伝播→更新」まで入った完成図を見られます。

全体のまとめ

下の図はCh01〜Ch12の内容を一つのネットワークにまとめたものです。入力 X → 隠れ層(A,B,C,D) → 出力 Y、その間に重み(W)活性化(ReLU等)バッチ勾配(∇)がどう付くかが分かります。

実際の学習は順伝播(計算)→損失逆伝播(勾配)→重み更新の繰り返しです。このコースを終えると、その流れを計算で追えるようになります。