Chapter 13
全体のまとめ
Ch01〜Ch12の内容を一つのネットワーク図にまとめて確認できます。
チャプター別 ディープラーニング図
チャプターを進めるたびに、下の図が少しずつ埋まります。ここまでの構造です。
Chapter 01 ベクトル内積
左のX1,X2,X3と右のY1,Y2,Y3が線でつながっています。右の1ノードは左との重みの内積です。
Chapter 02 行列の積
左は行列Aの1行、右Y1~Y3は行列Bの列との内積結果。これが集まってA·Bの行列積になります。
Chapter 03 線形層(重みとバイアス)
この区間が線形層です。Y=W·X+bで入力が次の層に一度に計算されます。
Chapter 04 活性化関数(非線形)
入力Xに応じて出力Yが非線形に変わる代表的な活性化関数です。(3段階量子化版)
ノード値がReLUやσを通ると曲線的に変わります。最後の層Y1,Y2,Y3がその結果です。
Chapter 05 人工ニューロン(重み付き和と活性化)
点線の円の中が人工ニューロン1つ。入力(X)に重みをかけて足し(w·x+b)、ReLUを通って出力(Y)になります。
Chapter 06 バッチ(一度に計算)
だから結果Yも一つの表で一度に出ます。
入力が一つの表にまとまると、結果Yも一つの表で一度に出ます。
Chapter 07 重み付き結合
層と層の間の各線が重み(w)です。入力に重みをかけて足し、バイアス(b)を足すと次の層Yになります。
丸が値、線が重み(w)です。重み付き和にバイアス(b)を足した値が次の層Yです。
Chapter 08 隠れ層(見えない層)
見えるのは入力(X)と出力(Y)だけ。その間の層はネットワーク内だけで使う表現なので隠れ層です。
見える: 入力→見えない: 隠れ(H)→見える: 出力
値は入力→隠れ層→出力と流れます。隠れ層は見えない内部表現です。
Chapter 09 深さ(ディープネット)
深い=隠れ層(中間段階)が多い。ディープラーニングの「ディープ」がこの深さです。
段階が多いほど深いネットワーク。深いほどより細かいパターンを学べます。
Chapter 10 幅(1層のニューロン数)
一つの層のニューロン数が幅です。幅が広いほどその段階でより多くの特徴を同時に扱えます。
Chapter 11 ソフトマックス(確率に変換)
3をかけると 27(3の3乗)
27/31=27 ÷ 31
Chapter 12 勾配(逆伝播)
Y → H → X
最後のチャプターでは「順伝播→損失→逆伝播→更新」まで入った完成図を見られます。
全体のまとめ
下の図はCh01〜Ch12の内容を一つのネットワークにまとめたものです。入力 X → 隠れ層(A,B,C,D) → 出力 Y、その間に重み(W)・活性化(ReLU等)・バッチ・勾配(∇)がどう付くかが分かります。
実際の学習は順伝播(計算)→損失→逆伝播(勾配)→重み更新の繰り返しです。このコースを終えると、その流れを計算で追えるようになります。