Chapter 13
整体小结
将 Ch01~Ch12 所学内容汇总为一张神经网络图。
按章节的深度学习图示
每完成一章,下方图示会逐步填满。这是目前的结构。
Chapter 01 向量内积
左侧 X1,X2,X3 与右侧 Y1,Y2,Y3 用线相连。右侧每个节点是左侧与权重的内积。
Chapter 02 矩阵乘法
左侧是矩阵 A 的一行,右侧 Y1~Y3 是与矩阵 B 各列的内积结果,合起来就是 A·B 矩阵积。
Chapter 03 线性层(权重与偏置)
这一段是线性层。用 Y=W·X+b 把输入一次算到下一层。
Chapter 04 激活函数(非线性)
输出 Y 随输入 X 非线性变化的典型激活函数。(3 级量化版)
节点值经过 ReLU 或 σ 后非线性变化。最后一层 Y1,Y2,Y3 就是这样得到的。
Chapter 05 人工神经元(加权和与激活)
虚线圆内是一个人工神经元。输入(X)乘权重加偏置(w·x+b),经 ReLU 得到输出(Y)。
Chapter 06 批(一次性计算)
所以 输出 Y 也以一张表一次得出。
所以把输入合并成一张表,输出 Y 也会以一张表一次得出。
Chapter 07 权重连接
层与层之间的每条线都是权重(w)。输入乘权重相加,再加上偏置(b)得到下一层 Y。
圆是值,线是权重(w)。加权和加上偏置(b)得到下一层 Y。
Chapter 08 隐藏层(看不见的层)
我们只看到输入(X)和输出(Y)。中间那层只在网络内部使用,所以是隐藏层。
可见: 输入→不可见: 隐藏(H)→可见: 输出
数值沿输入→隐藏层→输出流动。隐藏层是我们看不到的内部表示。
Chapter 09 深度(深层网络)
深=隐藏层(中间步骤)多。深度学习里的「深」就是指这个深度。
步骤越多网络越深。越深越能学习更精细的模式。
Chapter 10 宽度(每层神经元数)
一层的神经元个数就是宽度。越宽该层能同时表示的特征越多。
Chapter 11 Softmax(转为概率)
3做幂得 27(3的3次方)
27/31=27 ÷ 31
Chapter 12 梯度(反向传播)
Y → H → X
到最后一章,你会看到完整流程:前向 → 损失 → 反向 → 更新。
整体小结
下图将Ch01~Ch12所学汇总为一个网络:输入 X → 隐藏层(A,B,C,D) → 输出 Y,以及权重(W)、激活(ReLU 等)、批、梯度(∇)如何参与。
实际训练反复进行前向(计算)→损失→反向(梯度)→更新权重。学完本读书即可在计算上跟上这一流程。