Chapter 13

整体小结

将 Ch01~Ch12 所学内容汇总为一张神经网络图。

按章节的深度学习图示

每完成一章,下方图示会逐步填满。这是目前的结构。

Chapter 01 向量内积

X1X2X3Y1Y2Y3权重x₂·y₂结果

左侧 X1,X2,X3 与右侧 Y1,Y2,Y3 用线相连。右侧每个节点是左侧与权重的内积。

Chapter 02 矩阵乘法

X1X2X3Y1Y2Y3权重A·B矩阵积结果

左侧是矩阵 A 的一行,右侧 Y1~Y3 是与矩阵 B 各列的内积结果,合起来就是 A·B 矩阵积。

Chapter 03 线性层(权重与偏置)

X1X2X3Y1Y2Y3权重·输入+偏置ReLUY结果

这一段是线性层。用 Y=W·X+b 把输入一次算到下一层。

Chapter 04 激活函数(非线性)

输出 Y 随输入 X 非线性变化的典型激活函数。(3 级量化版)

Y = Sigmoid(X)00.51
Y = ReLU(X)0
Y = Tanh₃(X)-101

节点值经过 ReLU 或 σ 后非线性变化。最后一层 Y1,Y2,Y3 就是这样得到的。

Chapter 05 人工神经元(加权和与激活)

神经元w1w2w3X1X2X3w·x + bReLUYB

虚线圆内是一个人工神经元。输入(X)乘权重加偏置(w·x+b),经 ReLU 得到输出(Y)。

Chapter 06 批(一次性计算)

所以 输出 Y 也以一张表一次得出。

输入表 X
X1
X2
X3
样本 1
样本 2
样本 3
一列 = 一样本
相同 W, b一次计算
输出 Y
样本 1
样本 2
样本 3
Y1
Y2
Y3
← 由相同 W、b 一次得到的结果

所以把输入合并成一张表,输出 Y 也会以一张表一次得出。

Chapter 07 权重连接

层与层之间的每条线都是权重(w)。输入乘权重相加,再加上偏置(b)得到下一层 Y。

权重(w)权重(w)权重(w)权重(w)权重(w)权重(w)权重(w)权重(w)权重(w)X1X2X3+偏置(b)Y1Y2Y3

圆是值,线是权重(w)。加权和加上偏置(b)得到下一层 Y。

Chapter 08 隐藏层(看不见的层)

我们只看到输入(X)输出(Y)。中间那层只在网络内部使用,所以是隐藏层

可见: 输入不可见: 隐藏(H)可见: 输出

隐藏层(从外不可见)W₁·X+b₁ → ReLUW₂·H+b₂ → ReLUX1X2X3H1H2H3Y1Y2Y3

数值沿输入→隐藏层→输出流动。隐藏层是我们看不到的内部表示

Chapter 09 深度(深层网络)

隐藏层(中间步骤)多。深度学习里的「深」就是指这个深度。

X1X2X3A1A2A3B1B2B3C1C2C3D1D2D3Y1Y2Y3X第1层A第2层B第3层C第4层D第5层Y第6层

步骤越多网络越深。越深越能学习更精细的模式。

Chapter 10 宽度(每层神经元数)

X1H1H2H1H2H3H4Y1Y2Y3Y4Y5Y6Y7Y8宽度 11 个神经元宽度 22 个神经元宽度 44 个神经元宽度 88 个神经元

一层的神经元个数就是宽度。越宽该层能同时表示的特征越多。

Chapter 11 Softmax(转为概率)

Softmax分数→概率(例:e≈3)
分数
3
1
0
中间
27
3
1
3的幂
3³=27
3¹=3
3=1
概率
27/31
3/31
1/31
除以和
27÷31=27/31
3÷31=3/31
1÷31=1/31

3做幂得 27(3的3次方)

27/31=27 ÷ 31

Chapter 12 梯度(反向传播)

XHY

Y → H → X

到最后一章,你会看到完整流程:前向 → 损失 → 反向 → 更新。

整体小结

下图将Ch01~Ch12所学汇总为一个网络:输入 X → 隐藏层(A,B,C,D) → 输出 Y,以及权重(W)激活(ReLU 等)梯度(∇)如何参与。

实际训练反复进行前向(计算)→损失反向(梯度)→更新权重。学完本读书即可在计算上跟上这一流程。