Chapter 13
总整理:一览 AI 地图
将 Ch01~Ch12 所学内容在一张神经网络图中一览。
按章节的深度学习图示
每完成一章,下方图示会逐步填满。这是目前的结构。
Chapter 01 向量内积:在数据间找相似
X → Y.
Chapter 02 矩阵乘法:一次算完的魔法
X → Y.
Chapter 03 线性层:决定重要性的权重
X → Y.
Chapter 04 激活函数:为 AI 增添判断力
输出 Y 随输入 X 非线性变化的典型激活函数。(3 级量化版)
Y = Sigmoid(X)
Y = ReLU(X)
Y = Tanh₃(X)
X → Y.
Chapter 05 人工神经元:汇集信息、发出信号的单元
X → 加权和 → ReLU → Y.
Chapter 06 批处理:打包一次学
所以 输出 Y 也以一张表一次得出。
输入表 X一列 = 一样本
X1
X2
X3
样本 1
样本 2
样本 3
→相同 W, b一次计算
输出 Y← 由相同 W、b 一次得到的结果
样本 1
样本 2
样本 3
Y1
Y2
Y3
所以把输入合并成一张表,输出 Y 也会以一张表一次得出。
Chapter 07 权重连接:构成智能的无数链条
层与层之间的每条线都是权重(w)。输入乘权重相加,再加上偏置(b)得到下一层 Y。
圆是值,线是权重(w)。加权和加上偏置(b)得到下一层 Y。
Chapter 08 隐藏层:看不见的思维深度
我们只看到输入(X)和输出(Y)。中间那层只在网络内部使用,所以是隐藏层。
可见: 输入→不可见: 隐藏(H)→可见: 输出
数值沿输入→隐藏层→输出流动。隐藏层是我们看不到的内部表示。
Chapter 09 深层网络:解决更复杂问题的能力
深=隐藏层(中间步骤)多。深度学习里的「深」就是指这个深度。
步骤越多网络越深。越深越能学习更精细的模式。
Chapter 10 宽度与神经元:一次找出更多特征
一层的神经元个数就是宽度。越宽该层能同时表示的特征越多。
Chapter 11 Softmax:把结果变成确信
Softmax分数→概率(例:e≈3)
分数
3
1
0
→
中间
27
3
1
3的幂
3³=27
3¹=3
3⁰=1
→
概率
27/31
3/31
1/31
除以和
27÷31=27/31
3÷31=3/31
1÷31=1/31
3做幂得 27(3的3次方)
27/31=27 ÷ 31
Chapter 12 梯度与反向传播:从错误中学习
Y → H → X
整体小结
下图将Ch01~Ch12所学汇总为一个网络:输入 X → 隐藏层(A,B,C,D) → 输出 Y,以及权重(W)、激活(ReLU 等)、批、梯度(∇)如何参与。
实际训练反复进行前向(计算)→损失→反向(梯度)→更新权重。学完本读书即可在计算上跟上这一流程。