Chapter 05

人工神经元(加权和与激活)

计算输入的加权和并施加激活函数的单元。

按章节的深度学习图示

每完成一章,下方图示会逐步填满。这是目前的结构。

神经元w1w2w3X1X2X3w·x + bReLUYB

虚线圆内是一个人工神经元。输入(X)乘权重加偏置(w·x+b),经 ReLU 得到输出(Y)。

深度学习中的人工神经元

人工神经元是深度学习的最小计算单元。它只做两件事:① 计算加权和 Z = W·X + b,② 经过激活函数 Y = ReLU(Z) 或 Sigmoid(Z)。

它的灵感来自生物神经元:真正的神经元接收多个信号,给每个信号不同的权重,求和后如果超过阈值就发放脉冲。人工神经元是这一过程的数学简化版

总结:输入 (X)权重与偏置 (Z = W·X + b)激活 (Y = f(Z))输出 (Y)。这就是人工神经元做的全部事情。

ChatGPT、图像分类器、推荐系统等 AI 模型,都是由数千到数十亿个这样的神经元串联而成。理解一个神经元,就能读懂整个模型的行为

训练就是逐步调整每个神经元的权重 (W) 和偏置 (b),让输出越来越接近正确答案。理解 W 和 b 如何影响输出,是理解学习过程的关键。

一个神经元把内积 + 偏置 + 激活合为一体,串联了前面学过的所有知识:内积、矩阵乘法、线性层、激活函数在这里融汇贯通。

生活类比——考试通过预测:算出「数学×0.4 + 理科×0.4 + 英语×0.2 + 5 = 75」(加权和),再判断「≥ 60 → 通过(1),否则不通过(0)」(激活)。这就是一个神经元的操作。

图像识别中的一个神经元:它读取一小块像素区域,算出加权和再加偏置,经 ReLU 得到「这里是否有一条横线?」的分数。成千上万个这样的神经元配合起来才能判断「是狗还是猫」。

聊天机器人、翻译、语音识别:句子或声音的每个部分被转为数值,神经元算出「有哪些模式存在」的分数,分数传给下一层的神经元,逐层理解越来越复杂的含义。

第一步——加权和 (Z):计算 Z = W·X + b。用 W 的该行与 X 做内积再加 b。如果空白在 Z 中,在这一步填入。

第二步——激活 (Y):对 Z 应用题目给定的激活函数。ReLU:Z > 0 则 Y = Z,Z ≤ 0 则 Y = 0。Sigmoid:查表看 Z 落在哪个区间。

空白在 W 或 b 中:如果 Y 和 X 已知,先反推激活得到 Z,再从 Z = W·X + b 解出空白。关键是一步一步倒推

人工神经元先计算加权和 Z=WX+bZ = W \cdot X + b ,再经 ReLU、Sigmoid、Tanh 等激活函数得到输出 Y。

W
1
-1
·
X
3
1
+
b
1
=
Z
3
→ ReLU →
Y
3

计算顺序:(W·X) 相乘 + b 相加 = Z → ReLU(Z) = Y

Z = (W·X) + b = (1×3 + (-11) + 1 = 2 + 1 = 3
Y = ReLU(Z) = max(0, 3) = 3

题目

人工神经元:根据指定的激活函数(ReLU、Sigmoid、Tanh)得到 Y,并填入空格(?)处。

X
0
-1
·
W
-2
-1
+
b
-2
=
Z
-1
~ ReLU
Y
1 / 20