大家的AI
机器学习AI论文
加载中…

学习

🏅我的成就

Ch.02

向量的内积与投影：数据间的角度与相似度

按章节的数学图示

选择章节后，下方图示会切换为该章节内容。可一览中级数学的脉络。

坐标平面：u、v、正交投影

xyuvproj
基准 u旋转 v影子残差 ⊥ u

方向·相似度·数值

方向
−10+1

内积 u·v

13.32

cos θ（方向）

0.969

|proj| / |v|

0.969

绿色向量 vvv 旋转时 θ\thetaθ 改变，琥珀色影子（正交投影）的长度与 内积、cos⁡θ\cos\thetacosθ 同步变化。越接近同向 内积越大，垂直为 000，反向为负。右侧小圆单独显示 vvv 的方向。
内积（点积）把两个向量“在多大程度上同向”压缩成一个数。正交投影是把一个向量投到另一个向量张成的直线（或子空间）上，像影子一样。基于 Ch.01 的 Rn\mathbb{R}^nRn，本章用内积语言阅读相似性、角度与距离，并自然衔接到机器学习与深度学习中的相似度、注意力与线性层。

向量的内积与正交投影：用数字衡量有多相似

内积把 Ch.01 里“对应分量相乘再相加”一次性收成一个数。几何上它是 ∥u∥∥v∥cos⁡θ\|\mathbf{u}\|\|\mathbf{v}\|\cos\theta∥u∥∥v∥cosθ；正交投影是用内积除以基准方向长度得到的影子向量。
通俗说，内积就是两个箭头有多同向的得分。完全同向时大正，垂直为0，反向为负。正交投影可想成手电筒照在墙上的影子。
下面这些是要记住的核心公式。
1. 内积：u⋅v=∥u∥∥v∥cos⁡θ\mathbf{u} \cdot \mathbf{v} = \|\mathbf{u}\|\|\mathbf{v}\|\cos\thetau⋅v=∥u∥∥v∥cosθ（用两个向量的长度和夹角 θ\thetaθ）
2. 余弦相似度：cos⁡θ=u⋅v∥u∥∥v∥\cos\theta = \frac{\mathbf{u} \cdot \mathbf{v}}{\|\mathbf{u}\|\|\mathbf{v}\|}cosθ=∥u∥∥v∥u⋅v​（长度不同也只比方向有多像）
3. 正交投影：projuv\mathrm{proj}_{\mathbf{u}}\mathbf{v}proju​v（把 v\mathbf{v}v 沿基准向量 u\mathbf{u}u 的方向“落到直线上”的影子）
4. 单位向量：u^\mathbf{\hat{u}}u^ 上的“帽子”（^）常表示更关心方向。单位向量就是长度为 1 的箭头（∥u^∥=1\|\mathbf{\hat{u}}\|=1∥u^∥=1），多长已经定好，只剩指向哪边。因此 v\mathbf{v}v 投到 u^\mathbf{\hat{u}}u^ 上的影子可以一步写成 (v⋅u^) u^(\mathbf{v}\cdot\mathbf{\hat{u}})\,\mathbf{\hat{u}}(v⋅u^)u^。v⋅u^\mathbf{v}\cdot\mathbf{\hat{u}}v⋅u^ 这一个数表示 v\mathbf{v}v 与该方向有多同向；影子的实际长度是这个数的大小 ∣v⋅u^∣|\mathbf{v}\cdot\mathbf{\hat{u}}|∣v⋅u^∣。（若为负，说明影子在该直线反方向；只看长度用绝对值。）
其中 ∥u∥\|\mathbf{u}\|∥u∥、∥v∥\|\mathbf{v}\|∥v∥ 是向量的范数（长度）。余弦相似度除以二者长度之积，消掉大小影响，只留下方向。
式子看起来密，其实只是计算机给“相似程度”打分的规则。
深度学习里每层线性变换都是权重行与输入的内积堆叠。注意力用查询–键内积（或等价分数）决定关注哪里。推荐里用户/物品嵌入的内积/余弦表示偏好匹配。
一句话：内积是分量乘积之和，把长度与夹角绑在一起；正交投影是沿某方向的影子向量；余弦偏重方向；投影与正交分解相配。下一章 Ch.03 矩阵一次打包许多内积。
在 Ch.01 把向量看成“数字盒子”之后，本章规定如何把盒子配对成一个分数。这个分数成为距离·角度·相似度的共同语言，并通向矩阵、特征值与优化。
要让计算机理解“相似”，需要度量。内积与余弦能在高维里分离方向与长度，并与归一化等预处理密切相关。
机器学习：kNN 的相似度、核方法的起点、线性/逻辑回归的线性项 w⋅x\mathbf{w}\cdot\mathbf{x}w⋅x 等都用到内积。
几何视角：最小二乘解可看作向列空间的投影；PCA 主成分、Gram–Schmidt 的“减去投影”都是同一套图景。
下表汇总解题所需的公式与符号含义，紧随其后的分项说明阐明定义意图。例题给出各代表题型的步骤。
  • 公式u⋅v\mathbf{u}\cdot\mathbf{v}u⋅v
  • 含义同下标分量相乘再求和；结果为标量
  • 公式∥u∥\|\mathbf{u}\|∥u∥
  • 含义欧氏范数（长度）u⋅u\sqrt{\mathbf{u}\cdot\mathbf{u}}u⋅u​
  • 公式cos⁡θ\cos\thetacosθ
  • 含义u⋅v∥u∥∥v∥\dfrac{\mathbf{u}\cdot\mathbf{v}}{\|\mathbf{u}\|\|\mathbf{v}\|}∥u∥∥v∥u⋅v​ — 两向量夹角的余弦（排除零向量）
  • 公式projuv\mathrm{proj}_{\mathbf{u}}\mathbf{v}proju​v
  • 含义将 v\mathbf{v}v 沿 u\mathbf{u}u 所在直线正交投影得到的向量
  • 公式v−projuv\mathbf{v}-\mathrm{proj}_{\mathbf{u}}\mathbf{v}v−proju​v
  • 含义减去投影后的残差；恒与 u\mathbf{u}u 正交
  • 公式单位向量 u^\mathbf{\hat{u}}u^
  • 含义∥u^∥=1\|\mathbf{\hat{u}}\|=1∥u^∥=1；投影长度 =∣v⋅u^∣=|\mathbf{v}\cdot\mathbf{\hat{u}}|=∣v⋅u^∣
公式含义
u⋅v\mathbf{u}\cdot\mathbf{v}u⋅v同下标分量相乘再求和；结果为标量
∥u∥\|\mathbf{u}\|∥u∥欧氏范数（长度）u⋅u\sqrt{\mathbf{u}\cdot\mathbf{u}}u⋅u​
cos⁡θ\cos\thetacosθu⋅v∥u∥∥v∥\dfrac{\mathbf{u}\cdot\mathbf{v}}{\|\mathbf{u}\|\|\mathbf{v}\|}∥u∥∥v∥u⋅v​ — 两向量夹角的余弦（排除零向量）
projuv\mathrm{proj}_{\mathbf{u}}\mathbf{v}proju​v将 v\mathbf{v}v 沿 u\mathbf{u}u 所在直线正交投影得到的向量
v−projuv\mathbf{v}-\mathrm{proj}_{\mathbf{u}}\mathbf{v}v−proju​v减去投影后的残差；恒与 u\mathbf{u}u 正交
单位向量 u^\mathbf{\hat{u}}u^∥u^∥=1\|\mathbf{\hat{u}}\|=1∥u^∥=1；投影长度 =∣v⋅u^∣=|\mathbf{v}\cdot\mathbf{\hat{u}}|=∣v⋅u^∣
分项说明
① u⋅v\mathbf{u}\cdot\mathbf{v}u⋅v 与 Ch.01 相同：同下标分量相乘后全部相加。结果是一个实数（标量），不是向量。在 R2\mathbb{R}^2R2 常写成 uxvx+uyvyu_xv_x+u_yv_yux​vx​+uy​vy​。
② ∥u∥\|\mathbf{u}\|∥u∥ 由 u⋅u\sqrt{\mathbf{u}\cdot\mathbf{u}}u⋅u​ 给出，是欧氏长度。先定义内积再读范数很自然。
③ cos⁡θ\cos\thetacosθ 对夹角 θ\thetaθ，u⋅v∥u∥∥v∥\dfrac{\mathbf{u}\cdot\mathbf{v}}{\|\mathbf{u}\|\|\mathbf{v}\|}∥u∥∥v∥u⋅v​。分母不为零时讨论，通常排除零向量。同向接近 111，正交为 000，反向为负。
④ projuv\mathrm{proj}_{\mathbf{u}}\mathbf{v}proju​v 对非零 u\mathbf{u}u 为 u⋅vu⋅uu\dfrac{\mathbf{u}\cdot\mathbf{v}}{\mathbf{u}\cdot\mathbf{u}}\mathbf{u}u⋅uu⋅v​u。可理解为把 v\mathbf{v}v 垂直落到 u\mathbf{u}u 所在直线上的影子向量。
⑤ v−projuv\mathbf{v}-\mathrm{proj}_{\mathbf{u}}\mathbf{v}v−proju​v 是残差，恒与 u\mathbf{u}u 正交，且 v=projuv+(v−projuv)\mathbf{v}=\mathrm{proj}_{\mathbf{u}}\mathbf{v}+(\mathbf{v}-\mathrm{proj}_{\mathbf{u}}\mathbf{v})v=proju​v+(v−proju​v) 构成正交分解。
⑥ 单位向量 u^\mathbf{\hat{u}}u^ 若 ∥u^∥=1\|\mathbf{\hat{u}}\|=1∥u^∥=1，则投影为 (v⋅u^)u^(\mathbf{v}\cdot\mathbf{\hat{u}})\mathbf{\hat{u}}(v⋅u^)u^，∣v⋅u^∣|\mathbf{v}\cdot\mathbf{\hat{u}}|∣v⋅u^∣ 是 v\mathbf{v}v 在 u^\mathbf{\hat{u}}u^ 方向上的影子长度。

练习题

以下从 60 题题库中随机抽取 10 题（易 4·中 3·难 3，顺序易→中→难）。每题为选择题，请选编号。

逻辑回归中 z=w⋅x+bz=\mathbf{w}\cdot\mathbf{x}+bz=w⋅x+b，w⋅x\mathbf{w}\cdot\mathbf{x}w⋅x 主要表示？
1 / 10