大家的AI
机器学习AI论文
加载中…

学习

🏅我的成就

Ch.06

线性独立与秩：数据的冗余与实质维度

按章节的数学图示

选择章节后，下方图示会切换为该章节内容。可一览中级数学的脉络。

线性独立与秩：真正的维度有多少?

独立就是两个方向不塌成一条线。秩表示去掉冗余后还剩几个方向（此图示例为1或2）。

12
rank
12
橙色向量落在虚线（第一个张成方向）上、不增加新的轴向时，为线性相关情形；本图演示中读作秩1。
离开该直线后两方向不同 → 线性独立，本图演示中读作秩2。
想象一家名册上写着100人的创业公司：真正推动工作的也许只有20人，其余80人只是在复制同一份审批。真实的业务“维度”是100还是20？
上一章：矩阵会揉捏空间。本章在成堆的数据箭头里分辨真信息与冗余：线性独立（别人无法替代的方向）与线性相关（只是线性组合的“搭车”）。剥掉重叠的“影子”之后，秩统计的是真正的信息骨架，别被列数唬住。

线性独立与秩：真正的维度有多少？

1. 线性独立——“RGB 原色”
在光或颜料里，红、绿、蓝是基底级的：单靠另两色造不出第三色。向量线性独立指：没有任何向量是其余向量的组合，且 c1v1+⋯+ckvk=0c_1\mathbf{v}_1+\cdots+c_k\mathbf{v}_k=\mathbf{0}c1​v1​+⋯+ck​vk​=0 时必须全 ci=0c_i=0ci​=0。每多一个独立向量，就多开一扇新维度的门。
2. 线性相关——回声与“搭车”
已有红、绿灯，再加一盏“黄(红+绿)”并不会扩大色域——它是冗余。若 v3=2v1+3v2\mathbf{v}_3=2\mathbf{v}_1+3\mathbf{v}_2v3​=2v1​+3v2​，第三支是线性组合即相关。看起来像更多数据，其实只是回声。
3. 秩——撇掉泡沫后的“信息纯度”
rank(A)\mathrm{rank}(A)rank(A) 是独立列的最大个数，不论你有100列还是1000列。若100支箭头都落在同一平面上，秩仍只有2：秩是数据的真实有效维度。
4. 基——最小钢架
基是仍能张成整个子空间的最小独立集。砖墙再多，决定形状的是钢架根数，那就是维度。
5. 与 Ch.05 的衔接——行列式 det⁡\detdet 是什么，以及秩
行列式 det⁡(A)\det(A)det(A) 是 n×nn\times nn×n 线性变换把单位体积（二维时是单位正方形面积）变成多少倍的那个数。det⁡(A)=0\det(A)=0det(A)=0 表示空间被压扁、体积塌成零，没有逆矩阵；det⁡(A)≠0\det(A)\neq 0det(A)=0 才能用 A−1A^{-1}A−1 一步还原（Ch.05）。
若 rank(A)=n\mathrm{rank}(A)=nrank(A)=n（满秩），列独立，空间不会完全压扁，故 det⁡(A)≠0\det(A)\neq 0det(A)=0，A−1A^{-1}A−1 存在。秩不足则空间被压平，det⁡(A)=0\det(A)=0det(A)=0，“倒带”失效。
一句话： 独立=不可替代的方向；相关=混合；秩=撇沫后的真实维度。
五个证人都从同一扇窗看案发现场（相关），等于把一条线索听了五遍（秩1）。街面、天台、监控三个角度（独立，秩3）才更有价值。
机器学习里同时喂“平方米”和“坪”会指向同一方向：多重共线性，权重可能变得不稳定或荒谬。
秩在问：这堆数据里真正有营养的独立方向有几个？剥掉冗余混合，是稳定训练与高效计算的前提。
1. 挽救线性回归（岭回归）
最小二乘需要 (XTX)−1(X^{\mathsf T}X)^{-1}(XTX)−1。列几乎重复时矩阵奇异。岭回归在对角上加微小“垫片”，像给压扁的三明治塞一根牙签，恢复数值上的“体积”以便求逆。
2. 深度网络的信息瓶颈
把线性层想成100车道高速；若某层有效秩只有10，就像突然收窄——信息瓶颈，大量细节被永久抹掉。设计宽度时常关注秩类行为。
下表汇总符号与要点；示例按练习题常见类型（定义、对错、算秩、维数、秩性质、短情境）用问题 / 解答简短写出。
  • 符号线性独立
  • 含义∑civi=0⇒ci=0\sum c_i\mathbf{v}_i=\mathbf{0}\Rightarrow c_i=0∑ci​vi​=0⇒ci​=0
  • 符号线性相关
  • 含义至少一列是其余列的线性组合
  • 符号rank(A)\mathrm{rank}(A)rank(A)
  • 含义列空间维数（=行化简主元个数）
  • 符号基
  • 含义独立且张成的最小集合
  • 符号rank(AB)\mathrm{rank}(AB)rank(AB)
  • 含义≤min⁡{rankA,rankB}\le\min\{\mathrm{rank}A,\mathrm{rank}B\}≤min{rankA,rankB}
  • 符号det⁡(A)\det(A)det(A)
  • 含义单位体积/面积被变换放缩的倍数（Ch.05）；det⁡(A)=0\det(A)=0det(A)=0 则无逆
符号含义
线性独立∑civi=0⇒ci=0\sum c_i\mathbf{v}_i=\mathbf{0}\Rightarrow c_i=0∑ci​vi​=0⇒ci​=0
线性相关至少一列是其余列的线性组合
rank(A)\mathrm{rank}(A)rank(A)列空间维数（=行化简主元个数）
基独立且张成的最小集合
rank(AB)\mathrm{rank}(AB)rank(AB)≤min⁡{rankA,rankB}\le\min\{\mathrm{rank}A,\mathrm{rank}B\}≤min{rankA,rankB}
det⁡(A)\det(A)det(A)单位体积/面积被变换放缩的倍数（Ch.05）；det⁡(A)=0\det(A)=0det(A)=0 则无逆

示例

示例1 — 定义·概念选择
问题：下列哪一项是 rank(A)\mathrm{rank}(A)rank(A) 的定义？
解答：选与列空间维数一致的表述。
示例2 — 对错
问题：R2\mathbb{R}^2R2 中两个不同向量是否总线性无关？
解答：不总成立；共线则线性相关。
示例3 — 算秩
问题：(1224)\begin{pmatrix}1&2\\2&4\end{pmatrix}(12​24​) 的秩？
解答：两列成比例 → 秩1；不清楚则行化简数主元。
示例4 — 维数·核
问题：若 Ax=0A\mathbf{x}=\mathbf{0}Ax=0 的解空间维数为 kkk，且 AAA 有 nnn 列，则 rank(A)\mathrm{rank}(A)rank(A)？
解答：rank(A)=n−k\mathrm{rank}(A)=n-krank(A)=n−k。
示例5 — 秩性质
问题：可逆矩阵 P,QP,QP,Q 下 rank(PAQ)\mathrm{rank}(PAQ)rank(PAQ)？
解答：rank(PAQ)=rank(A)\mathrm{rank}(PAQ)=\mathrm{rank}(A)rank(PAQ)=rank(A)。
示例6 — 短情境
问题：若 a3=2a1−a2\mathbf{a}_3=2\mathbf{a}_1-\mathbf{a}_2a3​=2a1​−a2​，三列的秩如何？
解答：三列线性相关，故 rank≤2\mathrm{rank}\le 2rank≤2。

练习题

从60题中随机抽10题。

rank(AT)\mathrm{rank}(A^{\mathsf T})rank(AT)与rank(A)\mathrm{rank}(A)rank(A)?
1 / 10