大家的AI
机器学习AI论文
加载中…

学习

🏅我的成就

Ch.07

特征值与特征向量:变换中不变的主轴

按章节的数学图示

选择章节后,下方图示会切换为该章节内容。可一览中级数学的脉络。

特征值与特征向量: 变换了也不离开那条线

特征向量是变换后仍留在同一条过原点的直线上的方向;在这条线上只会拉长或缩短(也可能指向反侧)。特征值就是这条线上长度的倍数。

矩阵 / Matrix
特征值 / Eigenvalue
AAAx\mathbf{x}x===λ\lambdaλx\mathbf{x}x
特征向量 / Eigenvector
褐色圆标表示变换规则;薄荷绿圆标表示该直线上的长度倍率;珊瑚色下划线强调等号两侧同一方向。曲线箭头把标签与式子对应起来。
想象洗衣机里的衣物:水在打转,布在缠绕,运动方向会拐弯。矩阵变换空间时,大多数向量也会离开原来的直线,方向发生改变。
但滚筒中心的转轴不一样:转得再猛,它也留在同一条直线上。数学里也有这样的方向:变换后仍在同一直线上,长度像橡皮筋一样伸缩——这就是特征向量和特征值。本章帮助你在看起来很乱的数据里,先找到这条稳定的线,再慢慢拆开理解。

特征值与特征向量: 变换了也不离开那条线

1. 特征向量——方向不“拐弯”的特殊向量
矩阵像一台会“拧空间”的机器。多数向量变换后会改变方向;少数向量一直留在原来的直线上,只变长度——这就是特征向量。要点一句:Av=λvA\mathbf{v}=\lambda\mathbf{v}Av=λv — “同一直线,长度按倍数变”。
2. 特征值——这条线上长度怎么变
在特征向量方向上,长度按一个倍数改变。大于 1 拉长,在 0 与 1 之间缩短;为负时仍在同一直线上,但指向另一侧。
3. 特征方程——求特征值的常用办法
先写特征方程找候选。直觉上:试到某个值时,空间被压扁、体积感变成零,这个值就是候选;再求对应方向。
4. 对角化——把复杂变换拆成“各轴各乘一个数”
若有足够多的独立特征方向作新基底,就能把变换写成各轴只乘一个数、彼此不搅在一起的形式,读起来简单很多。
5. 迹与行列式——两个数帮你核对
行列式 det⁡(A)\det(A)det(A) 是方阵线性变换把单位体积(二维为单位正方形面积)变成多少倍的那个数(与 Ch.05 同义)。本章常把“特征值之积等于 det⁡(A)\det(A)det(A)”用于验算。
特征值的和等于对角线元素之和(迹),积等于行列式(重复根按重数计)。2×2 时常用这两个数快速验算。
一句话: Av=λvA\mathbf{v}=\lambda\mathbf{v}Av=λv — 特征向量留在同一直线,特征值是长度倍数。用特征方程取候选,并与前面的行列式、独立一起接到 PCA 与动力学。
特征值与特征向量帮助你在很多方向搅在一起时,找出最有信息量的方向。
维度很高时,不同方向的变化大小不一样。协方差矩阵的特征向量指出“数据散得最开”的方向,特征值说明散得有多大。
在天气、市场、网页排名等反复乘同一个矩阵的模型里,只看特征值也常能判断数值会爆掉、趋向零还是慢慢稳定,不必一步步硬算。
1. PCA 与降维(找最重要的方向)
人脸照片像素很多,但并不是每个像素都同样重要。先建协方差矩阵再求特征向量,最大特征值的方向往往靠近眼睛、轮廓等变化大的部位,用少数方向就能大幅减维而信息损失较小。
2. PageRank——链接与稳定分数
把网页互链写成矩阵,问“随机一直点链接会聚到哪里”,大体上就是在求稳定得分形态(同一规则再作用一次也不变)那一类问题。
3. 深度学习与稳定性(梯度问题)
RNN 等会反复乘同一个变换:若最大特征尺度远大于 1 易梯度爆炸,若都明显小于 1 易梯度消失;因此常把谱调到接近 1 更稳。
本章主线是 Av=λvA\mathbf{v}=\lambda\mathbf{v}Av=λv:特征向量仍在同一直线,特征值是长度倍数。用特征方程求候选,需要时再用相似、对角化、迹、行列式核对性质。
  • 用语特征对
  • 含义同一直线,长度按倍数变(Av=λvA\mathbf{v}=\lambda\mathbf{v}Av=λv)
  • 用语特征方程
  • 含义列出特征值候选的常规写法
  • 用语求方向
  • 含义候选确定后,用“减去倍数后的线性方程组”取方向
  • 用语几何/代数重数
  • 含义实际方向维数 vs 方程根重复次数
  • 用语对角化
  • 含义独立特征方向足够时,可写成各轴只乘一个数
  • 用语det⁡(A)\det(A)det(A)
  • 含义单位体积/面积的倍数(Ch.05);等于特征值之积
  • 用语迹与行列式
  • 含义特征值和与积的快速核对
用语含义
特征对同一直线,长度按倍数变(Av=λvA\mathbf{v}=\lambda\mathbf{v}Av=λv)
特征方程列出特征值候选的常规写法
求方向候选确定后,用“减去倍数后的线性方程组”取方向
几何/代数重数实际方向维数 vs 方程根重复次数
对角化独立特征方向足够时,可写成各轴只乘一个数
det⁡(A)\det(A)det(A)单位体积/面积的倍数(Ch.05);等于特征值之积
迹与行列式特征值和与积的快速核对
① 2×2 常用和·积检验。
② 上三角/对角读对角元。
③ 相似矩阵特征值多重集相同。
④ 不同特征值的特征向量线性无关。

示例

示例1 定义 同一直线上的倍数与方向叫什么? → 特征值与特征向量。

示例2 判断 相似矩阵有相同特征多项式。→ 对。

示例3 对角 对角为 3 与 2 的 2×2 对角阵特征值? → 3 与 2。

示例4 重复 倍率为 λ 时同一变换做三次? → λ 连乘三次的倍率。

示例5 和·积 特征值 1 与 4 的迹与行列式? → 和 5,积 4。

示例6 PCA 协方差最大特征值的方向? → 方差最大的主方向。

练习题

在 R2\mathbb{R}^2R2 中,关于 xxx 轴的反射 R=(100−1)R=\begin{pmatrix}1&0\\0&-1\end{pmatrix}R=(10​0−1​) 的特征值为?
1 / 10