みんなのAI
機械学習AI論文
読み込み中…

学ぶ

🏅マイ実績

Ch.06

線形独立とランク：データの重複と実質的な次元

チャプター別 数学図

チャプターを選ぶと、下の図がそのチャプターの内容に切り替わります。中級数学の流れを一覧で確認できます。

線形独立性とランク: 本当の次元はいくつ?

独立なら二つの向きが重ならない。ランクは、冗長を除いた向きの本数(この図では1か2)です。

12
rank
12
オレンジのベクトルが点線（第1方向の張り）の上にあり、新しい軸を増やさないときは線形従属に近く、この図ではランク1と読めます。
線から外れると二つの向きが異なり線形独立になり、この図ではランク2です。
従業員100名のスタートアップを想像してください。名簿は100名でも、実態は20名が動き、80名は同じ稟議をコピーしているだけかもしれません。本当の業務次元は100か20か。
前章では行列が空間を変形する装置でした。本章ではデータの矢印の中から本物と冗長を見極めます。線形独立(誰にも置き換えられない向き)と従属(他人の線形結合で済む乗り物)。重なりを剥がしたあとに残るランクが、見かけの列数ではない真の次元です。

線形独立性とランク：本当の次元はいくつ？

1. 線形独立——「RGB原色」
光や絵の具では 赤・緑・青 は根本で、片方だけでは他を作れません。ベクトルが線形独立とは、どれも他の線形結合で表せず、c1v1+⋯+ckvk=0c_1\mathbf{v}_1+\cdots+c_k\mathbf{v}_k=\mathbf{0}c1​v1​+⋯+ck​vk​=0 なら必ずすべて ci=0c_i=0ci​=0 ということです。独立なベクトルが増えるたびに、情報の新しい軸が開きます。
2. 線形従属——反響と「ただ乗り」
赤と緑の灯りがあるのに「黄(赤+緑)」の電球を足しても、表現できる色域は広がりません(冗長)。v3=2v1+3v2\mathbf{v}_3=2\mathbf{v}_1+3\mathbf{v}_2v3​=2v1​+3v2​ のように書けるとき従属です。データが増えたように見えても、実は反響で新情報はありません。
3. ランク——泡を除いた「情報の純度」
rank(A)\mathrm{rank}(A)rank(A) は列が100本でも1000本でも、独立な列の最大本数です。100本の矢印がすべて同一平面に乗るなら、ランクは依然2——真の有効次元です。
4. 基底——最小の鉄骨
基底は部分空間全体を張り、かつ最小の独立集合です。壁は多くても形を決めるのは鉄骨の本数。その本数が次元です。
5. Ch.05との接続——行列式det⁡\detdetとは何か、ランクとも
行列式 det⁡(A)\det(A)det(A) は、n×nn\times nn×n 行列が線形変換で単位体積(2次元なら単位正方形の面積)を何倍にするかを表すただ一つの数です。det⁡(A)=0\det(A)=0det(A)=0 なら空間が潰れて体積が消え逆行列なし、det⁡(A)≠0\det(A)\neq 0det(A)=0 なら A−1A^{-1}A−1 で変換を戻せます(Ch.05)。
rank(A)=n\mathrm{rank}(A)=nrank(A)=n なら満ランクで列は独立、上のように完全には潰れず det⁡(A)≠0\det(A)\neq 0det(A)=0、A−1A^{-1}A−1 があります。ランク不足なら潰れ det⁡(A)=0\det(A)=0det(A)=0、逆行列は使えません。
一行: 独立=代替不可の向き、従属=混合、ランク=泡を除いた真の次元。
目撃者5人でも、全員が同じ窓から見ていたら(従属)、手がかりは1つを5回聞いただけ(ランク1)。街路·屋上·CCTVの3人(独立、ランク3)の方がはるかに価値があります。
MLでも「㎡」と「坪」のように同じ向きの特徴を並べると多重共線性になり、モデルは重みを不安定にします。
ランクは「このデータ束に本当に栄養のある向きはいくつ?」という鋭い問いです。冗長な混合を剥がすのは、安定学習と高速計算の土台です。
1. 線形回帰を救う(リッジ)
最小二乗は (XTX)−1(X^{\mathsf T}X)^{-1}(XTX)−1 が要ります。ほぼ重複列で特異になります。リッジは微小な対角を足し、数値的に「厚み」を戻して逆行列を可能にします。
2. 深層ネットのボトルネック
100車線の高速道路が、ある層で実効ランク10に狭まれば情報ボトルネック——細部の多くが失われます。設計では幅とランク様の挙動を見ます。
下の表に記号とコツ、例には演習の代表パターン(定義選択·正偽·数値ランク·次元·性質·短文)を問題 / 解答で短くまとめました。
  • 記号線形独立
  • 意味∑civi=0⇒ci=0\sum c_i\mathbf{v}_i=\mathbf{0}\Rightarrow c_i=0∑ci​vi​=0⇒ci​=0
  • 記号線形従属
  • 意味少なくとも1列が他列の線形結合
  • 記号rank(A)\mathrm{rank}(A)rank(A)
  • 意味列空間の次元(=行約簡のピボット数)
  • 記号基底
  • 意味独立かつ張る最小集合
  • 記号rank(AB)\mathrm{rank}(AB)rank(AB)
  • 意味≤min⁡{rankA,rankB}\le\min\{\mathrm{rank}A,\mathrm{rank}B\}≤min{rankA,rankB}
  • 記号det⁡(A)\det(A)det(A)
  • 意味単位体積·面積の倍率(Ch.05)；det⁡(A)=0\det(A)=0det(A)=0 なら逆行列なし
記号意味
線形独立∑civi=0⇒ci=0\sum c_i\mathbf{v}_i=\mathbf{0}\Rightarrow c_i=0∑ci​vi​=0⇒ci​=0
線形従属少なくとも1列が他列の線形結合
rank(A)\mathrm{rank}(A)rank(A)列空間の次元(=行約簡のピボット数)
基底独立かつ張る最小集合
rank(AB)\mathrm{rank}(AB)rank(AB)≤min⁡{rankA,rankB}\le\min\{\mathrm{rank}A,\mathrm{rank}B\}≤min{rankA,rankB}
det⁡(A)\det(A)det(A)単位体積·面積の倍率(Ch.05)；det⁡(A)=0\det(A)=0det(A)=0 なら逆行列なし

例

例1 — 定義·概念を選ぶ
問題: rank(A)\mathrm{rank}(A)rank(A)の定義として正しいのは?
解答: 列空間の次元に相当する選択肢を選ぶ。
例2 — 正·偽
問題: R2\mathbb{R}^2R2で異なる二つのベクトルは常に線形独立か?
解答: 常には偽。同一直線(共線)なら従属。
例3 — 数値ランク
問題: (1224)\begin{pmatrix}1&2\\2&4\end{pmatrix}(12​24​)のランクは?
解答: 列が比例するので1。不明なら行約簡でピボットを数える。
例4 — 次元·核
問題: Ax=0A\mathbf{x}=\mathbf{0}Ax=0の解空間の次元がkkkで列がnnn本のとき、rank(A)\mathrm{rank}(A)rank(A)は?
解答: rank(A)=n−k\mathrm{rank}(A)=n-krank(A)=n−k。
例5 — ランクの性質
問題: 可逆行列P,QP,QP,Qに対しrank(PAQ)\mathrm{rank}(PAQ)rank(PAQ)は?
解答: rank(PAQ)=rank(A)\mathrm{rank}(PAQ)=\mathrm{rank}(A)rank(PAQ)=rank(A)。
例6 — 短文の状況
問題: a3=2a1−a2\mathbf{a}_3=2\mathbf{a}_1-\mathbf{a}_2a3​=2a1​−a2​のとき、三列のランクは?
解答: 従属なのでrank≤2\mathrm{rank}\le 2rank≤2。

演習

60問から無作為10問。

rank(AT)\mathrm{rank}(A^{\mathsf T})rank(AT)とrank(A)\mathrm{rank}(A)rank(A)は?
1 / 10