Ch.06

선형 독립과 랭크: 진짜 차원은 몇 개일까?

챕터별 수학 도식화

챕터를 선택하면 아래 도식이 해당 챕터 내용으로 바뀌어요. 중급 수학 흐름을 한눈에 보세요.

선형 독립과 랭크: 진짜 차원은 몇 개일까?

독립 이면 두 방향이 안 겹침 . 랭크 는 그래서 남는 차원 개수 (이 그림 예시는 1 또는 2)예요.

rank

주황 화살표가 점선(첫 방향) 위에 있으면 같은 방향만 쓰는 종속 에 가깝고, 이 예시에서는 랭크 1 이에요. 선 밖 으로 벗어나면 두 방향이 달라져 일차독립 이 되고, 이 예시에서는 랭크 2 예요.

규모가 제법 큰 스타트업에 100명의 직원이 있다고 상상해 봅시다. 회사 명부(데이터셋)를 보면 100명이라는 숫자가 든든해 보입니다. 그런데 업무 실태를 자세히 들여다보니, 20명은 스스로 새로운 아이디어를 내고 일을 추진하지만, 나머지 80명은 그저 앞선 20명의 기안서를 복사해서 이름만 바꿔 결재를 올리고 있었습니다. 이 회사가 실제로 만들어내는 '진짜 업무의 차원'은 100일까요, 20일까요? 이전 장에서 우리는 행렬이 공간을 주무르는 수학적 장치라는 것을 배웠습니다. 이번 장에서는 그 공간을 구성하는 수많은 데이터 화살표들 속에서'가짜'와 '진짜'를 가려내는 감식안 을 기릅니다. 어떤 화살표가 자신만의 대체 불가능한 새로운 방향(일차독립) 을 개척하고 있는지, 아니면 그저 다른 화살표들의 경로를 베껴서 무임승차(일차종속) 하고 있는지를 수식으로 판별해 봅니다. 그리고 중복되는 그림자들을 모두 걷어낸 후 남은 진짜 알짜배기 뼈대의 개수, 즉 랭크(Rank) 를 세는 방법을 알아봅니다. 겉으로 보이는 데이터의 덩치에 속지 않고, 그 이면에 숨겨진 '진짜 차원'을 꿰뚫어 보는 안목을 갖춰봅시다.

선형 독립과 랭크: 진짜 차원은 몇 개일까?

c_1\mathbf{v}_1 + c_2\mathbf{v}_2 + \dots + c_k\mathbf{v}_k = \mathbf{0}

\mathbf{v}_3 = 2\mathbf{v}_1 + 3\mathbf{v}_2

A

4. 기저(Basis): 3D 게임 공간을 짓는 '최소한의 철골 구조' 어떤 공간(부분공간)의 모든 좌표를 빠짐없이, 그리고 중복 없이 표현하기 위해 필요한 최소한의 일차독립 벡터 모음 을 기저 라고 부릅니다. 건물을 지을 때 수많은 벽돌이 들어가지만, 건물의 형태를 결정하는 핵심 철골 뼈대는 정해져 있는 것과 같습니다. 이 기저를 이루는 철골 벡터의 개수가 바로 그 공간의 차원(Dimension) 이 됩니다.

\det

한 줄: RGB처럼 대체 불가 한 방향이 독립, 노란 조합 처럼 겹치면 종속, 랭크 는 거품 걷어낸 진짜 차원 입니다.

범인에 대한 단서를 수집하는 탐정의 상황을 상상해 봅시다. 5명의 목격자를 확보했는데, 알고 보니 이 5명이 모두 '같은 건물, 같은 창문'에서 범행을 지켜본 사람들이었습니다(일차종속). 탐정은 단서가 5개나 있다고 기뻐하겠지만, 실제로는 1개의 단서(랭크=1)를 5번 반복해서 듣는 것과 같습니다. 차라리 서로 다른 각도의 길거리, 옥상, CCTV에서 본 3명의 목격자(일차독립, 랭크=3)가 훨씬 가치 있는 정보를 제공합니다. 머신러닝에서도 똑같은 일이 벌어집니다. 집값을 예측할 때 '집의 면적(제곱미터)'과 '집의 면적(평)'이라는 두 가지 데이터를 넣으면, 컴퓨터는 이 둘이 완전히 같은 방향을 가리키는 일차종속이라는 것을 스스로 깨닫지 못합니다. 이처럼 겹치는 변수가 많은 현상을 다중공선성(Multicollinearity) 이라고 하며, 모델은 어떤 변수가 정답에 진짜 기여하는지 헷갈려하다가 계산을 포기하거나 엉터리 가중치를 매기게 됩니다.

따라서 랭크(Rank) 는 우리에게 "이 데이터 뭉치 안에 진짜 영양가 있는 정보는 몇 개나 있는가?"를 묻는 아주 날카로운 질문입니다. 데이터의 거품(종속)을 걷어내고 뼈대(독립)만 남기는 것은 계산 속도를 극적으로 높이고 인공지능이 헛갈리지 않게 돕는 가장 중요한 밑작업입니다.

(X^T X)^{-1}

2. 딥러닝의 정보 병목 (Information Bottleneck)과 고속도로 딥러닝의 신경망은 데이터를 여러 층의 선형 행렬을 통해 통과시킵니다. 이를 100차선짜리 초고속 도로에 비유해 봅시다. 만약 수많은 정보의 자동차들이 이 도로를 달리다가, 갑자기 랭크가 10 밖에 안 되는 층(Layer)을 만나면 어떻게 될까요? 100차선 도로가 갑자기 10차선 좁은 국도로 좁아지는 것과 같습니다. 엄청난 교통체증이 발생하고, 나머지 90차선 분량의 고화질 이미지나 정교한 텍스트 정보는 영구적으로 파괴되어 사라집니다(정보 병목). 따라서 AI 설계자들은 각 층이 데이터를 온전히 실어 나를 수 있도록 랭크의 크기를 모니터링하고 차원을 신중하게 설계해야 합니다.

아래 표에는 기호와 요령 을, 풀이 예시 는 연습 문제의 대표 유형 (정의 고르기\cdot참\cdot거짓\cdot수로 랭크\cdot차원\cdot성질\cdot짧은 상황)을 문제 / 풀이 형식으로 짧게 적어 두었습니다.

\sum c_i\mathbf{v}_i=\mathbf{0}\Rightarrow c_i=0

풀이 예시

\mathrm{rank}(A)

연습 문제

문제 은행 60문항 중 무작위 10문이 출제됩니다.

\mathrm{rank}(A^{\mathsf T})

1 / 10

선형 독립과 랭크: 진짜 차원은 몇 개일까?

c_1\mathbf{v}_1 + c_2\mathbf{v}_2 + \dots + c_k\mathbf{v}_k = \mathbf{0}

\mathbf{v}_3 = 2\mathbf{v}_1 + 3\mathbf{v}_2

A

4. 기저(Basis): 3D 게임 공간을 짓는 '최소한의 철골 구조' 어떤 공간(부분공간)의 모든 좌표를 빠짐없이, 그리고 중복 없이 표현하기 위해 필요한 최소한의 일차독립 벡터 모음 을 기저 라고 부릅니다. 건물을 지을 때 수많은 벽돌이 들어가지만, 건물의 형태를 결정하는 핵심 철골 뼈대는 정해져 있는 것과 같습니다. 이 기저를 이루는 철골 벡터의 개수가 바로 그 공간의 차원(Dimension) 이 됩니다.

\det

한 줄: RGB처럼 대체 불가 한 방향이 독립, 노란 조합 처럼 겹치면 종속, 랭크 는 거품 걷어낸 진짜 차원 입니다.

범인에 대한 단서를 수집하는 탐정의 상황을 상상해 봅시다. 5명의 목격자를 확보했는데, 알고 보니 이 5명이 모두 '같은 건물, 같은 창문'에서 범행을 지켜본 사람들이었습니다(일차종속). 탐정은 단서가 5개나 있다고 기뻐하겠지만, 실제로는 1개의 단서(랭크=1)를 5번 반복해서 듣는 것과 같습니다. 차라리 서로 다른 각도의 길거리, 옥상, CCTV에서 본 3명의 목격자(일차독립, 랭크=3)가 훨씬 가치 있는 정보를 제공합니다. 머신러닝에서도 똑같은 일이 벌어집니다. 집값을 예측할 때 '집의 면적(제곱미터)'과 '집의 면적(평)'이라는 두 가지 데이터를 넣으면, 컴퓨터는 이 둘이 완전히 같은 방향을 가리키는 일차종속이라는 것을 스스로 깨닫지 못합니다. 이처럼 겹치는 변수가 많은 현상을 다중공선성(Multicollinearity) 이라고 하며, 모델은 어떤 변수가 정답에 진짜 기여하는지 헷갈려하다가 계산을 포기하거나 엉터리 가중치를 매기게 됩니다.

따라서 랭크(Rank) 는 우리에게 "이 데이터 뭉치 안에 진짜 영양가 있는 정보는 몇 개나 있는가?"를 묻는 아주 날카로운 질문입니다. 데이터의 거품(종속)을 걷어내고 뼈대(독립)만 남기는 것은 계산 속도를 극적으로 높이고 인공지능이 헛갈리지 않게 돕는 가장 중요한 밑작업입니다.

(X^T X)^{-1}

2. 딥러닝의 정보 병목 (Information Bottleneck)과 고속도로 딥러닝의 신경망은 데이터를 여러 층의 선형 행렬을 통해 통과시킵니다. 이를 100차선짜리 초고속 도로에 비유해 봅시다. 만약 수많은 정보의 자동차들이 이 도로를 달리다가, 갑자기 랭크가 10 밖에 안 되는 층(Layer)을 만나면 어떻게 될까요? 100차선 도로가 갑자기 10차선 좁은 국도로 좁아지는 것과 같습니다. 엄청난 교통체증이 발생하고, 나머지 90차선 분량의 고화질 이미지나 정교한 텍스트 정보는 영구적으로 파괴되어 사라집니다(정보 병목). 따라서 AI 설계자들은 각 층이 데이터를 온전히 실어 나를 수 있도록 랭크의 크기를 모니터링하고 차원을 신중하게 설계해야 합니다.

아래 표에는 기호와 요령 을, 풀이 예시 는 연습 문제의 대표 유형 (정의 고르기\cdot참\cdot거짓\cdot수로 랭크\cdot차원\cdot성질\cdot짧은 상황)을 문제 / 풀이 형식으로 짧게 적어 두었습니다.

\sum c_i\mathbf{v}_i=\mathbf{0}\Rightarrow c_i=0

풀이 예시

\mathrm{rank}(A)

연습 문제

문제 은행 60문항 중 무작위 10문이 출제됩니다.

\mathrm{rank}(A^{\mathsf T})

1 / 10

기호	의미
일차독립	$\sum c_i\mathbf{v}_i=\mathbf{0}\Rightarrow c_i=0$
일차종속	적어도 하나가 나머지의 선형결합
$\mathrm{rank}(A)$	열공간 차원(=행간소화 피벗 수)
기저	독립이면서 생성하는 최소 집합
$\mathrm{rank}(AB)$	$\le\min\{\mathrm{rank}A,\mathrm{rank}B\}$
$\det(A)$	단위 부피·넓이가 변환으로 몇 배가 되는지(Ch.05); $\det(A)=0$ 이면 역행렬 없음

기호	의미
일차독립	$\sum c_i\mathbf{v}_i=\mathbf{0}\Rightarrow c_i=0$
일차종속	적어도 하나가 나머지의 선형결합
$\mathrm{rank}(A)$	열공간 차원(=행간소화 피벗 수)
기저	독립이면서 생성하는 최소 집합
$\mathrm{rank}(AB)$	$\le\min\{\mathrm{rank}A,\mathrm{rank}B\}$
$\det(A)$	단위 부피·넓이가 변환으로 몇 배가 되는지(Ch.05); $\det(A)=0$ 이면 역행렬 없음