I aM Doo AI

Ch.10

헤시안 행렬: 곡면이 휘어진 정도 읽기

챕터별 수학 도식화

챕터를 선택하면 아래 도식이 해당 챕터 내용으로 바뀌어요. 중급 수학 흐름을 한눈에 보세요.

1번 미분은 ‘지금 어느 쪽이 내리막인지’ 알려주고, 2번 미분인 헤시안은 ‘앞으로 땅이 푹 꺼질지, 한쪽은 올라가고 한쪽은 내려갈지(안장점)’ 알려줍니다. 아래 애니메이션으로 흐름만 따라가 보세요.
헤시안은 함수를 두 번 미분해 만든 행렬이라서, 아래 그림에서 보이는 ‘휘어짐’이 바로 헤시안이 알려주는 내용입니다.

밥그릇: 아래로만 휘어짐 → 최소점

↓ 휘어짐(x, f(x))

안장점: 이쪽은 값↑ 올라가고, 저쪽은 값↓ 내려감

주황 이쪽으로 가면 값 올라감 · 초록 이쪽으로 가면 값 내려감

안장점: 최소도 최대도 아님

밥그릇 아래로만 휘어짐 → 여기가 최소

엎어놓은 그릇 위로만 휘어짐 → 여기가 최대 (밥그릇을 뒤집은 모양)

안장점 한 방향은 값이 올라가고 다른 방향은 값이 내려감 → 최소·최대 아님

왼쪽은 밥그릇처럼 아래로만 휘어져서 그곳이 최소이고, 오른쪽은 한 방향은 값이 올라가고 다른 방향은 내려가서 최소도 최대도 아닌 점(안장점)입니다.

헤시안 행렬은 ‘지금 서 있는 땅이 앞으로 어떻게 휘어질지’를 숫자로 담은 표라고 생각하면 됩니다. 1번 미분은 ‘지금 어느 쪽이 내리막인지’ 알려주고, 2번 미분으로 만든 헤시안은 ‘앞으로 땅이 푹 꺼질지, 한쪽은 올라가고 한쪽은 내려가는(안장점)지’를 알려줍니다. 그래서 인공지능이 산을 내려가듯 정답을 찾을 때, 헤시안이 중요한 지도 역할을 합니다.

헤시안 행렬: 곡면이 휘어진 정도 읽기

헤시안 행렬이란? 지금 서 있는 점에서, 모든 방향으로 땅이 얼마나 휘어져 있는지를 숫자로 적어 둔 표라고 보면 됩니다. 함수를 두 번 미분한 값들을 모아서 만든 정사각형 표(행렬)이고, 대각선을 기준으로 좌우가 같은 대칭 행렬이 됩니다.
눈을 감고 산을 내려간다고 생각해 보세요. 발로 느끼는 ‘이쪽이 더 내리막이다’가 1번 미분(기울기)입니다. 반대로 ‘한 발 더 내딛으면 땅이 푹 꺼질지, 평평할지’를 미리 아는 감각이 2번 미분, 즉 헤시안입니다. 이걸 알면 낭떠러지를 피하고, 밥그릇처럼 파인 진짜 바닥을 찾을 수 있습니다.
조금 더 정확히 말하면, 함수 ff를 두 변수 방향으로 두 번 미분한 값 ∂2f∂xi∂xj\frac{\partial^2 f}{\partial x_i \partial x_j}들을 표에 채운 것이 헤시안 H\mathbf{H}입니다. 이 표에서 나오는 고유값이 핵심입니다. 고유값이 모두 양수면 그 점은 밥그릇 바닥처럼 극소점이고, 모두 음수면 산꼭대기처럼 극대점입니다. 양수와 음수가 섞여 있으면 한 방향으로는 올라가고 다른 방향으로는 내려가는 안장점이 됩니다.
인공지능 학습은 ‘에러가 가장 작은 골짜기’를 찾는 일입니다. 기울기만 보고 조금씩 내려가는 방법은 돌아가느라 느립니다. 헤시안으로 휘어짐을 알면, 바닥 쪽으로 크게 점프하는 뉴턴법을 쓸 수 있어서 훨씬 빨리 학습할 수 있습니다.
정리하면, 헤시안은 함수를 두 번 미분해 만든 ‘휘어짐 지도’라고 보면 됩니다. 기울기가 0인 곳이 진짜 최소(밥그릇 바닥)인지, 최대(엎어놓은 그릇)인지, 안장점(한쪽은 올라가고 한쪽은 내려가는 점)인지 구별하게 해 주고, 인공지능이 가짜 정답에 걸리지 않으면서 보폭을 잘 맞춰 빠르게 정답을 찾도록 돕는 역할을 합니다.
내려가다 보면 기울기가 0인 평평한 곳을 만날 수 있습니다. 그렇다고 그곳이 반드시 진짜 바닥은 아닙니다. 잠깐 평평했다가 한쪽은 올라가고 한쪽은 내려가는 안장점 같은 곳일 수 있어요. 이때 헤시안의 고유값을 보면, 진짜 최소점인지 안장점(한 방향은 올라가고 다른 방향은 내려가는 점)인지 구별할 수 있습니다. 인공지능처럼 변수가 많을 때는 이런 가짜 바닥에 걸리지 않는 게 매우 중요합니다.
좁은 길은 보폭을 작게, 넓은 들판은 보폭을 크게 해야 빠르고 안전합니다. 헤시안은 ‘어느 방향이 얼마나 가파른지’를 알려주기 때문에, 학습할 때 보폭(학습률)을 스스로 잘 맞추어서 헛걸음 없이 효율적으로 내려갈 수 있게 해 줍니다.
뉴턴법은 다음 공식으로 한 번에 많이 움직이는 방법입니다: xk+1=xk−H−1∇f(xk)\mathbf{x}_{k+1} = \mathbf{x}_k - \mathbf{H}^{-1} \nabla f(\mathbf{x}_k). 여기서 xk\mathbf{x}_k는 지금 위치(현재 점), ∇f(xk)\nabla f(\mathbf{x}_k)는 그 점에서의 기울기(그라디언트), H\mathbf{H}는 그 점에서의 헤시안 행렬이고 H−1\mathbf{H}^{-1}는 그 역행렬입니다. 즉 ‘지금 기울기와 땅이 휘어진 모양(헤시안)을 같이 보고, 바닥 쪽으로 크게 점프해서 xk+1\mathbf{x}_{k+1}로 간다’는 뜻이에요. 조금씩만 내려가는 것보다 훨씬 빨리 정답 근처에 도달할 수 있습니다.
다만 변수가 많아지면 헤시안을 정확히 구하는 비용이 너무 커집니다. 그래서 실무에서는 헤시안을 완전히 계산하지 않고, 지금까지의 기울기 정보만으로 ‘대략 이런 모양이겠지’ 하고 추측해서 쓰는 준뉴턴법(BFGS 등)을 더 많이 사용합니다.
아래 표에는 문제 풀이에 필요한 수식과 기호 의미만 정리했습니다. 표 밑 풀이 예시에서 실제 풀이 과정을 참고하세요.
  • 수식Hij=∂2f∂xi∂xjH_{ij} = \frac{\partial^2 f}{\partial x_i \partial x_j}
  • 기호 의미HijH_{ij} = 표에서 (i,j)(i,j)번째 칸에 들어가는 수. "xix_i 방향으로 한 번, xjx_j 방향으로 한 번 미분한 값"이라고 보면 됩니다. ff는 곡면(함수), xix_i, xjx_j는 변수(축) 번호. 미분 순서를 바꿔도 같아서 Hij=HjiH_{ij}=H_{ji}라 표가 대칭입니다.
  • 수식n2n^2 (성분 총 개수)
  • 기호 의미nn = 변수 개수. 변수가 nn개면 헤시안은 nn행 nn열이라 칸이 n×n=n2n \times n = n^2개입니다. 예: 2변수 → 4개, 3변수 → 9개.
  • 수식n(n+1)2\frac{n(n+1)}{2} (독립 성분)
  • 기호 의미nn = 변수 개수. 대칭이라 위쪽 삼각 부분만 세면 되고, 그 개수가 1+2+⋯+n=n(n+1)/21+2+\cdots+n = n(n+1)/2개. 예: 2변수 → 3개, 3변수 → 6개.
  • 수식nn (행·열 개수)
  • 기호 의미nn = 변수 개수. 헤시안이 n×nn \times n이므로 "행이 몇 개? 열이 몇 개?" 둘 다 nn.
  • 수식고유값 판별
  • 기호 의미λ\lambda = 헤시안의 고유값(그 점에서 휘어짐의 정도). 모두 양수 → 밥그릇처럼 아래로만 휘어져 극소, 모두 음수 → 위로만 휘어져 극대, 양수·음수 섞임 → 한쪽은 올라가고 한쪽은 내려가 안장점.
  • 수식xk+1=xk−H−1∇f(xk)\mathbf{x}_{k+1} = \mathbf{x}_k - \mathbf{H}^{-1} \nabla f(\mathbf{x}_k)
  • 기호 의미xk\mathbf{x}_k = 지금 위치, xk+1\mathbf{x}_{k+1} = 한 스텝 뒤 위치. H\mathbf{H} = 그 점에서의 헤시안(휘어짐 표), H−1\mathbf{H}^{-1} = 그 표의 역행렬. ∇f(xk)\nabla f(\mathbf{x}_k) = 그 점에서의 기울기. "기울기와 휘어짐을 보고 한 번에 바닥 쪽으로 점프"하는 식입니다.
  • 수식x1=x0−f′(x0)f′′(x0)x_1 = x_0 - \frac{f^{\prime}(x_0)}{f^{\prime\prime}(x_0)}
  • 기호 의미x0x_0 = 지금 위치, x1x_1 = 한 스텝 뒤. f′(x0)f^{\prime}(x_0) = 그 점에서의 기울기(1계 도함수), f′′(x0)f^{\prime\prime}(x_0) = 그 점에서의 2계 도함수(1변수일 때 헤시안 역할). f(x)=ax2+bx+cf(x)=ax^2+bx+c면 f′′=2af^{\prime\prime}=2a로 상수.
  • 수식f′′(x)=2af^{\prime\prime}(x)=2a (f(x)=ax2+bx+cf(x)=ax^2+bx+c)
  • 기호 의미f′′f^{\prime\prime} = 두 번 미분한 값(2계 도함수). aa는 x2x^2 앞에 곱해진 수. 이차식은 두 번 미분하면 xx가 사라지고 상수 2a2a만 남습니다.
  • 수식∇f=0\nabla f = \mathbf{0} (정류점)
  • 기호 의미∇f\nabla f = 기울기(모든 변수 방향의 1계 미분을 모은 벡터). 0\mathbf{0} = "기울기가 0"인 상태. 기울기가 0인 점이 극소·극대·안장의 후보가 되고, 헤시안 고유값으로 셋 중 어떤지 판별합니다.

풀이 예시

예시 1 — 성분 개수
문제: f(x1,x2)f(x_1, x_2)의 헤시안 성분 개수는?
풀이: 변수가 2개이면 헤시안은 2행 2열 표(행렬)가 됩니다. 칸 수는 2×2=42 \times 2 = 4개. 한편 대칭이라 H12=H21H_{12}=H_{21}처럼 같은 값이 있어서, 서로 다른 칸만 세면 H11H_{11}, H12H_{12}, H22H_{22} 3개입니다.
→ 총 개수를 묻면 4, 독립 성분 개수를 묻으면 3.
예시 2 — 극소 판별
문제: 헤시안 고유값이 2와 5일 때, 그 점은 극소·극대·안장 중 무엇?
풀이: 고유값이 둘 다 양수이면 그 점에서 곡면이 모든 방향으로 아래로 휘어져 밥그릇 모양입니다. 따라서 극소점.
→
①극소
②극대
③안장 중 1번(극소) 선택.
예시 3 — 극대 판별
문제: 헤시안 고유값이 −1-1과 −3-3일 때, 그 점은?
풀이: 고유값이 둘 다 음수이면 그 점에서 곡면이 모든 방향으로 위로 휘어져 엎어놓은 그릇 꼭대기 모양입니다. 극대점.
→ 2번(극대) 선택.
예시 4 — 안장점 판별
문제: 헤시안 고유값이 22와 −1-1일 때, 그 점은?
풀이: 고유값에 양수와 음수가 둘 다 있으면 한 방향으로는 올라가고 다른 방향으로는 내려가는 점입니다. 안장점.
→ 3번(안장) 선택.
예시 5 — 2계 도함수 값
문제: f(x)=3x2+2x+1f(x)=3x^2+2x+1일 때 f′′(x)f^{\prime\prime}(x)는?
풀이: 이차식 ax2+bx+cax^2+bx+c에서 x2x^2 계수는 a=3a=3. 2계 도함수는 f′′(x)=2a=2×3=6f^{\prime\prime}(x)=2a=2 \times 3 = 6으로, xx와 무관한 상수입니다.
→ 정답 6.
예시 6 — 뉴턴법 (1변수)
문제: f(x)=x2f(x)=x^2, x0=4x_0=4에서 뉴턴법 한 스텝 후 x1x_1은?
풀이: 1변수일 때 한 스텝 공식은 x1=x0−f′(x0)f′′(x0)x_1 = x_0 - \frac{f^{\prime}(x_0)}{f^{\prime\prime}(x_0)}. f′(x)=2xf^{\prime}(x)=2x, f′′(x)=2f^{\prime\prime}(x)=2이므로 x0=4x_0=4에서 f′(4)=8f^{\prime} (4) =8, f′′(4)=2f^{\prime\prime} (4) =2. 따라서 x1=4−8/2=0x_1 = 4 - 8/2 = 0.
→ 정답 0.
예시 7 — 정의(O/X)
문제: "헤시안의 고유값이 모두 양수이면 그 점은 극소점이다"가 맞으면 1, 틀리면 0.
풀이: 맞는 설명입니다. 고유값이 모두 양수일 때 곡면이 모든 방향으로 아래로 휘어져 극소점이 됩니다.
→ 정답 1.

문제

아래 지시를 읽고 답(정수)을 구한 뒤 빈 칸(?)에 입력하세요.

다음 질문에 해당하는 보기를 고르세요.
①극소
②극대
③안장 중 하나의 번호(1, 2, 3)를 입력하세요.
(헤시안 고유값·정의 관련 질문)
1 / 10