모두의 AI
머신러닝AI논문
Loading...

배우기

🏅내 업적

Chapter 02

지수와 지수함수: 성장과 활성화의 수학

지수는 같은 수를 거듭 곱한 횟수를 나타내고, 지수함수는 그 규칙을 변수로 쓴 함수예요. 딥러닝의 활성화 함수·손실 설계에서 쓰입니다.

챕터별 수학 도식화

챕터를 선택하면 아래 도식이 해당 챕터 내용으로 바뀌어요. 기초 수학 흐름을 한눈에 보세요.

0123024681012xy(x=0.0, y=1.0)

예: 20=12^0=120=1, 21=22^1=221=2, 22=42^2=422=4, 23=82^3=823=8

지수와 지수함수란 무엇인가

지수(Exponent)는 어떤 수(밑, Base)를 횟수(지수)만큼 거듭해서 곱하는 연산입니다. 종이를 42번만 접으면 지구에서 달까지 닿는다는 말처럼, 더하기(+++)가 아닌 곱하기(×\times×)로 연결되어 수가 폭발적으로 커지는(Exponential Growth) 성질을 가집니다.
지수함수는 이 거듭제곱의 횟수를 변수 xxx로 둔 함수(y=axy = a^xy=ax)입니다. 다항함수(x2x^2x2)는 변수가 밑에 있지만, 지수함수는 변수가 머리 위에 있습니다. 이는 '현재 크기에 비례해서 성장한다'는 뜻입니다. a>1a>1a>1이면 xxx가 커질수록 값이 하늘을 뚫을 듯 치솟고(지수적 성장), 0<a<10<a<10<a<1이면 xxx가 커질수록 값이 바닥에 닿을 듯 빠르게 0으로 줄어듭니다(지수적 감쇄, Exponential Decay). 방사성 붕괴나 이자 계산에서 '반감기'가 바로 이 지수적 감쇄의 예예요.
자연상수 eee (약 2.718...)는 수학과 AI에서 가장 중요한 밑입니다. y=exy=e^xy=ex 함수는 미분(기울기 계산)을 해도 자기 자신이 그대로 나오는 유일한 함수입니다. 이 '변치 않는 성질' 덕분에 딥러닝에서 복잡한 미분 계산을 할 때 계산량을 획기적으로 줄여주는 마법 같은 존재입니다.
인공지능에서는 활성화 함수(Activation Function)의 재료로 쓰입니다. 선형적인 계산(ax+bax+bax+b)만으로는 복잡한 문제를 풀 수 없기에, 지수함수를 이용해 신호를 확 꺾거나(비선형성), 값을 0과 1 사이로 부드럽게 압축하여 전달하는 역할을 합니다.
항상 양수(Positive)이기 때문입니다. 지수함수 y=axy=a^xy=ax의 그래프는 항상 xxx축 위에 떠 있습니다. 즉, 어떤 실수(xxx)를 넣어도 결과(yyy)는 무조건 0보다 큽니다. AI가 사진을 보고 "확률이 -50%야"라고 할 수는 없으므로, AI의 출력값을 0보다 큰 '확률'이나 '양의 값'으로 바꿀 때 지수함수가 필수적입니다.
작은 차이를 극대화할 수 있습니다. 입력이 1과 2일 때 그냥 보면 1 차이지만, 지수를 취하면 101=1010^1=10101=10과 102=10010^2=100102=100으로 차이가 90배 벌어집니다. AI는 이 성질을 이용해 애매하게 비슷한 두 데이터의 차이를 확 벌려서, 정답을 확실하게 구분(Classification)해냅니다.
미분 계산의 효율성 때문입니다. 딥러닝 학습(역전파)은 수많은 미분 계산의 연속인데, 지수함수(exe^xex)는 미분해도 모양이 바뀌지 않거나(exe^xex), 아주 간단한 형태(exe^xex를 포함한 식)로 정리됩니다. 이는 컴퓨터가 학습 속도를 높이는 데 결정적인 도움을 줍니다.
소프트맥스(Softmax) 함수에 쓰입니다. AI가 1000장의 사진 중 하나를 고를 때, 각 후보의 점수에 지수(exe^xex)를 취합니다. 그러면 점수가 조금이라도 높은 후보의 값은 확 커지고, 낮은 후보는 0에 가깝게 줄어듭니다. 이를 통해 AI는 '이것이 정답일 확률이 99%다'라고 자신 있게 말할 수 있게 됩니다.
시그모이드(Sigmoid) 함수는 입력값을 0과 1 사이로 압축합니다. 수식 y=11+e−xy = \frac{1}{1+e^{-x}}y=1+e−x1​에 지수함수가 숨어 있습니다. 입력값이 아무리 커도 1을 넘지 않고, 아무리 작아도 0보다 작아지지 않게 만들어주어, 뉴런이 전기를 켤지
(1) 말지(0) 결정하는 스위치 역할을 합니다.
  • 식202^020
  • 값1
  • 식212^121
  • 값2
  • 식222^222
  • 값4
  • 식232^323
  • 값8
  • 식242^424
  • 값16
  • 식323^232
  • 값9
  • 식333^333
  • 값27
식값
202^0201
212^1212
222^2224
232^3238
242^42416
323^2329
333^33327
아래 비주얼처럼 y=2xy = 2^xy=2x에서 x=0x=0x=0이면 111, x=1x=1x=1이면 222, x=2x=2x=2이면 444, x=3x=3x=3이면 888이에요. 밑과 지수의 관계를 눈으로 확인해 보세요.
문제 유형별 풀이
  • 유형값 구하기
  • 설명ax=?a^x = ?ax=?
  • 정답 구하는 법밑 aaa를 지수 xxx번 곱한 값. 예: 23=82^3 = 823=8.
  • 유형지수 구하기
  • 설명a?=값a^? = \text{값}a?=값
  • 정답 구하는 법"aaa를 몇 번 곱하면 이 값이 되나?" 횟수가 정답. 예: 2?=8⇒32^? = 8 \Rightarrow 32?=8⇒3.
  • 유형크기 비교
  • 설명1) ama^{m}am, 2) bnb^{n}bn 중 큰 쪽
  • 정답 구하는 법각각 계산한 뒤 크기 비교. 큰 쪽이 1이면 1, 2면 2 입력.
  • 유형같은 밑의 곱
  • 설명ap×aq=a?a^p \times a^q = a^?ap×aq=a?
  • 정답 구하는 법지수의 곱이 아니라 지수의 합: ?=p+q? = p + q?=p+q. (법칙: ap⋅aq=ap+qa^p \cdot a^q = a^{p+q}ap⋅aq=ap+q)
  • 유형같은 밑의 나눗셈
  • 설명ap÷aq=a?a^p \div a^q = a^?ap÷aq=a? (p≥qp \ge qp≥q)
  • 정답 구하는 법지수의 차: ?=p−q? = p - q?=p−q. (법칙: ap/aq=ap−qa^p / a^q = a^{p-q}ap/aq=ap−q)
  • 유형거듭제곱의 거듭제곱
  • 설명(ap)q=?(a^p)^q = ?(ap)q=?
  • 정답 구하는 법지수의 곱으로 한 번에: ?=ap×q? = a^{p \times q}?=ap×q. (법칙: (ap)q=apq(a^p)^q = a^{pq}(ap)q=apq)
유형설명정답 구하는 법
값 구하기ax=?a^x = ?ax=?밑 aaa를 지수 xxx번 곱한 값. 예: 23=82^3 = 823=8.
지수 구하기a?=값a^? = \text{값}a?=값"aaa를 몇 번 곱하면 이 값이 되나?" 횟수가 정답. 예: 2?=8⇒32^? = 8 \Rightarrow 32?=8⇒3.
크기 비교1) ama^{m}am, 2) bnb^{n}bn 중 큰 쪽각각 계산한 뒤 크기 비교. 큰 쪽이 1이면 1, 2면 2 입력.
같은 밑의 곱ap×aq=a?a^p \times a^q = a^?ap×aq=a?지수의 곱이 아니라 지수의 합: ?=p+q? = p + q?=p+q. (법칙: ap⋅aq=ap+qa^p \cdot a^q = a^{p+q}ap⋅aq=ap+q)
같은 밑의 나눗셈ap÷aq=a?a^p \div a^q = a^?ap÷aq=a? (p≥qp \ge qp≥q)지수의 차: ?=p−q? = p - q?=p−q. (법칙: ap/aq=ap−qa^p / a^q = a^{p-q}ap/aq=ap−q)
거듭제곱의 거듭제곱(ap)q=?(a^p)^q = ?(ap)q=?지수의 곱으로 한 번에: ?=ap×q? = a^{p \times q}?=ap×q. (법칙: (ap)q=apq(a^p)^q = a^{pq}(ap)q=apq)