大家的AI
机器学习AI论文
Loading...

学习

🏅我的成就

Chapter 02

指数与指数函数：增长与激活的数学

指数表示同一数连乘的次数，指数函数则是把这一规则写成变量的函数。深度学习中的激活与损失设计会用到。

按章节的数学图示

选择章节后，下方图示会切换为该章节内容。可一览基础数学的脉络。

0123024681012xy(x=0.0, y=1.0)

例：20=12^0=120=1，21=22^1=221=2，22=42^2=422=4，23=82^3=823=8

什么是指数与指数函数

指数表示把某数（底）连乘若干次的运算。就像「纸折 42 次能从地球到月球」那样，用乘法（×\times×）而不是加法（+++）连接，所以具有爆炸式增长（指数增长）的性质。
指数函数是把「连乘次数」写成变量 xxx 的函数 y=axy = a^xy=ax。多项式里变量在底（如 x2x^2x2），指数函数里变量在指数上，表示「按当前大小成比例增长」。a>1a>1a>1 时随 xxx 增大值会急剧上升（指数增长），0<a<10<a<10<a<1 时迅速趋近 0（指数衰减，Exponential Decay）。放射性衰变、利息计算中的「半衰期」就是指数衰减的典型例子。
自然常数 eee（约 2.718…）是数学和 AI 里最重要的底。y=exy=e^xy=ex 是唯一「求导后还是自己」的函数，这一不变性让深度学习里大量求导变得简单，计算量大幅下降。
在 AI 里用作激活函数的原料。仅靠线性运算（ax+bax+bax+b）无法解决复杂问题，所以用指数函数把信号「掰弯」（非线性），或把输出平滑地压到 0 与 1 之间再往下传。
因为恒为正。指数函数 y=axy=a^xy=ax 的图象总在 xxx 轴上方，任意实数 xxx 代入后 yyy 都大于 0。AI 不可能说「概率是 -50%」，所以要把输出变成大于 0 的「概率」或正数时，指数函数必不可少。
因为能放大微小差异。输入 1 和 2 只差 1，取指数后 101=1010^1=10101=10 与 102=10010^2=100102=100 差 90 倍。AI 用这一性质把模棱两可的两种数据拉开差距，实现明确分类。
因为求导计算高效。深度学习训练（反向传播）是一连串求导，exe^xex 求导后形式不变或仍很简洁，对加快、稳定训练至关重要。
用在 Softmax 里。AI 从 1000 张图中选一张时，对每个候选的分数取指数 exe^xex，分数稍高者会变大、低者趋近 0，从而能自信地说「这是答案的概率为 99%」。
Sigmoid 把输入压到 0 和 1 之间，公式 y=11+e−xy = \frac{1}{1+e^{-x}}y=1+e−x1​ 里含有指数。这样无论输入多大都不超过 1、多小都不小于 0，相当于神经元的开（1）关（0）。
  • 式202^020
  • 值1
  • 式212^121
  • 值2
  • 式222^222
  • 值4
  • 式232^323
  • 值8
  • 式242^424
  • 值16
  • 式323^232
  • 值9
  • 式333^333
  • 值27
式值
202^0201
212^1212
222^2224
232^3238
242^42416
323^2329
333^33327
下图中 y=2xy = 2^xy=2x 在 x=0x=0x=0 时为 111，x=1x=1x=1 时为 222，x=2x=2x=2 时为 444，x=3x=3x=3 时为 888。可用图直观理解底数与指数的关系。
题型与解法
  • 类型求值
  • 说明ax=?a^x = ?ax=?
  • 如何得出答案底 aaa 连乘 xxx 次。例：23=82^3 = 823=8。
  • 类型求指数
  • 说明a?=值a^? = \text{值}a?=值
  • 如何得出答案「aaa 乘几次得到该值？」次数即为答案。例：2?=8⇒32^? = 8 \Rightarrow 32?=8⇒3。
  • 类型比较大小
  • 说明1) ama^{m}am 与 2) bnb^{n}bn 哪个大
  • 如何得出答案
    分别计算后比较。若
    (1) 大填 1，若
    (2) 大填 2。
  • 类型同底相乘
  • 说明ap×aq=a?a^p \times a^q = a^?ap×aq=a?
  • 如何得出答案指数相加：?=p+q? = p + q?=p+q。（法则：ap⋅aq=ap+qa^p \cdot a^q = a^{p+q}ap⋅aq=ap+q）
  • 类型同底相除
  • 说明ap÷aq=a?a^p \div a^q = a^?ap÷aq=a?（p≥qp \ge qp≥q）
  • 如何得出答案指数相减：?=p−q? = p - q?=p−q。（法则：ap/aq=ap−qa^p / a^q = a^{p-q}ap/aq=ap−q）
  • 类型幂的幂
  • 说明(ap)q=?(a^p)^q = ?(ap)q=?
  • 如何得出答案指数相乘：?=ap×q? = a^{p \times q}?=ap×q。（法则：(ap)q=apq(a^p)^q = a^{pq}(ap)q=apq）
类型说明如何得出答案
求值ax=?a^x = ?ax=?底 aaa 连乘 xxx 次。例：23=82^3 = 823=8。
求指数a?=值a^? = \text{值}a?=值「aaa 乘几次得到该值？」次数即为答案。例：2?=8⇒32^? = 8 \Rightarrow 32?=8⇒3。
比较大小1) ama^{m}am 与 2) bnb^{n}bn 哪个大
分别计算后比较。若
(1) 大填 1，若
(2) 大填 2。
同底相乘ap×aq=a?a^p \times a^q = a^?ap×aq=a?指数相加：?=p+q? = p + q?=p+q。（法则：ap⋅aq=ap+qa^p \cdot a^q = a^{p+q}ap⋅aq=ap+q）
同底相除ap÷aq=a?a^p \div a^q = a^?ap÷aq=a?（p≥qp \ge qp≥q）指数相减：?=p−q? = p - q?=p−q。（法则：ap/aq=ap−qa^p / a^q = a^{p-q}ap/aq=ap−q）
幂的幂(ap)q=?(a^p)^q = ?(ap)q=?指数相乘：?=ap×q? = a^{p \times q}?=ap×q。（法则：(ap)q=apq(a^p)^q = a^{pq}(ap)q=apq）