Chapter 02

指数与指数函数

指数表示同一数连乘的次数,指数函数则是把这一规则写成变量的函数。深度学习中的激活与损失设计会用到。

home.mathDiagramTitle

home.mathDiagramDescription

0123024681012xy(x=0.0, y=1.0)

例:20=12^0=121=22^1=222=42^2=423=82^3=8

什么是指数与指数函数

指数表示「同一个数乘了多少次」。例如:2 乘 3 次是 23=2×2×2=82^3 = 2 \times 2 \times 2 = 8,这里的 3 就是指数(exponent)。
指数函数是固定底数(base)aa,对输入 xx 输出 axa^x 的函数,写成 y=axy = a^xa>0a > 0a1a \neq 1)。a>1a > 1 时随 xx 增大而增大,0<a<10 < a < 1 时随 xx 增大而减小。
自然常数 ee(约 2.718…)是数学和深度学习中常用的特殊底数。描述「自然增长」时会自然出现,且 exe^x 求导仍是 exe^x,式子更简洁。Softmax概率模型中常以 eze^z 的形式用于激活与概率计算。
AI指数函数用于激活函数(如 softmax 里的 exe^x)和损失、概率设计。与对数结合可以把乘法变成加法,便于计算。
深度学习里的softmax会对每个输出用 eze^z(分数 zz)变成类似概率的形式。不懂指数就很难读懂「为什么这样算」。掌握指数与对数有助于理解激活与损失设计。
损失函数概率模型里常出现含指数的式子。掌握基础数学里的指数与指数函数,就更容易看清在哪儿怎么被使用。
AI指数函数用来「输入一个分数(数),输出一个正数」。softmax对每个分数做 eze^z,使总和为 1,再从中选一个。掌握指数就能读懂这一过程。
202^01
212^12
222^24
232^38
242^416
323^29
333^327
下图中 y=2xy = 2^xx=0x=0 时为 11x=1x=1 时为 22x=2x=2 时为 44x=3x=3 时为 88。可用图直观理解底数与指数的关系。