Chapter 02
指数与指数函数
指数表示同一数连乘的次数,指数函数则是把这一规则写成变量的函数。深度学习中的激活与损失设计会用到。
home.mathDiagramTitle
home.mathDiagramDescription
例:,,,
什么是指数与指数函数
指数表示「同一个数乘了多少次」。例如:2 乘 3 次是 ,这里的 3 就是指数(exponent)。
指数函数是固定底数(base),对输入 输出 的函数,写成 (,)。 时随 增大而增大, 时随 增大而减小。
自然常数 (约 2.718…)是数学和深度学习中常用的特殊底数。描述「自然增长」时会自然出现,且 求导仍是 ,式子更简洁。Softmax和概率模型中常以 的形式用于激活与概率计算。
在AI里指数函数用于激活函数(如 softmax 里的 )和损失、概率设计。与对数结合可以把乘法变成加法,便于计算。
深度学习里的softmax会对每个输出用 (分数 )变成类似概率的形式。不懂指数就很难读懂「为什么这样算」。掌握指数与对数有助于理解激活与损失设计。
损失函数和概率模型里常出现含指数的式子。掌握基础数学里的指数与指数函数,就更容易看清在哪儿、怎么被使用。
在AI里指数函数用来「输入一个分数(数),输出一个正数」。softmax对每个分数做 ,使总和为 1,再从中选一个。掌握指数就能读懂这一过程。
| 式 | 值 |
|---|---|
| 1 | |
| 2 | |
| 4 | |
| 8 | |
| 16 | |
| 9 | |
| 27 |
下图中 在 时为 , 时为 , 时为 , 时为 。可用图直观理解底数与指数的关系。