大家的AI

Chapter 12

均匀分布与正态分布

均匀分布在区间上均匀分布概率，正态分布围绕均值呈钟形。在 AI 中用于初始化、噪声与先验。

home.mathDiagramTitle

home.mathDiagramDescription

均匀分布与正态分布

均匀分布在区间上均匀分布概率，正态分布围绕均值呈钟形。在 AI 中用于初始化、噪声与先验。

均匀分布与正态分布

均匀分布和正态分布是最常用的两种连续分布，其形状由 Ch10–Ch11 的均值与方差决定。
均匀分布 — 在区间 [a,b][a,b] 内等高分布。密度 f(x)=1/(b−a)f(x) = 1/(b-a)（a≤x≤ba \le x \le b）。像骰子某一面那样「均匀」出现时使用。
均匀分布的均值为 (a+b)/2(a+b)/2，方差为 (b−a)2/12(b-a)^2/12。区间中心为均值，区间越宽方差越大。
正态分布 — 由均值 μ\mu 和标准差 σ\sigma 两个参数决定。密度 f(x)=1σ2π e−(x−μ)2/(2σ2)f(x) = \frac{1}{\sigma\sqrt{2\pi}}\,e^{-(x-\mu)^2/(2\sigma^2)}。测量误差、身高、分数等集中在均值附近时很适用。
钟形曲线 — 正态分布在均值处最高，向两侧递减呈钟形。关于 μ\mu 对称，约 68% 在 μ±σ\mu \pm \sigma，约 95% 在 μ±2σ\mu \pm 2\sigma。
为何是这两种？ — 均匀用于「无先验信息」时的初值、先验；正态用于误差与噪声，且中心极限定理（大量独立和的平均趋近正态）使二者在 AI 与统计中极为常见。
先验 — 贝叶斯中「无信息」时常用均匀，对均值、方差有信念时用正态。
噪声与误差 — 回归误差、VAE 与扩散模型的噪声常设为正态。形式简单且与中心极限一致。
中心极限定理 — 独立试验很多时样本均值趋近正态，因此置信区间、假设检验都以正态为基础。
深度学习与机器学习 — 权重初始化（均匀/正态）、 dropout 与噪声（正态）、VAE 潜在空间（正态）、扩散模型（高斯）等都会用到。
初始化 — 权重从均匀或正态中采样。过大或偏斜会导致训练不稳定，通常使用小方差正态。
噪声 — VAE 从正态中采样潜在向量；扩散模型逐步加入再去除高斯噪声。
回归 — 假设误差为正态时，最小二乘(OLS)等价于最大似然。预测区间用 μ±kσ\mu \pm k\sigma。
贝叶斯 — 先验常用均匀或正态，观测后求后验。神经网络权重也可设正态先验。
数学脉络 — Ch10 随机变量与分布、Ch11 均值与方差，Ch12 学习两种具体分布（均匀、正态）。掌握后更容易理解 AI 论文中的「初始化」「噪声」「先验」。
均匀 — 区间 [a,b][a,b] 上密度 1/(b−a)1/(b-a)，均值 (a+b)/2(a+b)/2，方差 (b−a)2/12(b-a)^2/12。正态 — 均值 μ\mu，方差 σ2\sigma^2，区间概率查标准正态表或计算器。
例（均匀）. 区间 [0,6][0,6] 上均匀分布则均值为 33，方差 36/12=336/12=3，标准差 3\sqrt{3}。
例（正态）. 均值 7070、标准差 1010 的正态分布中，约 68% 在 60∼8060\sim80，约 95% 在 50∼9050\sim90。