大家的AI
机器学习AI论文
加载中…

学习

🏅我的成就

Ch.05

逻辑回归 (Logistic Regression)：及格还是不及格？

线性回归预测「分数」，逻辑回归则专门做 是/否 分类——例如「这个分数算及格
(1) 还是不及格(0)？」。它用 Sigmoid 函数把分数变成 0～1 的概率。

按章节的机器学习图示

选择章节后，下方图示会切换为该章节内容。可一览机器学习脉络。

线性分数 zzz 越大，σ(z)\sigma(z)σ(z) 越接近 1，越判为 class 1。z=0z=0z=0 为决策边界。

z (线性分数)σ(z)0

Sigmoid：σ(z)=11+e−z\sigma(z) = \frac{1}{1+e^{-z}}σ(z)=1+e−z1​。z>0z>0z>0 时 y^=1\hat{y}=1y^​=1，z≤0z \le 0z≤0 时 y^=0\hat{y}=0y^​=0。

公式读法 — zzz 为很大负数时 e−ze^{-z}e−z 很大，σ(z)≈0\sigma(z) \approx 0σ(z)≈0。z=0z=0z=0 时 σ(0)=0.5\sigma(0)=0.5σ(0)=0.5。zzz 为很大正数时 e−z≈0e^{-z} \approx 0e−z≈0，σ(z)≈1\sigma(z) \approx 1σ(z)≈1。即该公式把任意 zzz 压成 0～1 之间的概率。

逻辑回归：及格还是不及格？

S 形曲线：Sigmoid — 线性模型算出的分数 zzz 可正可负、可很大。概率必须在 0～1 之间。Sigmoid σ(z)=11+e−z\sigma(z) = \frac{1}{1+e^{-z}}σ(z)=1+e−z1​ 把任意 zzz 映射到 (0, 1)。
决策边界 — Sigmoid 给出「及格概率 0.7」后，需要规则。通常取 0.5：概率 ≥ 0.5 预测 1（是），否则 0（否）。
内核与线性回归相同 — 逻辑回归仍先算分数 z=wx+bz = wx + bz=wx+b，区别只是多了一步：把 zzz 通过 Sigmoid 变成概率。
如何读 σ(z)=11+e−z\sigma(z) = \frac{1}{1+e^{-z}}σ(z)=1+e−z1​ — zzz 很大且为负时 e−ze^{-z}e−z 很大，σ(z)≈0\sigma(z) \approx 0σ(z)≈0。z=0z=0z=0 时 σ(0)=0.5\sigma(0)=0.5σ(0)=0.5。zzz 很大且为正时 e−z≈0e^{-z} \approx 0e−z≈0，σ(z)≈1\sigma(z) \approx 1σ(z)≈1。因此任意 zzz 都被压成 [0,1] 内的概率。
现实里大量是非题 — 是否垃圾邮件？是否患病？用户会不会买？二分类无处不在，逻辑回归是标准基线。
用数字表示置信度 — 说「及格概率 98%」比只说「及格」更有用。逻辑回归给出概率，便于决策。
通往深度学习的桥梁 — 神经网络中单个神经元的行为与逻辑回归非常相似。掌握它有助于后续理解深度学习。
垃圾邮件过滤 — 根据特征算「该邮件是垃圾邮件的概率」，超过阈值则判为垃圾。
医疗 AI — 根据影像或化验值预测「患病概率」，辅助诊断。
营销与推荐 — 预测「用户是否会流失」「是否会点击」等，用于定向与广告。
逻辑回归小结 — 用于二分类（是/否、及格/不及格）。先算线性分数 z=w1x1+w2x2+⋯+bz = w_1 x_1 + w_2 x_2 + \cdots + bz=w1​x1​+w2​x2​+⋯+b，再用 Sigmoid σ(z)=11+e−z\sigma(z) = \frac{1}{1+e^{-z}}σ(z)=1+e−z1​ 得到概率；概率 ≥ 0.5 预测 y^=1\hat{y}=1y^​=1，否则 y^=0\hat{y}=0y^​=0（z=0z=0z=0 为决策边界）。重要原因：很多实际任务是二分类；同时给出置信度（概率），也是理解深度学习神经元的基础。应用：垃圾邮件过滤、医疗辅助、营销（流失、点击预测）。解题流程：算 zzz → σ(z)\sigma(z)σ(z) → z>0z>0z>0 则 y^=1\hat{y}=1y^​=1，否则 y^=0\hat{y}=0y^​=0。具体例题见下方解题说明区块。