逻辑回归会生成一个概率（介于 0 和 1 之间，不包含 0 和 1），而不是精确预测 0 或 1。例如，考虑用于检测垃圾内容的逻辑回归模型。如果模型针对特定电子邮件推断出值为 0.932，则表示电子邮件是垃圾邮件的概率为 93.2%。更确切地说，这意味着在无限训练样本的极限情况下，模型预测其值为 0.932 的这组样本实际上有 93.2% 是垃圾邮件，其余 6.8% 不是垃圾邮件。
逻辑回归
预测掷硬币的情况？
- 设想预测弯曲的硬币正面朝上的概率问题
- 您可以使用弯曲角度、硬币质量等功能。
- 您可以使用的最简单的模型是什么？
- 什么情况下可能会发生问题？
逻辑回归
- 许多问题需要将概率估算值作为输出
- 输入逻辑回归
逻辑回归
- 许多问题需要将概率估算值作为输出
- 输入逻辑回归
- 很方便，因为概率估算值已经过校准
- 例如，p（房屋出售）* 价格 = 预期结果
逻辑回归
- 许多问题需要将概率估算值作为输出
- 输入逻辑回归
- 很方便，因为概率估算值已经过校准
- 例如，p（房屋出售）* 价格 = 预期结果
- 这在我们需要二元分类时也很有用
- 是垃圾邮件还是非垃圾邮件？→ p（垃圾邮件）
逻辑回归 - 预测
$$ y' = \frac{1}{1 + e^{-(w^Tx+b)}} $$
\(\text{Where:} \) \(x\text{: Provides the familiar linear model}\) \(1+e^{-(...)}\text{: Squish through a sigmoid}\)
已定义的对数损失
$$ LogLoss = \sum_{(x,y)\in D} -y\,log(y') - (1 - y)\,log(1 - y') $$
逻辑回归和正则化
- 正则化对于逻辑回归来说非常重要。
- 记住渐近线
- 在高维度下它会不断尝试损失到 0
逻辑回归和正则化
- 正则化对于逻辑回归来说非常重要。
- 记住渐近线
- 在高维度下它会不断尝试损失到 0
- 两种策略尤其有用：
- L2 正则化（也称为 L2 权重衰减）- 降低超权重。
- 早停法 - 限制训练步骤或学习速率。
线性逻辑回归
- 线性逻辑回归极其高效。
- 训练和预测速度非常快。
- 短 / 宽模型占用大量 RAM。