泛化是指模型很好地拟合以前未见过的新数据（从用于创建该模型的同一分布中抽取）的能力。
泛化
概览
- 目标：针对从真实分布（已隐藏）中抽取的新数据做出良好预测。
- 问题：我们无法了解事实。
- 我们只能从中抽样。
概览
- 目标：针对从真实分布（已隐藏）中抽取的新数据做出良好预测。
- 问题：我们无法了解事实。
- 我们只能从中抽样。
- 如果模型 h 在拟合我们的当前样本方面表现良好，那么我们如何相信该模型会对其他新样本做出良好预测呢？
我们如何得知自己的模型是否出色？
- 理论上：
- 有趣的领域：泛化理论
- 基于衡量模型简单性/复杂性的想法
- 直觉：奥卡姆剃刀定律的形式化
- 模型越简单，良好的实证结果就越有可能不仅仅基于样本的特性
我们如何得知自己的模型是否出色？
- 经验：
- 提问：我们的模型能否在新的数据样本上表现良好？
- 评估：获取新的数据样本 - 称为测试集
- 一般来说，在测试集上表现是否良好是衡量能否在新数据上表现良好的有用指标：
- 如果测试集足够大
- 如果我们不反复使用相同的测试集来作假
机器学习细则
以上所有情况的三项基本假设：
- 我们从分布中随机抽取独立同分布 (i.i.d.) 的样本
- 分布是平稳的：分布不会随时间发生变化
- 我们始终从同一分布中抽取样本：包括训练集、验证集和测试集