数据集、泛化和过拟合

预计单元时间：105 分钟

学习目标

• 识别数据和数据集的四个不同特征。
• 找出至少四种导致数据不可靠性的不同原因。
• 确定何时舍弃缺失数据以及何时对其进行估算。
• 区分直接标签和派生标签。
• 指出提高人工评分质量的两种不同方法 标签。
• 解释为什么将数据集细分为训练集、验证集 和测试集；识别数据拆分中的潜在问题。
• 解释过拟合并确定其三个可能的原因。
• 解释正则化的概念。具体来说，请说明以下各项：
  • 偏差与方差（适应离群值...）
  • L₂ 正则化，包括 Lambda（正则化） 利率）
  • 早停法
• 解读不同类型的损失曲线；检测收敛和 出现过拟合。

前提条件：

本单元假定您熟悉 以下模块：

• 机器学习简介
• 线性回归
• 处理数值数据
• 使用分类数据

简介

本单元以一个引导性问题开头。请从以下选项中选择一项：

如果您必须优先改进机器学习项目中的以下某个方面，哪个方面的影响最大？

提高数据集的质量

数据胜过一切。 数据集的质量和大小比 用于构建模型的闪亮算法。

对模型训练应用更巧妙的损失函数

没错，更好的损失函数可以帮助模型更快地训练，但与此列表中的另一项相比，它仍然远远落后。

还有一个更重要的问题：

猜猜看：在您的机器学习项目中， 您通常花在数据准备和转换上吗？

超过项目时间的一半

是的，机器学习从业者会花费大部分时间构建数据集和进行特征工程。

不到项目时间的一半

制定更多计划！通常情况下，80% 的时间用于机器学习 用于构建数据集和转换数据。

在本单元中，您将详细了解机器学习 以及如何准备数据，以确保在 来训练和评估模型。

帮助中心