数据集、泛化与过拟合：简介#
预计整个模块学习时长： 105 分钟
学习目标：
说出数据与数据集的四个不同特征。
说出至少四种导致数据不可靠的成因。
判断什么时候该丢弃缺失数据、什么时候该插补。
区分直接标签与派生标签。
说出两种提升人工评分标签质量的做法。
解释为什么要把数据集拆成训练集、验证集和测试集，并指出数据划分中一个潜在问题。
解释过拟合，并说出它的三种可能成因。
解释正则化的概念，具体包括：
偏差与方差（对离群值的过度适应……）
$L_2$ 正则化，包括 Lambda（正则化系数）
早停（Early stopping）
解读不同类型的损失曲线；在损失曲线中识别收敛与过拟合。
先修要求：
本模块假设你已经熟悉以下模块中介绍的概念：
这一讲要从两个问题开始——不妨先动手选一选，选完再看解析。
先回答第一个问题#
假如在你的机器学习项目里，只能挑一个方向优先改进，下面哪一个影响最大？
改进数据集的质量
给模型训练换用更聪明的损失函数
点击查看答案
改进数据集的质量。 因为数据胜过一切。数据集的质量和规模，比你用哪个光鲜亮丽的算法来建模，要重要得多。
尽管改进损失函数确实有帮助，因为一个更好的损失函数能让模型训练得更快，但在这张清单上，它只能排在很靠后的位置。
再来一个更有引导性的问题#
凭直觉猜一猜：在你的机器学习项目里，通常要花多少时间在数据准备与转换上？
超过项目时间的一半
不到项目时间的一半
点击查看答案
超过项目时间的一半 。是的，机器学习从业者把大部分时间都花在构建数据集和做特征工程上。
不到项目时间的一半，这个预期需要往后调。通常，一个机器学习项目里，通常有 80% 的时间花在构建数据集和转换数据上。
两个问题指向同一个答案。这一模块里，你将学到更多关于机器学习数据集自身有哪些特征、以及怎样准备数据，才能确保在训练和评估模型时拿到高质量的结果。