数据集、泛化与过拟合 - Google 机器学习速成课程配套中文解读 on 跟我学机器学习

数据集、泛化与过拟合：简介 - Google 机器学习速成课程配套中文解读

Thu, 22 Oct 2026 16:59:00 +0800

数据集、泛化与过拟合：简介#

预计整个模块学习时长： 105 分钟

学习目标：

说出数据与数据集的四个不同特征。

说出至少四种导致数据不可靠的成因。

判断什么时候该丢弃缺失数据、什么时候该插补。

区分直接标签与派生标签。

说出两种提升人工评分标签质量的做法。

解释为什么要把数据集拆成训练集、验证集和测试集，并指出数据划分中一个潜在问题。

解释过拟合，并说出它的三种可能成因。

解释正则化的概念，具体包括：

偏差与方差（对离群值的过度适应……）

$L_2$ 正则化，包括 Lambda（正则化系数）

早停（Early stopping）

解读不同类型的损失曲线；在损失曲线中识别收敛与过拟合。

先修要求：

本模块假设你已经熟悉以下模块中介绍的概念：

机器学习简介

线性回归

处理数值数据

处理类别型数据

这一讲要从两个问题开始——不妨先动手选一选，选完再看解析。

先回答第一个问题#

假如在你的机器学习项目里，只能挑一个方向优先改进，下面哪一个影响最大？

改进数据集的质量
给模型训练换用更聪明的损失函数

点击查看答案

改进数据集的质量。因为数据胜过一切。数据集的质量和规模，比你用哪个光鲜亮丽的算法来建模，要重要得多。

尽管改进损失函数确实有帮助，因为一个更好的损失函数能让模型训练得更快，但在这张清单上，它只能排在很靠后的位置。

再来一个更有引导性的问题#

凭直觉猜一猜：在你的机器学习项目里，通常要花多少时间在数据准备与转换上？

超过项目时间的一半
不到项目时间的一半

点击查看答案

超过项目时间的一半。是的，机器学习从业者把大部分时间都花在构建数据集和做特征工程上。

不到项目时间的一半，这个预期需要往后调。通常，一个机器学习项目里，通常有 80% 的时间花在构建数据集和转换数据上。

两个问题指向同一个答案。这一模块里，你将学到更多关于机器学习数据集自身有哪些特征、以及怎样准备数据，才能确保在训练和评估模型时拿到高质量的结果。

数据集：数据的特征 - Google 机器学习速成课程配套中文解读

Thu, 22 Oct 2026 17:15:00 +0800

数据集：数据的特征#

一个数据集，本质上就是一批样本的集合。

很多数据集会把数据存成表格（网格），即 $m$ 行样本 $n$ 列特征，比如逗号分隔的 CSV 文件，或者直接来自电子表格与数据库表。表格对机器学习模型来说是一种相当直观的输入格式：你可以把表格的每一行想成一个样本，每一列想成一个候选特征或标签。当然，数据集也可能来自其他形式，比如日志文件和 protocol buffer。

不管格式如何，模型的能力上限都不会超过它所训练的那份数据。这一节就来看看数据有哪几个关键特征。

数据的类型#

一个数据集里可能装着各种各样的数据类型，包括但不限于：

数值型数据，课程中有一个单独的小节专门讲它
类别型数据，同样在单独的小节里展开
人类语言，从单个词语、单句话，一直到整篇文本
多媒体，比如图像、视频和音频文件
其他 ML 系统的输出
嵌入向量，课程后面会有专门的小节介绍

数据的数量#

作为一条粗略的经验法则：模型可训练的参数有多少，样本数就至少要比它多一个数量级（最好两个）。不过实际情况是，好的模型往往用的样本远不止这个数。

在特征很少的大数据集上训练出来的模型，通常要优于在特征很多的小数据集上训练出来的模型。Google 长期以来就深谙此道——用简单的模型去喂海量的数据，往往能取得很好的效果。

不同的机器学习项目，需要的样本量可能相差得极其悬殊。有些相对简单的问题，几十个样本或许就够了；而另一些问题，一万亿个样本都可能不够用。

不过，如果你是在一个现成的模型上做微调，而且这个模型此前已经用同一套结构的海量数据训练过，那么小数据集也可能训出好结果。

数据的质量与可靠性#

人人都更喜欢高质量的数据，但「质量」这个概念实在太模糊了，可以被定义出无数种版本。课程在这里采用了一个务实的定义：

高质量的数据集，能帮助模型达成它的目标。

低质量的数据集，会妨碍模型达成它的目标。

高质量的数据集通常也是可靠的。可靠性指的是你能在多大程度上信任这份数据。用可靠数据训练出来的模型，比用不可靠数据训练出来的模型更有可能给出有用的预测。

要衡量可靠性，你需要弄清楚三件事：

标签错误的普遍程度有多大？比如，如果你的数据是人工标注的，人工标注者犯错的比例有多高？
你的特征是否有噪声？也就是说，特征里的数值本身是否含有错误？要现实一点——你不可能把数据集里的噪声全部清除干净。有些噪声是正常的；比如，任何位置的 GPS 测量值都会随时间有微小的波动。
数据是否针对你的问题做了恰当的筛选？比如，你的数据集里该不该包含来自爬虫的搜索查询？如果你在做垃圾邮件检测系统，那答案很可能是「该包含」；但如果你想改进的是面向真人的搜索结果，那就「不该包含」。

以下几种情况，是数据不可靠的常见成因：

值缺失。比如，某个人忘了填写房屋的年龄。
样本重复。比如，服务器误把同一批日志上传了两次。
特征值有误。比如，有人多敲了一个数字，或者温度计被落在了太阳底下。
标签有误。比如，有人把一张橡树的照片错标成了枫树。
数据中某一段整体有问题。比如，某个特征一向都很可靠，唯独网络持续崩溃的那一天出了岔子。

我们建议用自动化手段来标记不可靠的数据。例如，依赖外部正式数据结构信息的单元测试，就能把落在定义范围之外的值标出来。

注意： 任何足够大、足够多样的数据集，几乎必然包含落在你的数据结构信息或单元测试区间之外的异常值。如何处理这些异常值，本身就是机器学习的一道重要课题。数值型数据小节里详细讲了该怎么对付数值型异常值。

完整样本与不完整样本#

理想情况下，每个样本都是完整的，也就是说每个样本的每个特征都有值。

图 1. 一个完整的样本

遗憾的是，现实中的样本经常是不完整的，也就是至少有一个特征值缺失。

图 2. 一个不完整的样本

不要拿不完整的样本去训练模型。相反，应该用下面两种方式之一把它们修复或者剔除掉：

删除不完整的样本。
插补缺失值，也就是为那些缺失的值提供有依据的猜测，把不完整样本补成一个完整样本。

MLWM： 最简单的插值策略可以说最值、最大值、最小值等方法。

数据集：标签 - Google 机器学习速成课程配套中文解读

Sun, 25 Oct 2026 12:17:00 +0800

数据集：标签#

这一节，我们将聚焦于数据集中的「标签」。

直接标签与派生标签#

先把两种不同类型的标签摆在一起看：

直接标签，指的是与模型想要做的预测完全一致的那个标签。也就是说，模型要预测的东西，在你的数据集里原封不动地就躺着某一列。举个例子，一列叫 bicycle owner 的数据，对于一个「判断某人是否拥有自行车」的二分类模型来说，就是一个直接标签。
派生标签，指的是与模型想要做的预测相似，但并不相同——的标签。比如，一个人订阅了《Bicycle Bizarre》杂志，那他多半——但不一定——拥有自行车。

一般来说，直接标签要优于派生标签。如果你的数据集里提供了可行的直接标签，那大概就该用它。只是很多时候，直接标签并不存在。

派生标签永远是一种妥协——它是对直接标签的不完美近似。但也有不少派生标签近似得足够接近，照样能派上用场。用派生标签的模型，其效用上限就取决于派生标签与最终预测之间的关联到底有多紧密。

同时，别忘了每个标签都必须要表示成一个浮点数，这跟 特征向量 的情况是一样的（毕竟机器学习本质上就是一堆数学运算）。有时候，直接标签确实存在，却很难表示成一个浮点数——那就退一步，用派生标签。

练习：检验你的理解#

下面，我们再通过几个示例来理解一下。你的公司想做这样一件事：

给自行车车主邮寄优惠券（「购买自行车头盔立享 15% 折扣）。

那么，模型要做的就变成了：

预测出哪些人拥有自行车。

可惜的是，数据集里并没有一列叫 bike owner。不过倒是有那么一列，叫 recently bought a bicycle。

那么，recently bought a bicycle 对这个模型来说，是一个好的派生标签，还是一个差的派生标签？

人工生成的数据#

有些数据是人工生成的：由一个或多个人去检查某些信息，然后给出一个值，通常是标签。比如，一位或多位气象学家可以查看天空的照片，辨认出云的类型。

数据集：类别不平衡的数据集 - Google 机器学习速成课程配套中文解读

Sun, 25 Oct 2026 13:52:00 +0800

数据集：类别不平衡的数据集#

这一节的任务是回答下面三个问题：

类别平衡的数据集和类别不平衡的数据集，差别到底在哪？
为什么使用不平衡的数据集训练一个模型这么难？
该怎么绕开不平衡数据集带来的种种麻烦？

类别平衡与类别不平衡数据集#

先从一个熟悉的数据集说起。假设某份数据的标签是类别型的，取值只有「正类」和「负类」两种。

在这样一份数据中，如果正类和负类的数量大致相当——比如 235 个正类、247 个负类，此时我们就说它是一个类别平衡的数据集。

而在类别不平衡的数据集里，一个标签的出现频率会明显压过另一个。但是在真实世界中，类别不平衡的数据集远比类别平衡的常见：在信用卡交易数据里，欺诈交易可能连 0.1% 都占不到；在医疗诊断数据里，患某种罕见病毒的病人占比可能不到 0.01%。

在类别不平衡的数据集里：

出现更多的那个标签，叫做多数类（majority class）。
出现更少的那个标签，叫做少数类（minority class）。

使用不平衡数据集为什么这么难#

训练模型的目标是造出一个能把正类和负类分清楚的模型。要做到这一点，每个批次（batch）里都得同时含有足够多的正类样本和负类样本。

如果只是轻度不平衡，这倒不成什么问题——哪怕批次很小，通常也能凑齐正负两类样本。但一旦不平衡得很厉害，少数类的样本可能根本不够撑起一次像样的训练。

举个例子，图 6 展示的这份数据集：

200 个标签属于多数类。
2 个标签属于少数类。

图 6. 高度不平衡的花卉数据集，向日葵远多于玫瑰

如果批次大小是 20，大多数批次里一个少数类样本都没有；如果批次大小是 100，每个批次平均也只摊到 1 个少数类样本，这点量根本不够训练。就算把批次再放大，比例依旧悬殊，模型照样可能训不出来。

注意： 在类别不平衡的数据集上，准确率通常不是一个衡量模型好坏的好指标。细节可以看分类：准确率、召回率与精确率。

使用类别不平衡的数据集训练#

训练过程中，模型其实要同时学会两件事：

每个类别长什么样——也就是说，什么样的特征值对应什么类别。
每个类别有多常见——也就是说，各类之间的相对分布是什么样的。

常规的训练方式会把这两件事混在一起。而下面这个两步走的技巧——对多数类别下采样并上调其权重——能把它们拆开，让模型两个目标都能达成。

注意： 很多同学读到下面两节时会冒出这么一句：「这不对吧？」——先打个预防针：对多数类别样本下采样、再上调权重，这件事确实有点反直觉。

第一步：对多数类下采样#

下采样（downsampling），指的是只用偏低比例的多数类样本参与训练。换句话说，就是人为地把一份不平衡的数据集掰得平衡一点，也就是训练时从多数类里舍掉大量样本。

下采样能大幅提高「每个批次都含有足够多的少数类样本」的概率，模型因此才能正常、高效地训练。

比如图 6 那份数据集里，99% 是多数类、1% 是少数类。若按 25 倍的倍数对多数类下采样，就能人为造出一份更平衡的训练集——80% 多数类对 20% 少数类，就像图 7 所示：

图 7. 按 25 倍的倍数对多数类下采样

第二步：给下采样后的类别上调权重#

下采样会引入预测偏差：你拿给模型看的，是一个「类别比现实更均衡」的人为世界。要把这个偏差纠回来，就得按你下采样的那个倍数，给多数类上调权重（upweighting）。所谓上调权重，就是让多数类样本上的损失比少数类样本上的损失更「狠」。

数据集：划分原始数据集 - Google 机器学习速成课程配套中文解读

Mon, 26 Oct 2026 15:08:00 +0800

数据集：划分原始数据集#

任何一个像样的软件工程项目，都会把相当大的一部分精力花在测试上。同样的道理，我们强烈建议你对 ML 模型也做测试，以确认它的预测到底是否正确。

训练集、验证集与测试集#

你应当用一组不同于训练样本的例子来测试模型。本节后面「测试集的其他问题」一节会展开说明这一点：在新样本上测试，比在训练用的同一批样本上测试，更能说明模型是真的好用，还是只是把做过的题背下来了。

MLWM： 我们在完成模型训练以后，都会在测试集上对模型的泛化能力进行评估。

那这些"不同的样本"从哪儿来？在机器学习的传统做法里，答案是拆分原始数据集。于是你可能会想当然地认为，把原始数据集拆成两半就够了：

训练集（training set）：模型用来训练的那部分数据。
测试集（test set）：用来评估训练好的模型的那部分数据。

图 8. 一个不够理想的划分

练习：检验你的直觉#

假设你用训练集训练、用测试集评估，如此反复了好几轮。每一轮，你都依据测试集的结果去调整超参数和特征集。你能看出这种做法有什么问题吗？（只选一个）

A. 大量重复这一过程，可能导致模型隐式地拟合测试集的特殊之处
B. 这种做法没问题。毕竟你是在训练集上训练、在独立的测试集上评估
C. 这种做法在计算上效率不高
D. 每轮测试之后都不要改动超参数或特征集

把数据集拆成两半是个不错的主意，但更好的做法是把它拆成三份。除了训练集和测试集，第三份是：

数据集：转换数据 - Google 机器学习速成课程配套中文解读

Tue, 27 Oct 2026 12:18:00 +0800

数据集：转换数据#

我们都知道机器学习模型只能用浮点数来训练，可一个数据集里，很多特征天生就不是浮点数，所以机器学习中有一件很重要的事，就是把这些非浮点特征转换成浮点表示。

举个例子。假设有一个叫 street names（街道名称）的特征。街道名称大多是字符串，比如 “Broadway” 或 “Vilakazi”。模型没法在 “Broadway” 上训练，所以你必须先把 “Broadway” 变成一个浮点数。至于怎么变，处理类别型数据那一节讲得很清楚。

更进一步，大多数本来就是浮点数的特征，其实也要再变换一遍。这个变换过程叫归一化（normalization），它是把浮点数收敛到一个受约束的区间里，从而改善模型训练。具体怎么做，可以看处理数值数据。

MLWM： 关于「为什么要把特征变换到同一量纲」，可以参见文章「特征标准化：归一化与标准化的原理及实现」；把街道名这类字符串变成数值向量的思路，则可以参见「词袋模型原理：文本特征表示与机器学习建模」中的介绍。

数据太多的时候用抽样#

有些机构很幸运，手里的数据多得用不完。

因此，当数据集里的样本太多时，你就必须挑出一个子集来训练模型。在挑的时候，尽可能选那些与模型预测最相关的样本，毕竟，数据虽多，能用得上的才是关键。

过滤含 PII 的样本#

好的数据集里，不该出现含有个人身份信息（PII，Personally Identifiable Information）的样本。这条规矩有助于保护隐私，但也可能对模型产生影响。

课程后面的「安全与隐私」模块会展开讲这些话题。

关键术语：

归一化

泛化 - Google 机器学习速成课程配套中文解读

Tue, 27 Oct 2026 12:33:00 +0800

模型的泛化#

先讲一个故事。

想象一位来自外星的游客初到地球。为了跟人交流，他挑了一个特定的局部社区，认真听那里居民怎么说话，潜心学了好几个月的语言。等他觉得自己已经掌握了这门语言，准备走向更多人时，却发现自己根本没法跟世界上其他地方的人沟通。

为什么会这样？ 因为他学到的，只是极小一部分人群的特定说话习惯——这些经验，搬不到真实而多变的世界里去。

机器学习模型的训练过程，跟这个故事几乎是同一个道理。这一节要讲的，就是机器学习从业者在训练模型时最常撞上的那个问题。

MLWM： 如果觉得上面举的这个例子没太理解，可以参见「4.3 过拟合处理方法：常见原因、表现与正则化实战」第 4.3.1 节中的内容。

什么是「泛化」（Generalization）#

泛化，指的是模型对全新的、没见过的数据依然能做出高质量预测的能力。

难点在于：训练模型时用的是训练数据，通常只是真实世界数据的极小子集。所以模型的终极目标，从来不是在训练集上表现好，而是在陌生的真实数据上也能预测得准。

什么是「过拟合」（Overfitting）#

跟泛化相对的那个概念，叫过拟合。

如果一个模型在训练数据上的预测准确率极高，可一换到全新的真实数据上，预测质量就大幅下滑——这种现象就叫过拟合。

原因也不难理解：模型过于死板地贴合了已见数据的那些细节和局部模式，反而认不出新数据里更普遍的规律。

如何提高模型的泛化能力#

回到那个外星游客。他发现问题之后，做法其实很朴素：换一批人去听。他开始倾听各种不同人群的讲话，重新学习，最后终于把这门语言用到了全新的场景里。

机器学习的解法也是同一个：让模型从更广泛、更具代表性、更多样的数据里学习。

至于怎么在真实的模型训练里检测和防止过拟合——靠训练集与测试集的划分，还是靠正则化——接下来的两节会分别展开。

关键术语：

泛化

过拟合

过拟合 - Google 机器学习速成课程配套中文解读

Tue, 27 Oct 2026 14:06:00 +0800

过拟合现象#

过拟合（overfitting），指的是模型把训练集记得太牢，以至于在新数据上反而做不出正确的预测。

一个过拟合的模型，活像一项在实验室里表现惊艳、到了真实世界里却毫无价值的发明。

提示： 过拟合是机器学习里的常见问题，不是学术上的假设情形。

如图 11 所示，想象每个几何图形代表方块森林里一棵树的位置：青色菱形标记健康树的位置，浅橙色圆形标记病树的位置。

图 11. 训练集：方块森林里健康树与病树的位置

在脑海里画出任意形状——直线、曲线、椭圆……什么都行——把健康树和病树分开。然后，展开下一行，看一种可能的分隔方式。

点击展开，看一种可能的画法

图 12. 用于区分病树与健康树的复杂模型

图 12 展示的那组复杂形状，成功地把除两棵之外的所有树都分对了。如果把这些形状当成一个模型，那这就是一个相当完美的模型。

或者，真是这样吗？我们要知道一个真正优秀的模型，是能对新样本做出正确分类。图 13 展示的是同一个模型在测试集的新样本上做预测时会发生什么：

图 13. 测试集：用于区分病树与健康树的复杂模型

所以，图 12 里那个复杂模型在训练集上干得很漂亮，在测试集上却干得很糟。这就是模型过拟合到训练集数据的典型案例。

拟合、过拟合与欠拟合#

模型必须在新数据上做出好的预测。也就是说，你的目标是造出一个能「拟合」新数据的模型（泛化能力足够强）。

前面已经看到，过拟合的模型在训练集上预测出色，在新数据上预测糟糕。而欠拟合（underfit） 的模型则是指连训练数据都预测不好。如果说过拟合模型像一件在实验室里表现良好、在真实世界里表现差劲的产品，那么欠拟合模型就像一件连在实验室里都表现不好的产品。

图 14. 欠拟合、拟合与过拟合模型

一个泛化良好的模型，能在新数据上做出好的预测。你的目标，就是造出一个能良好泛化到新数据的模型。

如何检测过拟合#

下面这几类曲线能帮你发现过拟合：

损失曲线（loss curves）
泛化曲线（generalization curves）

损失曲线画出的是模型的损失随训练迭代次数的变化情况。把两条或更多（在不同划分集上的）损失曲线画在同一张图上，就叫泛化曲线。下面这张泛化曲线画的就是两条损失曲线：

图 15. 一条强烈暗示过拟合的泛化曲线

注意，两条损失曲线一开始表现相似，之后就分道扬镳了。也就是说，迭代到一定次数之后，训练集的损失继续下降或保持平稳（收敛），而验证集的损失却开始上升。这就暗示了开始出现过拟合现象了。

相比之下，一个拟合良好的模型（good fitting），它的泛化曲线上的两条损失曲线形状是相似的。

过拟合：模型复杂度 - Google 机器学习速成课程配套中文解读

Tue, 27 Oct 2026 14:35:00 +0800

过拟合：模型的复杂度#

上一节介绍过下面这个模型，它在测试集上把很多树都分错了。

图 16. 上一节中的过拟合模型

可以看到，上面那个模型里塞满了各种复杂形状。那如果换成一个更简单的模型，会不会有更好的表现？假设你把复杂模型换成一个简单到极点的模型——一条直线。

图 17. 一个简单得多的模型

在新数据上，简单模型比复杂模型泛化得更好。也就是说，在测试集上，简单模型的预测比复杂模型更准。

简单战胜复杂，这件事已经延续了很久。其实对简单的偏好，可以追溯到古希腊。几个世纪之后，十四世纪一位名叫威廉·奥卡姆（William of Occam）的修士，把这种对简单的偏好总结成了一门哲学，就是奥卡姆剃刀。这门哲学至今仍是许多学科（包括机器学习）的基本原则之一。

注意： 复杂模型在训练集上通常优于简单模型；但在测试集上（这才是更重要的那一项），简单模型通常优于复杂模型。

练习：检验你的理解#

第1题： 你在推导一个物理公式。下面哪个公式更符合奥卡姆剃刀？

A. 一个含3个变量的公式
B. 一个含12个变量的公式

第2题： 你刚启动一个全新的机器学习项目，正要挑选第1批特征。你应该选多少个特征？

A. 挑 1–3 个看起来预测能力很强的特征
B. 挑 4–6 个看起来预测能力很强的特征
C. 尽可能多地挑，好早点看出哪些特征预测能力最强

正则化#

机器学习模型必须同时满足两个互相冲突的目标：

过拟合：$L_2$ 正则化 - Google 机器学习速成课程配套中文解读

Tue, 27 Oct 2026 16:36:00 +0800

过拟合：L2 正则化#

在上一节中我们提到了「正则化」这个概念，即给复杂模型施加惩罚，逼着它在拟合数据的同时尽量保持简单。可惩罚的力度用什么来衡量、又要惩罚到什么程度呢，就是这一节要回答的问题。

$L_2$ 正则化（$L_2$ regularization）是最常用的正则化度量，它把所有权重的平方加在一起：

$$L_2\text{ regularization } = {w_1^2 + w_2^2 + ... + w_n^2}$$

公式里每一项都是平方，这也正是大权重会被重罚的原因。

下面是一个拥有六个权重的模型，$L_2$ 正则化的计算过程：

权重	取值	平方值
$w_1$	0.2	0.04
$w_2$	-0.5	0.25
$w_3$	5.0	25.0
$w_4$	-1.2	1.44
$w_5$	0.3	0.09
$w_6$	-0.1	0.01
		26.83 = 合计

这张表里有两件事值得留意。

第一，接近零的权重对 $L_2$ 正则化的结果影响很小，但大权重的威力却相当惊人。就上面这次计算而言：

单是 $w_3$ 这一个权重，就贡献了大约 93% 的总复杂度。
另外五个权重加起来，只贡献了大约 7%。

第二，$L_2$ 正则化的作用方向，是把权重往零推，但永远不会真的推到零。这一点很关键，下面的练习就会考到它。

练习：检验你的理解#

第1题： 如果你在训练模型时使用了 $L_2$ 正则化，这个模型的整体复杂度通常会怎么变？

A. 大概率下降
B. 大概率保持不变
C. 大概率上升

第2题： 如果你在训练模型时使用了 $L_2$ 正则化，是否会有特征被从模型中移除？

过拟合：解读损失曲线 - Google 机器学习速成课程配套中文解读

Wed, 28 Oct 2026 09:52:00 +0800

过拟合：解读损失曲线#

训练模型的时候，损失曲线是最忠实的那面镜子——模型状态好不好，它一清二楚。如果说要是所有损失曲线都长得像下面这张图，那机器学习就会简单得多。

图 20. 理想的损失曲线

从图20可以看出，此时损失先高后低、一路收敛到某个值附近，这就是教科书上想让你记住的样子。可惜真实的曲线很少这么听话：它可能剧烈振荡，可能突然跳升，可能训练集和测试集各走各的，也可能干脆卡在某个位置反复横跳。

所以这一节我们不打算再往你脑子里塞新公式，而是换一种练法，四张真实的损失曲线，四道判断题。每一道题都先给你一条曲线，再问你这曲线出了什么问题、可能是什么原因。你需要做的，是把前面几节学过的直觉（数据脏了、学习率不合适、模型过拟合、批次没打乱……）调动起来，用它们去解读一条你从没见过的曲线。

练习1：振荡的损失曲线#

先看第一条。曲线没有往下降，反倒像心电图一样剧烈起伏：

图 21. 振荡的损失曲线

第1题： 面对图 21 这条曲线，你可以尝试做哪些事来改善它？

A. 按数据模式（schema）检查数据，找出坏样本并从训练集中移除
B. 降低学习率
C. 把训练集缩到极少量可信样本
D. 增加训练集里的样本数量
E. 提高学习率

练习2：损失曲线突然跳升#

第2条曲线更干脆：本来好好的，突然就炸了。

图 22. 损失突然跳升

第2题： 下面哪些项能解释图 22 中这条突然爆掉的损失曲线？

A. 输入数据里含有 NaN——比如某个除零操作算出来的值
B. 输入数据里混进了一批离群值
C. 学习率太低
D. 正则化率太高

练习3：测试损失与训练损失背离#

第三条曲线要更细看一点，它有两条线：

图 23. 验证损失陡升

第3题： 下面哪些项最能解释训练集与测试集的损失曲线为什么会出现这种差异？

数据集、泛化与过拟合：测一测你掌握了多少 - Google 机器学习速成课程配套中文解读

Wed, 28 Oct 2026 10:22:00 +0800

过拟合模块：随堂测验#

随堂测验： 共 5 题，你必须至少答对 4 题才能通过。

请勿作弊！等你确认已经掌握本模块的全部内容之后，再回来作答。

五道题，横跨「数据集、泛化与过拟合」这一整章：平稳性、缺失值、派生标签、测试集到底该怎么用、正则化究竟在惩罚什么。单看每一题都不算难，但每一道都卡在一个特别容易含糊过去的点上——所以建议你先把 5 题全部做完，再统一展开折叠区对照。一次只对一道题，很容易把「想得起来」误当成「真懂」。

第 1 题：什么是平稳数据集#

下列哪一个属于平稳（stationary）数据集？

A. 美国华盛顿州西雅图的降雨量
B. 贝多芬交响曲的音符目录
C. 垃圾邮件里最常出现的词
D. 电影院的每日售票量

第 2 题：缺失的里程数据怎么处理#

你准备用一份包含 year、model、mileage 三个特征的数据集，训练一个预测二手车售价的模型。检查数据时你发现：2,500 条样本里，有 150 条的 mileage 是缺失的。下列哪些做法是合理的？（多选）

A. 把这 150 条样本从数据集里删掉
B. 把 mileage 这一列整个去掉，只用 year 和 model 训练模型
C. 在所有空的 mileage 字段里填入 0
D. 用「车龄 × 全数据集的平均年里程」为每个空字段估一个 mileage 值

第 3 题：哪些行为算「用户喜欢这部电影」#

你在训练一个流媒体的电影推荐模型，目标是预测用户对某部电影的态度。下列哪些可以作为「用户喜欢这部电影」的合理派生标签？（多选）

A. 用户把电影存进了「想看」列表
B. 用户点击了「开始观看」
C. 用户把这部电影推荐给了另一位用户
D. 用户给这部电影打了 5 星