数据处理之类别型数据 - Google 机器学习速成课程配套中文解读 on 跟我学机器学习

类别型数据：简介 - Google 机器学习速成课程配套中文解读

Tue, 20 Oct 2026 15:40:00 +0800

类别型数据：简介#

预计整个模块学习时长： 50 分钟

学习目标：

区分类别型数据与数值型数据。

用独热向量（one-hot vectors）表示类别型数据。

处理类别型数据中的常见问题。

创建特征交叉（feature crosses）。

先修要求：

本模块假设你已经熟悉以下模块中介绍的概念：

机器学习简介

处理数值数据

先想一个问题：模型眼里的数据，凭什么分成两类？

类别型数据（Categorical data有一个很鲜明的特点：它的取值集合是固定的。也就是说，你能提前把这个集合完整地列出来。举几个例子：

国家公园里出现过的动物物种
某个城市里街道的名字
一封邮件是不是垃圾邮件
房屋外墙被刷成什么颜色
被分箱过的数字（在「处理数值型数据」模块中介绍过）

数字也可以是类别型数据#

判断一份数据是不是真的数值型数据，其实只有一条标准：乘法对它有没有意义。

我们拿房价来举例。

假设要训练一个模型，根据房屋面积来预测房价，请注意——一个真正有用的房价评估模型，通常要依赖成百上千个特征。但在其他条件都相同的前提下，一套 200 平方米的房子，价值大约应当是一套同样户型的 100 平方米房子的两倍（该特征可乘）。

反过来说，很多时候，取值是整数的特征，你反而应该按类别型数据来处理，而不是当成数值型数据。举个典型：邮编。邮编的值确实是整数，可如果你按数值型来喂给模型，就等于要求模型去发现不同邮编之间的数值关系——也就是告诉模型，邮编 20004 的信号强度是邮编 10002 的两倍（或一半）。而按类别型数据来表示邮编，模型才能给每一个邮编单独地分配权重。

编码#

编码（Encoding），指的就是把类别型数据（以及其他类型的数据）转换成模型可以训练的数值向量。

这一步之所以必须做，是因为模型只认浮点数：它没法直接拿 "dog"、"maple" 这样的字符串去训练。所以这一模块接下来要介绍的，就是几种专门针对类别型数据的编码方法。

MLWM: 例如对于文本特征来说，我们并不能够直接将其喂给模型进行训练，而是要通过某种方式将其编码成数值向量。更多关于文本转换成向量的内容，可以参见「词袋模型原理：文本特征表示与机器学习建模」中的介绍。

关键术语：

类别型数据（Categorical data）

数值型数据（Numerical data）

类别型数据：词表与独热编码 - Google 机器学习速成课程配套中文解读

Wed, 21 Oct 2026 14:55:00 +0800

类别型数据：词表与独热编码#

维度（dimension），其实就是特征向量（feature vector）里元素个数的另一个说法。

有些类别型特征的维度很低，低到你可以一眼看完它的全部取值：

特征名	类别数	类别样例
snowed_today	2	True、False
skill_level	3	初学者、熟练者、专家
season	4	冬、春、夏、秋
day_of_week	7	星期一、星期二、星期三……
planet	8	水星、金星、地球……

词表#

类别数量不多时，我们就可以把它编码成一份词表（vocabulary）。用词表编码之后，模型会把每一个可能的类别取值，当成一个独立特征来对待；在训练过程中，模型会为每个类别分别学到一组权重。

举个例子。假设你要训练一个模型，根据车漆颜色 car_color 来预测汽车的价格——说不定红色的车就是比绿色的贵。由于各家厂商能提供的车漆颜色是有限的，car_color 就属于一个低维度的类别型特征。

下面这张图给出了 car_color 的一份词表（也就是所有可能的取值）：

图 1. 每个类别对应一个独一无二的特征

索引编号#

模型只会处理浮点数。所以我们必须把每个字符串转换成一个独一无二的索引编号，就像下面这张图：

图 2. 索引化后的特征

不过，把字符串换成索引编号只是第一步。要真正让模型学到取值之间有意义的关系，还得再往下走一层。因为——如果类别型特征就这么以索引整数的形态被送进模型，模型会把这些编号当成连续的浮点数来看待。换个说法，它会认为 "Purple" 的可能性是 "Orange" 的六倍。

独热编码#

搭好词表之后的下一步，是把每个索引编号转换成它的独热编码（One-hot encoding。

在独热编码里：

每个类别都由一个长度为 N 的向量（数组）表示，N 就是类别的数量。比如 car_color 一共有 8 个可能的类别，那么代表它的独热向量就有 8 个元素。
一个独热向量里，有且仅有一个元素的值是 1，其余元素的值全是 0。

类别型数据：常见问题 - Google 机器学习速成课程配套中文解读

Wed, 21 Oct 2026 15:10:00 +0800

类别型数据：常见问题#

数值型数据通常由科学仪器或自动化测量采集而来；类别型数据则不一样——它们往往是由人，或者由机器学习模型分类出来的。于是有两个问题变得特别关键：谁决定了类别和标签、以及他们怎么做这个决定。这两点直接影响数据的可靠性与实用性。

人工评分者#

由人手工标注的数据，通常被称为金标签（gold labels）。因为数据质量相对更好，它们在训练模型时往往比机器标注的数据更受欢迎。

但这并不等于任何一份人工标注的数据都是高质量的。人为失误、偏见乃至恶意，都可能在数据采集的环节，或者在数据清洗与处理的过程中被引入。训练之前，先把它们查出来。

同一份样本，两个人的标注结果可能就不一样。评分者之间这种判断上的差异，被称为评分者间一致性（inter-rater agreement）。想要摸清评分者意见的分歧有多大，可以给每份样本安排多个评分者，再测量他们之间的一致性。

衡量评分者间一致性的常见方法有：

Cohen’s kappa 及其变体
组内相关系数（Intra-class correlation, ICC）
Krippendorff’s alpha

关于 Cohen’s kappa 与组内相关系数的细节，可以参考 Hallgren 2012；关于 Krippendorff’s alpha 的细节，可以参考 Krippendorff 2011。

机器评分者#

机器标注的数据，也就是类别由一个或多个分类模型自动判定出来的数据——通常被称为银标签（silver labels）。

银标签的质量可能相差极大。你要检查的，不只是它的准确率和偏见，还包括它有没有违背常识、现实与意图。举个例子：如果一个计算机视觉模型把一张「吉娃娃的照片」标成了「松饼」，或者反过来把「松饼」标成「吉娃娃」，那么在这份标注数据上训练出来的模型，质量必然要打折扣。

再比如，一个情感分析器把中性词打分成 -0.25（而 0.0 才是中性值），那么它可能是在给所有词都加上一层数据里其实并不存在的负面倾向；一个过度敏感的毒性检测器，也可能把许多中性陈述误判成有毒。在拿去训练之前，先想办法摸清你数据里机器标签与机器标注的质量和偏见。

高维度#

类别型数据很容易产生高维度的特征向量，也就是元素个数很多的特征向量。而高维度会推高训练成本、让训练变得更困难。正因如此，机器学习专家常常会在训练之前，先想办法把维度降下来。

对自然语言数据来说，主流的降维方法是把特征向量转换成嵌入向量。这一点会在本课程后面的嵌入模块中展开讨论。

关键术语：

评分者间一致性（Inter-rater agreement）

类别型数据：特征交叉 - Google 机器学习速成课程配套中文解读

Wed, 21 Oct 2026 15:21:00 +0800

类别型数据：特征交叉#

线性模型有个众所周知的短板：它只会画直线。这一节我们给它补上一块短板——特征交叉（Feature crosses）的做法，即把数据集中两个或更多类别型 / 分箱特征交叉起来（即取笛卡尔积）。

和多项式变换一样，特征交叉能让线性模型处理非线性情况。除此之外，它还额外编码了特征之间的交互关系。

推导一遍：叶片数据集#

来看一个叶片数据集，它有两个类别型特征：

edges（叶缘），取值有 smooth、toothed、lobed
arrangement（叶序），取值有 opposite 和 alternate

假设上面这个顺序，就是独热表示中特征列的顺序。那么一片叶缘为 smooth、叶序为 opposite 的叶子，表示出来就是 {(1, 0, 0), (1, 0)}。

这两个特征的交叉（也就是笛卡尔积）结果是：

{Smooth_Opposite, Smooth_Alternate, Toothed_Opposite, Toothed_Alternate, Lobed_Opposite, Lobed_Alternate}

每一项的值，都是两个基特征对应值的乘积，也就是：

Smooth_Opposite = edges[0] arrangement[0]
Smooth_Alternate = edges[0] arrangement[1]
Toothed_Opposite = edges[1] arrangement[0]
Toothed_Alternate = edges[1] arrangement[1]
Lobed_Opposite = edges[2] arrangement[0]
Lobed_Alternate = edges[2] arrangement[1]

举个例子。如果一片叶子叶缘是 lobed、叶序是 alternate，那么它的特征交叉向量在 Lobed_Alternate 这个项上取值为 1，其余各项全是 0：

{0, 0, 0, 0, 0, 1}

因为叶缘和叶序这些特征在同一树种内部是不变的，所以这份数据集可以用来按树种对叶片做分类。

与多项式变换的对比#

特征交叉与多项式变换多少有些相似：两者都是把多个特征合并成一个新的合成特征，让模型在它之上训练，从而学到非线性。区别在于——多项式变换处理的通常是数值型数据，而特征交叉处理的是类别型数据。

类别型数据：特征交叉练习 - Google 机器学习速成课程配套中文解读

Thu, 22 Oct 2026 12:08:00 +0800

类别型数据：特征交叉练习#

Playground 是一个交互式应用，让你亲自动手调试训练与测试机器学习模型的各个环节。在 Playground 里，你可以挑选特征、调整超参数，然后观察这些选择对模型产生了什么影响。

本节内容包含两个练习，都要用到下方嵌入的 Playground 组件。

练习 1：基础特征交叉#

这个练习，请把注意力放在 Playground 界面的以下几部分：

在 FEATURES 下方，有三个候选模型特征：

$x_1$
$x_2$
$x_1x_2$

在 OUTPUT 下方，你会看到一个装满橙色和蓝色圆点的方块。想象你正俯瞰着一片方形森林：橙色点标记生病树木的位置，蓝色点标记健康树木的位置。

在 FEATURES 与 OUTPUT 之间，如果看得非常仔细，你会发现3条若隐若现的虚线，各自连着一个特征与输出。虚线的粗细，就象征着该特征当前关联的权重。 这些线之所以那么淡，是因为每个特征的初始权重都被设成了 0。权重增大或减小，虚线的粗细也随之变化。

任务 1： 按下面的步骤在 Playground 里探索：

点击那条把特征 $x_1$ 与输出连起来的淡线，弹窗会随之出现。
在弹窗里，把权重填成 1.0。
按下回车。

此时你会看到下面这些现象：

随着权重从 0 变到到 1.0，$x_1$ 那条虚线变粗了。
右侧橙色与蓝色的背景出现了。
橙色背景是模型对生病树木位置的判断。
蓝色背景是模型对健康树木位置的判断。模型效果很差，它大约有一半的猜测是错的。
因为 $x_1$ 的权重是 1.0、另外两个特征是 0，模型实际上是在精确复现 $x_1$ 的取值。

任务 2： 调整这三个特征中任意一个或全部的权重，让模型（也就是那些背景颜色）成功区分出病树与健康树。

顺手玩一下：如果你给特征交叉 $x_1x_2$ 填一个负值，会发生什么？

类别型数据：测一测你掌握了多少 - Google 机器学习速成课程配套中文解读

Wed, 21 Oct 2026 15:51:00 +0800

类别型数据：随堂测验#

随堂测验：共 5 题，你必须至少答对 4 题才能通过。

请勿作弊！等你确认已经掌握本模块的全部内容之后，再回来作答。

下面正式进入 5 道测验题。题目结束后放了一个折叠的答案区，建议先把 5 题全部做完，再统一展开对照——一次只对一道题，很容易把「想得起来」误当成「真懂」。

第 1 题：哪些字段属于类别型数据#

以下哪些是类别型数据的例子？（多选）

A. 一本书的页数
B. 电话号码
C. 薯条的形状（弯条、褶皱切、牛排切、华夫格）
D. 餐厅的星级评分（1 到 5 星，其中 1 星代表「差」，5 星代表「极好」）

第 2 题：金标签还是银标签#

判断并说明：机器标签通常比人工评分者提供的标签更受欢迎。

A. 正确（True）
B. 错误（False）

第 3 题：唯一合法的编码形式#

你正在一个训练数据集上训练模型，其中有一个特征 eye_color，它的取值是以下六个之一：amber、blue、brown、gray、green、hazel。

下列哪些是 eye_color 取值为 blue 时的合法编码？（多选）

A. [0, 1, 0, 0, 0, 0]
B. [1]
C. [1, 2, 3, 4, 5, 6]
D. [0, 1]