公平性：识别偏见#
本节要点：
- 训练数据要贴近真实分布：数据里的占比结构一旦和真实世界对不上，模型就会把偏见一并学进去。
- 缺失值是信号：某个特征在大量样本上缺值，往往说明数据里某些关键特征代表性不足。
- 异常值也要盯：看着不合常规的特征值，常常是采集环节出过问题的痕迹。
- 数据倾斜：某些群体或特征相对真实比例被高估或低估，同样会把偏见带进模型。
- 按子群体评估：只看总体指标发现不了偏斜，审计时得把结果拆到各个子群体上分别看。
准备数据、训练模型、评估效果，公平性这件事都得一直挂在心上：主动去审计数据里潜在的偏见来源，好赶在模型上线之前，把这些影响化解掉。
那么偏见可能藏在哪里？下面这几条，就是我们在数据集里要留意的"红灯"。
特征值缺失#
如果你的数据集中有一到两个特征，在大量样本上都缺着值，这很可能是一个信号 —— 你的数据里，某些关键特征其实代表性不足。
练习：检查你的理解#
你正在训练一个模型，根据品种、年龄、体重、性情以及每天掉毛量等一系列特征，预测一只救援犬是否容易被领养。你的目标是让模型对各种类型的狗都有同样好的表现，不管它们的体型或行为特征如何。
你发现，5000 条训练样本里有 1500 条缺了性情这一项的值。以下哪些属于你应当追查的潜在偏见来源？
A. 所有从大城市救出来的狗都缺性情数据。
B. 某些品种的狗更容易缺性情数据。
C. 性情数据是随机缺失的。
D. 12 个月以下的狗更容易缺性情数据。
点击查看答案
答案： A、B、D
A. 所有从大城市救出来的狗都缺性情数据。 —— 乍一看，这似乎算不上偏见的来源，因为不管品种、年龄、体重如何，所有大城市来的狗都同等受影响。但我们仍然得考虑：这只狗来自哪里，本身可能就充当了这些体型或行为特征的代理变量。举个例子，如果大城市的狗比乡村地区的狗明显更可能个头偏小，那么体型较轻的狗或某些小型犬种的领养预测就可能不够准确。
B. 某些品种的狗更容易缺性情数据。 —— 如果性情数据能不能拿到，跟狗的品种相关，那么某些犬种的领养预测就可能不够准确。
C. 性情数据是随机缺失的。 —— 如果性情数据真的是随机缺失的，那它就不构成潜在的偏见来源。不过它也可能"看起来"随机，往深里一查却能发现别的原因。所以务必要把数据彻查一遍、把其他可能性排除掉，而不是想当然地认为数据缺口就是随机的。
D. 12 个月以下的狗更容易缺性情数据。 —— 如果性情数据能不能拿到，跟年龄相关，那么幼犬与成年犬的领养预测准确度就可能不一样。
意料之外的特征值#
探索数据的时候，还得留意那些明显不合常规、显得异乎寻常的特征值。这些意料之外的特征值，可能意味着数据采集的过程中出过问题，或者存在其他会引入偏见的失真。
练习：检查你的理解#
下面是一组用来训练救援犬领养预测模型的假设样本：
| 品种（breed） | 年龄（age, yrs） | 体重（weight, lbs） | 性情（temperament） | 掉毛量（shedding_level） |
|---|---|---|---|---|
| 玩具贵宾犬 | 2 | 12 | 易激动 | 低 |
| 金毛寻回犬 | 7 | 65 | 平静 | 高 |
| 拉布拉多犬 | 35 | 73 | 平静 | 高 |
| 法国斗牛犬 | 0.5 | 11 | 平静 | 中 |
| 未知混种犬 | 4 | 45 | 易激动 | 高 |
| 巴吉度猎犬 | 9 | 48 | 平静 | 中 |
这些特征数据里，你能看出什么问题吗？
点击查看答案
答案：
| 品种（breed） | 年龄（age, yrs） | 体重（weight, lbs） | 性情（temperament） | 掉毛量（shedding_level） |
|---|---|---|---|---|
| 玩具贵宾犬 | 2 | 12 | 易激动 | 低 |
| 金毛寻回犬 | 7 | 65 | 平静 | 高 |
| 拉布拉多犬 | 35 | 73 | 平静 | 高 |
| 法国斗牛犬 | 0.5 | 11 | 平静 | 中 |
| 未知混种犬 | 4 | 45 | 易激动 | 高 |
| 巴吉度猎犬 | 9 | 48 | 平静 | 中 |
经吉尼斯世界纪录认证的最长寿狗是 Bluey，一只活了 29 岁 5 个月的澳洲牧牛犬。考虑到这一点，拉布拉多犬真的有 35 岁似乎相当不可信 —— 更可能的是，这只狗的年龄在计算或记录时出了错，比如它其实只有 3.5 岁。这个错误本身，也可能预示着数据集中年龄这一列存在更普遍的数据准确性问题，值得进一步追查。
数据倾斜#
数据里任何形式的倾斜 —— 某些群体或某些特征相对于它们在真实世界里的比例被高估或低估 —— 都会把偏见带进模型。
审计模型表现的时候，不能只盯着汇总结果看，还要按子群体把结果拆开。就拿前面那个救援犬领养预测模型来说，为了保证公平，光看总体准确率是不够的。我们还得按子群体分别审计模型表现，确保它在每一个犬种、每一个年龄段、每一个体型组上的表现同样好。
后面讲到评估偏见时，我们会更仔细地看几种按子群体评估模型的方法。
关键术语：