公平性:机会均等#
本节要点:
- 机会均等是什么:让合格的人无论属于哪个人口统计群体,都有同样的被录取机会,它比较的是两个群体里“合格候选人”的录取率;
- 怎么才算达标:两个群体的合格候选人录取率相同即达标,本节的例子里,多数群体和少数群体的合格者录取率都是 40%;
- 和人口统计均等的区别:人口统计均等比的是两个群体的总体录取率,机会均等盯的是各群体里合格子集的录取率,因此允许两个群体的整体录取率有高有低;
- 它的局限:机会均等依赖一个明确的偏好标签,而且在缺少人口统计数据的场景里根本用不了;
- 两者并不冲突:只要正类预测率与真正例率在两个群体间持平,同一组预测完全可以同时满足人口统计均等和机会均等。
上一节我们用人口统计均等评估招生模型,做法是比较两个群体的总体录取率。不过还有另一种评估角度:只比较两个群体里“合格候选人”的录取率。如果两边合格学生的录取率相同,模型的预测就满足了[机会均等(equality of opportunity):带有我们偏好标签(“录取资格合格”)的学生,不管属于哪个人口统计群体,被录取的机会都一样。
我们回到上一节那份候选人池:
| 多数群体 | 少数群体 | |
|---|---|---|
| 合格 | 35 | 15 |
| 不合格 | 45 | 5 |
现在假设招生模型从多数群体录取了 14 名候选人、从少数群体录取了 6 名。由于两个群体里合格学生的录取率都是 40%,模型的决策就满足了机会均等。

下面这张表,把图 4 里录取与被拒绝的人数列了出来。
| 多数群体 | 少数群体 | |||
|---|---|---|---|---|
| 已录取 | 被拒绝 | 已录取 | 被拒绝 | |
| 合格 | 14 | 21 | 6 | 9 |
| 不合格 | 0 | 45 | 0 | 5 |
优势与劣势#
机会均等最关键的好处在于:它允许模型在不同人口统计群体上的正负预测比例各不相同,而前提是模型对两个群体的偏好标签(这里是“合格”)预测得同样好。
图 4 里的模型预测并不满足人口统计均等:多数群体的学生有 17.5% 的概率被录取,少数群体的学生有 30% 的概率被录取。但一名合格学生被录取的概率是 40%,与他们属于哪个群体无关 —— 在这个模型的应用场景里,这大概是更公平的结果。
不过机会均等有一个相当明显的短板:它是为“有明确偏好标签”的使用场景设计的。如果正类(“录取资格合格”)和负类(“不合格”)对各个群体同等重要,那或许改用均衡几率(equalized odds)更合适,因为它对两个标签都强制要求相同的成功率。
机会均等的另一个短板是:它靠比较两个群体的汇总错误率来评估公平性,而这未必总是可行。举个例子:如果招生模型的数据集里没有 demographic_group 这个特征,你就无法把合格候选人的录取率按多数群体、少数群体拆开来,也就无从判断机会均等是否被满足。
下一节我们会看另一个公平性指标 —— 反事实公平(counterfactual fairness),它能用在某些样本并没有人口统计信息、或者人口统计信息不全的场景里。
练习:检查你的理解#
判断题:一个二分类模型不可能在同一组预测上同时满足人口统计均等和机会均等。
A. True
B. False
点击查看答案
答案: B(False)
A. True —— 模型的预测完全有可能同时满足人口统计均等和机会均等。不妨自己先想出一个两种指标都能满足的场景,再看看下面那个选项里的完整解释。
B. False —— 模型的预测完全有可能同时满足人口统计均等和机会均等。举个例子:假设有一个二分类器(偏好标签是正类),在 100 条样本上评估,按人口统计群体(多数群体与少数群体)拆开,结果就是下面这两张混淆矩阵:
| 多数群体 | 少数群体 | |||
|---|---|---|---|---|
| 预测为正类 | 预测为负类 | 预测为正类 | 预测为负类 | |
| 实际为正类 | 6 | 12 | 3 | 6 |
| 实际为负类 | 10 | 36 | 6 | 21 |
多数群体的两项指标:
$$\text{Positive Rate} = \frac{6+10}{6+10+12+36} = \frac{16}{64} = \text{25\%}$$$$\text{True Positive Rate} = \frac{6}{6+12} = \frac{6}{18} = \text{33\%}$$少数群体的两项指标:
$$\text{Positive Rate} = \frac{3+6}{3+6+6+21} = \frac{9}{36} = \text{25\%}$$$$\text{True Positive Rate} = \frac{3}{3+6} = \frac{3}{9} = \text{33\%}$$两个群体的正类预测率(Positive Rate)都是 25%,满足了人口统计均等;真正例率(True Positive Rate,带有偏好标签的样本中被正确分类的比例)也都是 33%,满足了机会均等。
关键术语:
- 偏见(伦理与公平性)
- 机会均等(Equality of opportunity
- 均衡几率(Equalized odds)