公平性:反事实公平#
本节要点:
- 它衡量的不是比例:反事实公平不比两个群体的整体占比,而是拿“除了敏感属性(比如人口统计群体)以外完全相同”的两个人作比较,看模型对他们的预测是否一致;
- 什么时候用得上:数据集里只有一小部分样本带有人口统计信息时,人口统计均等、机会均等都用不了,反事实公平正好派上用场;
- 它的长处:聚合指标会把“发生在单个预测层面的偏见”盖住,反事实公平恰恰能把这类问题挖出来;
- 它的短处:它给出的偏见图景并不全面,几对样本里的不平等,未必撼动得了整个子群体身上的系统性偏见;
- 没有万能指标:选哪个公平指标,要看具体的使用场景和你想达成的目标。
到目前为止,我们讨论公平性指标时,一直默认训练样本和测试样本里都带着被评估子群体的完整人口统计信息。但现实里往往不是这样。
假设我们的招生数据集里没有完整的人口统计信息,而是只有一小部分样本记录了群体归属,比如那些主动申报自己属于哪个群体的学生。这时候,候选人池按录取与被拒绝拆开的样子,就变成了这样:

这时候既没法用人口统计均等评估模型的预测结果,也没法用机会均等,因为 94% 的样本根本没有人口统计信息。不过,对于那 6% 带有人口统计特征的样本,我们仍然可以成对比较单个预测(一个多数群体候选人 vs. 一个少数群体候选人),看看模型有没有一视同仁地对待他们。
举个例子:假设我们已经仔细核对过两位候选人的特征数据(一位属于多数群体、一位属于少数群体,就是下图里标了星号的那两个),确认了两人在录取资格上各方面完全一样。如果模型对这两位给出了相同的预测(要么都拒、要么都录),就说明模型对这些样本满足了反事实公平(counterfactual fairness)。反事实公平的要求是:两个样本除了某一个敏感属性(这里是人口统计群体归属)之外完全相同,那么模型就该给出相同的预测。

优势与劣势#
前面已经提过,反事实公平最大的好处就是:在很多用别的指标行不通的场景里,它依然能拿来评估预测的公平性。如果数据集里没有覆盖待考察群体属性的完整特征值,那就没法用人口统计均等或机会均等来评估公平;但只要这些群体属性在部分样本上可用,而且能在不同群体之间找出成对的等价样本,那么从业者就可以拿反事实公平当一把尺子,去探一探模型预测里有没有藏着偏见。
另外,人口统计均等、机会均等这类指标是从群体汇总层面评估的,因此可能把“出现在单个预测层面的偏见”给盖住,而反事实公平恰恰能把这类问题挖出来。举个例子:假设我们的招生模型对多数群体和少数群体的合格候选人按同样的比例录取,可那位最优秀的少数群体候选人被拒了,而与他资历完全相同的最优秀的多数群体候选人却被录了。反事实公平分析能帮你把这类不一致揪出来,好去处理。
话也说回来,反事实公平最大的短板是:它给出的偏见图景并不全面。找出并修正几对样本里的不平等,未必足以对付那些笼罩着整个子群体的系统性偏见。
在条件允许的情况下,从业者可以考虑既做一份聚合层面的公平性分析(用人口统计均等、机会均等这类指标),再做一份反事实公平分析,这样对那些极待处理的偏见问题,就能看到最全面的图景。
练习:检查你的理解#

在图 7 那批预测里,下面哪一对“除群体归属外完全相同”的样本,得到的预测违反了反事实公平?
A. 样本对 A
B. 样本对 B
C. 样本对 C
D. 这些样本对没有一对违反反事实公平
点击查看答案
答案: D
A. 样本对 A,样本对 A 的预测满足反事实公平:多数群体(蓝色)那个样本和少数群体(橙色)那个样本得到的预测相同,都是负类。
B. 样本对 B,样本对 B 的预测同样满足反事实公平:多数群体(蓝色)那个样本和少数群体(橙色)那个样本得到的预测相同,都是正类。
C. 样本对 C ,样本对 C 的两个样本都属于多数群体(蓝色)。模型对这两个完全相同的样本给出了不同的预测,这说明模型可能存在更广泛的表现问题,值得进一步排查。但这并不违反反事实公平 —— 反事实公平的适用前提,是这两个完全相同的样本分别来自不同群体。
D. 这些样本对没有一对违反反事实公平,样本对 A 和 B 的预测都满足反事实公平,因为在两对里,多数群体的样本和少数群体的样本都得到了相同的预测。而样本对 C 的两个样本属于同一个群体(多数群体),所以反事实公平在这种情况下并不适用。
小结#
人口统计均等、机会均等和反事实公平,为模型预测的公平性各提供了一种不同的数学定义,而这还只是量化公平的三种方式。有些公平定义之间甚至是相互不兼容(mutually incompatible)的,也就是说,对同一个模型的某组预测来说,你可能根本无法同时满足它们。
那么,该给你的模型挑哪个“对的”公平指标呢?你得结合它的使用场景,以及你想达成的总体目标来判断。比如,你想达成的是代表性均等(这时人口统计均等可能是最合适的指标),还是机会均等(那机会均等或许才是更好的选择)?
想更深入地了解机器学习公平性、把这几个问题挖得更透,可以读 Fairness and Machine Learning: Limitations and Opportunities,作者是 Solon Barocas、Moritz Hardt 和 Arvind Narayanan。
关键术语:
- 偏见(伦理与公平性)
- 人口统计均等(Demographic parity)
- 相互不兼容(Mutually incompatible)