公平性：评估偏见#
本节要点：
- 整体指标会骗人：针对整个测试集或验证集算出来的指标，未必能真实反映模型公不公平。
- 少数群体容易被盖住：整体表现优异，很可能只是因为大多数样本都还不错；少数那部分样本上的糟糕表现就这样被掩掉了。
- 光算汇总指标不够：像精确率、召回率、准确率这类汇总性能指标，不一定能把上面这些问题暴露出来。
- 公平要落到群体上：模型必须以对两个群体的候选人都公平的方式，录取那些符合条件的学生。
- 三种度量：人口统计均等、机会均等、反事实公平 —— 三种不同的"公平"数学定义。
评估模型时，针对整个测试集或验证集算出来的指标，未必能真实反映模型公不公平。整体表现优异，很可能只是因为大多数样本都还不错；少数那部分样本上的糟糕表现就这样被盖住了，最后变成带偏见的预测。而像精确率（precision）、召回率（recall）、准确率（accuracy）这类汇总性能指标，不一定能把这些问题暴露出来。
我们不妨回到前面那个招生模型上，带着公平性的视角，看看有哪些新办法可以评估它的预测结果。
假设招生分类模型要从 100 名候选人中选出 20 名录取进大学，而这些候选人分属两个人口统计群体：多数群体（蓝色，80 人）和少数群体（橙色，20 人）。
模型必须以对两个群体的候选人都公平的方式，录取那些符合条件的学生。
那么，我们该怎么评估模型预测的公平性？可以考虑的指标有很多，每一个都给出了"公平"的一种不同的数学定义。接下来的几节，我们会深入展开其中三种公平性指标：人口统计均等、机会均等，以及反事实公平。
关键术语：