公平性：偏见的类型#
本节要点：
- 偏见从何而来：数据的选择与整理都有人参与，模型便可能把偏见一并学了进去。
- 为什么要了解：认清常见的人为偏见，才能主动出手缓解它们对模型预测的影响。
- 本节列出的类型：报告偏误、历史偏误、自动化偏误等等，每一种都配了定义与例子。
- 还有细分：选择偏误、群体归因偏误、隐性偏误也一并讲到，各自还带出了更细的子类型。
- 并非穷尽：这份清单点出了开发与评估模型时值得警惕的几个方向。
机器学习（ML）模型天生并不客观。从业者训练模型，靠的是喂给它一份训练样本数据集，而这些数据在提供与整理的每一步里都掺着人的手 —— 模型的预测于是也就有可能带上偏见。
所以，建模时得对那些可能在你数据里现身的常见人为偏见有心理准备，这样你才能主动出手，把它们的影响压下去。
下面这份偏见清单只挑了机器学习数据集中最常被发现的一小部分，并不打算面面俱到。维基百科的认知偏差目录列出了 100 多种会影响我们判断力的人类偏见。审计数据时，请对任何可能让模型预测走偏的偏见来源保持警惕。
报告偏误（Reporting bias）#
定义： 报告偏误是指，数据集中所记录的事件、属性和/或结果的出现频率，并不能准确反映它们在真实世界里的频率。之所以会出现这种偏误，是因为人们往往只肯把不寻常、或者特别值得记下来的情形写下来，默认那些平常的情况不值得费心记录。
点击查看例子
有一个情感分析模型，用某热门网站上的用户投稿语料训练，用来预测书评是正面还是负面。可训练数据里的大部分书评都带着极端情绪 —— 要么爱得不行，要么恨得不行，因为人们如果对一本书没什么强烈反应，多半压根不会去写评论。结果就是，模型很难准确判断那些用更含蓄的措辞去描述一本书的书评。
历史偏误（Historical bias）#
定义： 历史偏误是指，历史数据里如实反映着那个年代真实存在的不平等。
点击查看例子
某城市一份 1960 年代的房价数据集，其中记录的房价，反映着那个年代盛行的差别对待式放贷。
自动化偏误（Automation bias）#
定义： 自动化偏误是指，不论各自的错误率高低，人总会不自觉地更偏爱自动化系统给出的结果，而不是非自动化系统给出的结果。
点击查看例子
某链轮制造厂的两个机器学习从业者，急着上线他们新训练的、用来识别齿面缺陷的"突破性"模型 —— 直到工厂主管指出：跟人工检验员相比，这个模型的精确率与召回率都要低 15 个百分点。
选择偏误（Selection bias）#
如果数据集中的样本选取方式，并不能反映它们在真实世界里的分布，就出现了选择偏误。选择偏误有很多种形态，包括覆盖偏误、无应答偏误和抽样偏误。
覆盖偏误（Coverage bias）#
定义： 覆盖偏误是指，数据并不是以有代表性的方式选出来的。
点击查看例子
有一个模型用电话调研的结果训练，用来预测一款新产品的未来销量，调研对象是买过该产品的一批消费者。转而去买竞品的消费者没有被调研，于是这群人就没能出现在训练数据里。
无应答偏误（Non-Response bias）#
定义： 无应答偏误（也叫参与偏误）是指，数据收集过程中的参与缺口，导致最终的数据失去了代表性。
点击查看例子
有一个模型用电话调研的结果训练，用来预测一款新产品的未来销量，调研对象既包括买过该产品的消费者，也包括买过竞品的消费者。而买竞品的那批人，拒绝完成调研的概率要高出 80%，他们的数据在样本中严重不足。
抽样偏误（Sampling bias）#
定义： 抽样偏误是指，数据收集过程中没有采用恰当的随机化方法。
点击查看例子
有一个模型用电话调研的结果训练，用来预测一款新产品的未来销量，调研对象既包括买过该产品的消费者，也包括买过竞品的消费者。调研员没有随机抽取对象，而是从回复邮件的人里挑了最先到的 200 位消费者 —— 这些人对该产品的热情，可能比普通购买者更高。
群体归因偏误（Group attribution bias）#
群体归因偏误是指，把对个体的判断一概推广到他们所属的整个群体上。这类偏误常见地表现为以下两种形式。
内群体偏误（In-group bias）#
定义： 内群体偏误是指，偏向于偏爱与自己同属一个群体的成员，或者偏爱那些自己也具备的特征。
点击查看例子
两位正在训练简历筛选模型（筛的是软件开发者）的机器学习从业者，会不自觉地认定：跟自己就读于同一所计算机科学学院的应聘者，更适合这个岗位。
外群体同质性偏误（Out-group homogeneity bias）#
定义： 外群体同质性偏误是指，容易对不属于自己群体的成员一概而论，或者觉得他们的特点更加整齐划一。
点击查看例子
同样这两位正在训练简历筛选模型的机器学习从业者，会不自觉地认定：所有没上过计算机科学学院的应聘者，专业能力都不够。
隐性偏误（Implicit Bias）#
定义： 隐性偏误是指，基于自己固有的思维方式与个人经验做出假设，而这个假设未必能推广到更一般的情形。
点击查看例子
一位训练手势识别模型的机器学习从业者，把"摇头"当成表示对方在说"不"的特征。可在世界上的某些地区，摇头其实表示的是"是"。
确认偏误（Confirmation bias）#
定义： 确认偏误是指，建模者在不知不觉中以某种方式处理数据，从而印证了自己原有的信念与假设。
点击查看例子
一位机器学习从业者正在建模，用身高、体重、品种、生长环境等一堆特征来预测狗的攻击性。他小时候有过一次不愉快的经历 —— 遇到一只特别好动的玩具贵宾犬，从此就把这个品种和"攻击性"联系在了一起。整理模型训练数据时，他不知不觉地把那些能证明小型犬温顺的特征丢掉了。
实验者偏误（Experimenter’s bias）#
定义： 实验者偏误是指，建模者一遍又一遍地训练模型，直到模型给出的结果和自己最初的假设对上。
点击查看例子
还是上面那位从业者。训练好的模型把大多数玩具贵宾犬都预测成比较温顺，他就把模型又重训了好几遍，直到结果显示小型贵宾犬更具攻击性为止。
练习：检查你的理解#
下列哪几种偏见，可能导致了简介中提到的那个大学招生模型，出现偏斜的预测结果？
- A. 确认偏误（Confirmation bias）
- B. 历史偏误（Historical bias）
- C. 自动化偏误（Automation bias）
- D. 内群体偏误（In-group bias）
点击查看答案
答案： A、B、D
A. 确认偏误（Confirmation bias） —— 这个招生模型是由在校大学生训练出来的，他们很可能本来就有一套看法，认为什么样的资历与计算机科学项目的成功相关。他们可能在整理数据或做特征工程时，无意间让模型去印证这些既有的看法。
B. 历史偏误（Historical bias） —— 这个招生模型是用过去 20 年的学生记录训练的。如果少数族裔学生在这份数据里本就占比偏低，那么模型在预测新学生时，很可能把同样的历史性不平等又复现一遍。
C. 自动化偏误（Automation bias） —— 自动化偏误或许能解释招生委员会为什么选择用机器学习模型来做录取决定，他们可能相信自动化系统比人工决策更靠谱。但自动化偏误解释不了模型的预测为什么会走偏。
D. 内群体偏误（In-group bias） —— 这个招生模型同样是由在校大学生训练出来的，他们可能不自觉地更愿意录取背景与自己相近的学生，而这会影响他们整理数据与做特征工程的方式，进而影响模型训练所用的数据。
关键术语：
- 自动化偏误（Automation bias）
- 确认偏误（Confirmation bias）
- 覆盖偏误（Coverage bias）
- 实验者偏误（Experimenter’s bias）
- 群体归因偏误（Group attribution bias）
- 历史偏误（Historical bias）
- 隐性偏误（Implicit bias）
- 内群体偏误（In-group bias）
- 外群体同质性偏误（Out-group homogeneity bias）
- 无应答偏误（Non-response bias）
- 参与偏误（Participation bias）
- 报告偏误（Reporting bias）
- 抽样偏误（Sampling bias）
- 选择偏误（Selection bias）