类别型数据：常见问题#
数值型数据通常由科学仪器或自动化测量采集而来；类别型数据则不一样——它们往往是由人，或者由机器学习模型分类出来的。于是有两个问题变得特别关键：谁决定了类别和标签、以及他们怎么做这个决定。这两点直接影响数据的可靠性与实用性。
人工评分者#
由人手工标注的数据，通常被称为金标签（gold labels）。因为数据质量相对更好，它们在训练模型时往往比机器标注的数据更受欢迎。
但这并不等于任何一份人工标注的数据都是高质量的。人为失误、偏见乃至恶意，都可能在数据采集的环节，或者在数据清洗与处理的过程中被引入。训练之前，先把它们查出来。
同一份样本，两个人的标注结果可能就不一样。评分者之间这种判断上的差异，被称为评分者间一致性（inter-rater agreement）。想要摸清评分者意见的分歧有多大，可以给每份样本安排多个评分者，再测量他们之间的一致性。
衡量评分者间一致性的常见方法有：
Cohen’s kappa 及其变体
组内相关系数（Intra-class correlation, ICC）
Krippendorff’s alpha
关于 Cohen’s kappa 与组内相关系数的细节，可以参考 Hallgren 2012；关于 Krippendorff’s alpha 的细节，可以参考 Krippendorff 2011。
机器评分者#
机器标注的数据，也就是类别由一个或多个分类模型自动判定出来的数据——通常被称为银标签（silver labels）。
银标签的质量可能相差极大。你要检查的，不只是它的准确率和偏见，还包括它有没有违背常识、现实与意图。举个例子：如果一个计算机视觉模型把一张「吉娃娃的照片」标成了「松饼」，或者反过来把「松饼」标成「吉娃娃」，那么在这份标注数据上训练出来的模型，质量必然要打折扣。
再比如，一个情感分析器把中性词打分成 -0.25（而 0.0 才是中性值），那么它可能是在给所有词都加上一层数据里其实并不存在的负面倾向；一个过度敏感的毒性检测器，也可能把许多中性陈述误判成有毒。在拿去训练之前，先想办法摸清你数据里机器标签与机器标注的质量和偏见。
高维度#
类别型数据很容易产生高维度的特征向量，也就是元素个数很多的特征向量。而高维度会推高训练成本、让训练变得更困难。正因如此，机器学习专家常常会在训练之前，先想办法把维度降下来。
对自然语言数据来说，主流的降维方法是把特征向量转换成嵌入向量。这一点会在本课程后面的嵌入模块中展开讨论。
关键术语：
- 评分者间一致性（Inter-rater agreement）