词嵌入：随堂测验#

随堂测验： 共 5 题，你必须至少答对 4 题才能通过。

请勿作弊！等你确认已经掌握本模块的全部内容之后，再回来作答。

五道题，把“词嵌入”这一整章串起来验收一遍：什么样的数据值得做嵌入、嵌入的维度该怎么估、嵌入相对独热编码到底省了什么、隐藏层权重能不能当嵌入用，以及上下文嵌入和静态嵌入究竟差在哪儿。

单看每一题都不算难，但每一道都容易卡在一个特别容易含糊过去的点上，所以建议你先把 5 题全部做完，再逐题展开折叠区对照答案与解析。因为做一道题对一道题，很容易把“想得起来”误当成“真懂”。

第 1 题：哪些数据值得做嵌入#

以下哪些是嵌入的理想选择？（多选）

• A. 1999 年至 2024 年日本东京的每日最高温度。

• B. 简单病毒的基因组序列。

• C. 包含大量马匹高清照片的数据集。

• D. 大型软件项目中的代码行数。

第 2 题：嵌入的维度该怎么估#

你把一个 100 像素 × 100 像素的手写数字黑白图片数据库，编码成表示图片中像素的向量：白色记 0，黑色记 1。如果基于这个编码再创建一个嵌入，你的嵌入大约有多少个维度？

• A. 10,000 个维度

• B. 超过 10,000 个维度

• C. 少于 10,000 个维度

第 3 题：嵌入相对独热编码的优势#

与对同样的数据使用独热向量相比，使用嵌入向量表示特征数据有哪些优势？（多选）

• A. 使用嵌入向量的模型在训练期间需要调整的权重更少。

• B. 使用嵌入向量训练模型的速度会更快，费用也会更低。

• C. 基于嵌入训练的模型无需使用测试集进行评估。

• D. 使用嵌入向量时，数据的维度会增加，从而提高模型性能。

第 4 题：隐藏层权重能不能当嵌入用#

判断正误：从训练好的神经网络的隐藏层提取的权重，可以用做嵌入。

• A. 正确（True）

• B. 错误（False）

第 5 题：上下文嵌入与静态嵌入的差别#

上下文嵌入与静态嵌入有何不同？（多选）

• A. 上下文嵌入会编码位置信息，而静态嵌入则不会。

• B. 一个 token 由一个静态嵌入表示，但可以由多个上下文嵌入表示。

• C. 与静态嵌入相比，上下文嵌入的计算开销更低。

• D. 静态嵌入允许在所有用例中对向量执行具有语义意义的数学运算，而上下文嵌入则不允许。

做完之后可以回头对照一下：哪一题需要回去重读，就回到对应的小节——独热编码的弊端与嵌入的低维表示看词嵌入简介，嵌入空间与静态嵌入看嵌入空间与静态嵌入，动手在向量空间里观察最近的词看交互式练习，嵌入是怎么造出来的看获取嵌入。