大型语言模型：随堂测验#

随堂测验： 共 5 题，你必须至少答对 4 题才能通过。

请勿作弊！等你确认已经掌握本模块的全部内容之后，再回来作答。

五道题，把“大语言模型”这一整章的内容串起来验收一遍：2-gram 到底该怎么数、LLM 凭什么比别的语言模型预测得准、完整的 Transformer 由哪两部分组成、模型靠什么机制读懂句子里某个词的言外之意，以及微调和蒸馏到底差在哪儿。

单看每一题都不算难，但每一道都容易卡在一个特别容易含糊过去的点上，所以建议你先把 5 题全部做完，再逐题展开折叠区对照答案与解析。因为做一道题对一道题，很容易把“想得起来”误当成“真懂”。

第 1 题：这句话里有几个 2-gram#

下面这句话里包含多少个 2-gram（二元语法）？

they visited New York last week

• A. 3

• B. 4

• C. 5

• D. 6

第 2 题：LLM 凭什么比别的语言模型预测得准#

下列哪些属性能让大语言模型比其它类型的语言模型做出更好的预测？（多选）

• A. LLM 包含多得多的参数。

• B. LLM 能捕捉到更多的上下文。

• C. LLM 不需要用那么多数据来训练。

• D. LLM 从不产生幻觉。

第 3 题：完整的 Transformer 由哪两部分组成#

判断正误：完整的 Transformer 同时包含编码器和解码器。

• A. 正确（True）

• B. 错误（False）

第 4 题：模型靠什么读懂 “cool”#

一个 LLM 在一大份语料上训练，语料里有这么一句话：

My cousin's new fashion line is so cool!

是什么机制，能让 LLM 学会在这句话里，cool 最可能表示“很棒”，而不是指衣服的温度？

• A. 提示工程

• B. 解码器

• C. 蒸馏

• D. 自注意力

第 5 题：微调与蒸馏的区别#

关于微调（fine-tuning）与蒸馏（distillation），下列哪一条说法是对的？

• A. 微调会增加模型的参数量，而蒸馏会减少模型的参数量。

• B. 微调通常会提升模型预测的质量，而蒸馏通常会降低模型预测的质量。

• C. 微调是针对文本模型做的，而蒸馏是针对图像模型做的。

• D. 以上说法都不对。

MLWM： 语言模型与 N 元语法的基本盘可以看自然语言处理基础：NLP 任务、流程与建模对象；Transformer、自注意力与上下文学习可以看GPT-2与GPT-3模型 第10.14.4节内容。

做完之后可以回头对照一下：哪一题需要回去重读，就回到对应的小节——N 元语法与上下文看大型语言模型简介，Transformer 与自注意力看什么才是大语言模型，微调、蒸馏与提示工程看微调、蒸馏与提示工程。