生产机器学习系统：随堂测验#

随堂测验： 共 5 题，你必须至少答对 4 题才能通过。

请勿作弊！等你确认已经掌握本模块的全部内容之后，再回来作答。

五道题，涵盖“生产环境机器学习系统”这一整章：采样窗口、训练-服务偏离、训练数据的覆盖面、反馈回路、推理延迟等主题。建议你先把 5 题全部做完，再统一展开折叠区对照。

第 1 题：重训练时采样窗口该取多长#

你正在用机器学习训练一个预测“独角兽是否出现”的分类模型。数据集里记录了 10,000 次独角兽出现和 10,000 次独角兽没有出现的情况，特征包括位置、一天中的时段、海拔、温度、湿度、树木覆盖率、有没有彩虹等若干项。

独角兽出现预测器上线之后，你需要靠不断用新数据重训练来让模型保持鲜活。可新数据收得太多，于是你决定用一个时间窗口来采样新数据、限制训练集的规模。同时，独角兽出现的“每日模式”和“年度模式”也都得考虑进去。你会选多长的窗口？

• A. 一天 —— 因为窗口再大就会产生大量数据，模型训练时间会太长。

• B. 一周 —— 这样数据集不会太大，同时仍能把一些模式平滑掉。

• C. 一年 —— 这样能确保模型不会被年度模式带偏。

第 2 题：模型变差了，该怪谁#

你把独角兽出现预测器推上线了，运行得挺好。你去休了个假，三周后回来，发现模型质量明显下降。假设独角兽的行为在三周内不太可能发生明显变化，那么最可能的原因是什么？

• A. 训练-服务偏离：模型开始服务之后，推理数据的格式在某个时点发生了渐变。

• B. 你在训练时用了准确率（accuracy）作为评估指标。

• C. 你的模型过期了。

• D. 以上都不是。

第 3 题：南极预测不准问题出在哪#

你回头检查模型对南极的预测，发现模型从发布上线的那一刻起，在南极的预测就一直很差。下列哪些可能是问题的来源？

• A. 你的训练样本里南极的数据不够。

• B. 你用了动态训练，而不是静态训练。

• C. 你的模型过期了。

• D. 以上都是。

第 4 题：城区质量小幅下滑为什么#

你的独角兽出现预测器已经运行了一年。这期间你修掉了不少问题，现在效果很好。但你注意到一个小却始终存在的问题：模型在城区的效果略有下滑。可能是什么原因？

• A. 你的预测效果太好，用户更容易找到独角兽，反过来影响了独角兽本身的行为。

• B. 城区本来就难建模。

• C. 独角兽的出现被重复上报了好几次，训练数据因此产生偏离。

第 5 题：推理太慢，怎么救#

经过一通排查，你把独角兽模型的预测效果提高了不少，用量也跟着涨了十倍。可用户开始抱怨模型慢得离谱，一次推理请求通常要 30 秒以上才返回。下列哪些改动可能解决这个问题？

• A. 把模型从动态训练换成静态训练。

• B. 把模型从动态推理换成静态推理。

• C. 在对外服务之前先校验模型质量。

• D. 以上方案都帮不上忙。

做完之后可以回头对照一下：哪一题需要回去重读，就回到对应的小节——采样窗口与重训练节奏看静态训练与动态训练，推理延迟看静态推理与动态推理，服务前的校验看部署测试，训练-服务偏离与模型年龄看监控流水线，反馈回路看该问哪些问题。