返回首页

Roadmap
更新于 2026年10月10日 全文 5084 字未阅读

从零入门 LLM 工程师：四阶段路线图#

1. 前言#

最近收到不少读者的私信，问题大多长这样：「我数学/编程基础一般，想转行做大模型/LLM 应用，应该从哪里开始？」「本站这么多机器学习、深度学习、精选文章、Agent 文章，按什么顺序读最合适？」。这条路线图就是为这类读者准备的。

本站内容按主题分成了：机器学习、深度学习 、精选文章 、大模型开发应用、专题文章、精选课程 6大板块，如果一上来就从第一篇到最后一篇顺序读下去，不仅战线太长，而且短期见效也慢。

为了能更快地帮助各位读者入门大模型开发，我们把整个学习过程拆成下面四个阶段，每一阶段只读与该阶段目标最相关的文章，遇到不懂的细节先跳过。这样大约 3 个月就能具备 LLM 工程师岗位所需要的核心能力。

2. 阶段一：机器学习打底（4~6 周）#

目标：掌握常见机器学习算法的"主线思想"，为后续理解深度学习和大模型打基础。

对应《机器学习入门指南》中提到的"先抓主干后抓枝节"思想，本阶段对每个算法只读 X.1 那一节"思想 / 原理"篇即可，后面的数学推导、手写实现全部跳过。关于什么叫"阶段一"，可以重温那张"机器学习算法好比一颗枝繁叶茂的大树"示意图。

2.1 环境与基础准备#

2.2 监督学习主干#

只看每个算法的第一篇，理解它在解决什么问题、核心假设是什么即可：

2.3 无监督与降维主干#

2.4 阶段一收束#

读完上面大约 14 篇后，你应该能：

  1. 把每个算法用一句话讲清楚"它在解决什么问题、用什么思路解决"。
  2. 看一份新数据集，能大致判断该用监督 / 无监督 / 半监督里哪一类。
  3. 知道"过拟合 / 欠拟合 / 正则化"是怎么一回事。

不必追求每个算法都熟练推导数学或写完从零实现——那些属于阶段二、阶段三，放在后续需要时再回头补。

推荐资料：在读完上面这些"X.1"之后，可以重读一遍《机器学习入门指南：三阶段五步骤学习法详解》做一次回看，把里面的"5 个层次（3 个阶段）“和这里的"四阶段路线"对齐。

3. 阶段二：深度学习与现代神经网络（8~12 周）#

目标：吃透神经网络与主流架构，重点把 Transformer、BERT、GPT、ChatGPT 这条主线打通。

本站 content/dl 一共 91 篇，按章节顺序从神经网络基础一直写到 GPT 系列。不需要全部按序读完，下面这份清单只为"成为 LLM 工程师"这一个目标服务。建议跳过深度调参、3DCNN、ConvLSTM 等与 LLM 主线关系不大的章节。

3.1 入门与背景#

3.2 神经网络基础#

  • 第 3 章整套内容是后续所有模型的基石：线性回归 → 逻辑回归 → Softmax → 多层感知机 → 激活函数 → 损失函数 → 反向传播 → 过拟合与正则化。从 3.1 起按序读即可，目标是理解"前向计算 + 反向传播"是怎么在多层网络上工作的。
  • 第 4 章 卷积神经网络：作为入门只需要理解 4.1 卷积与池化、4.4 LeNet5、4.9 ResNet 三个里程碑即可，重点是把"卷积核、特征图、残差连接"这几个直觉建立起来，对 Transformer 里的 1D 卷积也用得上。

3.3 序列建模与注意力（LLM 必读）#

3.4 Transformer 与大模型主链（重点中的重点）#

这是整个路线最核心的一段，建议把 第 10 章 现代神经网络 完整读完，其中强烈建议按下面顺序精读：

  1. 10.1 ELMo 网络：理解"预训练表示"的起点。
  2. 10.2 Transformer 网络：整章的灵魂，必读。
  3. 10.3 Transformer 结构：理解 Encoder / Decoder 各自的角色。
  4. 10.6 BERT 模型：理解双向编码 + MLM。
  5. 10.13 GPT-1 模型、10.14 GPT-2 与 GPT-3：理解单向自回归语言模型。
  6. 10.16 InstructGPT 与 ChatGPT：理解"对齐"是怎么发生的。
  7. 10.17 提示词工程：理解"输入设计"为什么重要。
  8. 10.20 ChatGPT 与 GPT-4 生态：把上面所有线索串成一条主线。

如果在读完 10.3 时卡住了，可以暂时跳过数学推导，回到阶段三看精选文章里关于注意力、KV Cache 的图解，回头再读效果会更好。

3.5 训练工程基础#

为了后面能在 Colab / Kaggle / 单卡 / 多卡上真正跑起来，再补这一节：

这一节属于"会用即可、不必精通推导"的内容，挑需要的那一节读就行。

3.6 阶段二收束#

完成后你应该能：

  1. 解释"反向传播"在多层网络里是怎么传递梯度的。
  2. 把 Transformer 的 Q/K/V、自注意力、多头注意力机制讲清楚。
  3. 区分 BERT（双向编码）与 GPT（自回归生成）的训练目标。
  4. 用 PyTorch + Hugging Face Transformers 跑一个最小 GPT 或 BERT Demo。

阶段二结束并不意味着要看完整整 91 篇，完整读目录可以参考 /dl/；本阶段的核心是上面前 4 个子阶段覆盖到的 30~40 篇。

4. 阶段三：精选文章精读（4~6 周）#

目标：补齐阶段二中跳过的现代 LLM 工程细节，建立对大模型训练 / 推理 / 对齐的真实工程能力。

精选文章 /featured/ 是公众号合集，主题更聚焦、更前沿。这里建议按主题分簇精读，不必每篇都读。

4.1 第一簇：基本直觉与原理#

4.2 第二簇：Transformer 与注意力机制深入#

这一簇是阶段二第 3 节的延伸：

4.3 第三簇：归一化、激活与 FFN 工程细节#

4.4 第四簇：模型对齐与 RLHF#

LLM 工程师岗位必看的一簇，按下面顺序读：

  1. Bradley-Terry 模型详解：奖励模型 RLHF 目标函数的数学基础与梯度求解
  2. 奖励模型目标函数推导教程：OpenAI 三篇论文带你搞懂 RLHF 中 Reward Model 的变迁
  3. LLaMA 2 奖励模型实战教程：详解双 RM（Helpfulness + Safety）样本构建与训练流程
  4. 大模型对齐与奖励模型教程：详解 Alignment 到 InstructGPT RLHF 的演进

4.5 第五簇：架构演进与并行计算#

4.6 阶段三收束#

完成后你应该能：

  1. 用一到两句话讲清楚 RoPE、KV Cache、MQA/GQA、RMSNorm、SwiGLU 各自的角色。
  2. 解释 RLHF 的三阶段（SFT → RM → PPO）并画出数据流。
  3. 用 PyTorch 从零实现一次 Multi-Head Attention、KV Cache、RoPE、RMSNorm。
  4. 区分数据并行 / 张量并行，并能在 2 卡以上环境跑通 Hugging Face Accelerate。

精选文章总目录见 /featured/。阶段三不必把所有文章都读完，按上面 5 簇约 25~30 篇精读即可胜任 LLM 工程师面试的理论部分。

5. 阶段四：大模型应用与 AI Agent（6~10 周）#

目标：把上面学到的东西真正落到工程里：能用 SDK、调通 RAG、搭建 Agent、对接业务。

content/agent 共有 6 个章节、32 篇，按下面这个"由浅入深 + 项目驱动"的顺序读。

5.1 SDK 与工程接入（约 1~2 周）#

5.2 文档、向量化与检索（约 2~3 周）#

5.3 RAG Agent 与 ReAct（约 2~3 周）#

这是阶段四最核心的一段：

5.4 Agent 记忆机制（约 1~2 周）#

5.5 Skill 与 MCP（约 0.5~1 周）#

5.6 阶段四收束#

完成后你应该能：

  1. 用 DashScope + LangChain 跑通一个最小对话 Demo。
  2. 从零搭一个两阶段 RAG（含向量召回 + Reranking）并接入 Function Calling。
  3. 用 LangGraph 写一个带短期/长期记忆的 Mini ChatGPT 助手。
  4. 说出 Skill 与 MCP 在工具接入上的差异，并能用其中一种方式为 Agent 增加新工具。

整个 agent 目录见 /agent/。本阶段不必每篇都做实验，按上面 5.15.5 的 2830 篇精读 + 几个端到端 demo 即可独立承接 LLM 应用类项目。

6. 总体建议与节奏#

  1. 保持顺序，但允许回跳：阶段一 → 二 → 三 → 四是主轴，但在阶段三读 RoPE 时回头补阶段二第 10 章也是允许的，只要整条主轴没乱。
  2. 每一阶段都先做项目再往下走：阶段一在 Kaggle 上跑一次泰坦尼克号；阶段二在 Colab 上跑一次 BERT 微调；阶段三写一个 7B 模型加载 + KV Cache 加速 demo；阶段四做出一个可用 RAG 助手。
  3. 拒绝"收藏等于学完"：每个阶段都挑一本主线资料，按文章顺序推进。做完 > 看懂 > 收藏。
  4. 预留阅读其它内容的时间：本站还有 /tutorials/、/learning/、/syllabus/ 等小栏目，遇到具体场景再去查即可，不必在路线早期花时间。

7. 自检清单#

完成本文四阶段后，你可以用下面这份清单给自己摸底：

阶段一：机器学习基础

  1. 能用一句话讲清楚线性回归、逻辑回归、KNN、朴素贝叶斯、决策树、集成学习、SVM、Kmeans、PCA 各自的核心思想
  2. 能解释"过拟合 / 欠拟合 / 正则化"以及训练集 / 验证集 / 测试集的差异
  3. 能在 Kaggle 入门赛上用 scikit-learn 把 5 个以上算法各提交一次

阶段二：深度学习与现代网络

  1. 能解释前向计算 / 反向传播在多层网络里是如何工作的
  2. 能把 Transformer 的 Q/K/V、自注意力、多头注意力讲清楚
  3. 能区分 BERT（双向）与 GPT（自回归）的训练目标
  4. 能用 Hugging Face Transformers 跑通一个最小文本分类或文本生成 Demo

阶段三：精选文章

  1. 能讲清楚 RoPE、KV Cache、MQA/GQA、RMSNorm、SwiGLU 各自做了什么
  2. 能解释 RLHF 的 SFT / RM / PPO 三阶段
  3. 能从零实现一次 RoPE 或 KV Cache，并用 PyTorch 跑通
  4. 能在 2 卡以上环境用 Accelerate 跑一次数据并行训练

阶段四：LLM 应用与 Agent

  1. 能用 DashScope / 千问 SDK 搭一个最小对话 Demo
  2. 能从零搭建一个含向量召回 + Reranking 的两阶段 RAG
  3. 能用 LangGraph 写一个含短期/长期记忆的 Mini ChatGPT
  4. 说出 Skill 与 MCP 的差异，并能为 Agent 增加一个新工具

上述 15 条若打勾 12 条以上，你已经具备 LLM 工程师岗位的核心能力栈；若只打勾 8 条以下，建议先回到对应阶段做完整 1 个最小项目再往下推进。

8. 小结#

回到开头那个问题："从零入门 LLM 工程师，应该按什么顺序读本站文章？"。总结成下面三句话：

  1. 机器学习阶段只看 X.1：每个算法只读"思想"那一节，跳过数学推导与从零实现。
  2. 深度学习阶段以 Transformer 为心：以第 10 章为主轴，第 7/9 章为辅。
  3. 精选文章按主题分簇精读，Agent 文章按项目驱动：把读和做结合起来。

把这份清单配合《机器学习入门指南》《Python 学完后下一步该学什么》一起使用，应该能让"从零入门 LLM 工程师"从一个口号，变成一份可勾选、可执行、可验证的学习路径。如果你在执行过程中遇到了具体卡点（例如 RAG 召回率上不去、RLHF 训练 Loss 不收敛等），欢迎在评论区贴出来，我们一起把它打成下一篇文章。

阅读 --

机器学习

机器学习教程，覆盖线性回归、逻辑回归、决策树、SVM、聚类分析与 PCA，适合初学者系统入门。

深度学习

深度学习教程，系统讲解 CNN、RNN、Transformer、BERT、GPT 与 ChatGPT，兼顾原理、训练与实战。

精选文章

精选文章栏目，整理「@跟我学机器学习」公众号 2026 年最值得读的 AI/机器学习/深度学习/大模型技术解析合集。覆盖 Transformer、LLM 蒸馏、KV …