01 BERT 模型结构与两大预训练任务从 BERT 与 Transformer Encoder 关系出发，系统讲清 BERT 网络结构及 MLM 与 NSP 两个预训练任务的原理与动机。 0/1 未开始 ⌄ 第1讲 BERT 原理与预训练教程：MLM 与 NSP 图解 课件 视频 代码 原图 PDF 60 分钟 未开始
02 从零实现 BertModel 与预训练权重加载用 PyTorch 从零实现 BertEmbeddings、BertAttention、BertEncoder、BertModel 及权重的保存、加载与迁移。 0/2 未开始 ⌄ 第2讲 BERT 模型 PyTorch 从零实现教程：工程结构、BertConfig 与 BertModel 源码详解 视频 75 分钟 未开始 第3讲 PyTorch 模型保存与迁移教程：BERT 预训练权重加载、推理与增量训练实战 视频 30 分钟 未开始
03 下游任务微调：分类、蕴含、选择、问答、NER5 大经典 NLP 任务精讲：单文本分类、文本对分类、问答四选一、start/end position 阅读理解、BIO 标签 NER。 0/5 未开始 ⌄ 第4讲 BERT 文本分类实战教程：从 [CLS] 微调到 38 万今日头条 15 类新闻分类 视频 60 分钟 未开始 第5讲 BERT 文本蕴含实战教程：基于 Segment Embedding 在 MNLI 上微调 NLI 三分类45 分钟 未开始 第6讲 BERT 问答选择实战教程：基于 SWAG 数据集微调四选一常识推理任务 视频 45 分钟 未开始 第8讲 BERT SQuAD 阅读理解实战：start/end position 预测与滑动窗口长文本处理 视频 60 分钟 未开始 第10讲 BERT NER 命名体识别实战教程：从 BIO 标签到中文实体抽取微调45 分钟 未开始
04 训练工具与 MLM+NSP 预训练复现warmup 公式与 LambdaLR 自定义实现，用 TensorBoard 监控训练全过程及从零构造 MLM 与 NSP 数据训练 BERT。 0/3 未开始 ⌄ 第7讲 Transformer 动态学习率教程：详解 warmup 公式与 PyTorch LambdaLR 自定义实现30 分钟 未开始 第9讲 PyTorch TensorBoard 教程：详解 add_scalar、add_graph 等可视化方法25 分钟 未开始 第11讲 BERT 预训练从零实现教程：详解 MLM + NSP 数据构造与训练全流程 视频 60 分钟 未开始
