Skip to content

预训练框架(GPT生成) ​

定位:已经掌握常规深度学习与 Transformer 基础,当前只建立文本大语言模型及其预训练的完整知识框架;暂不深入多模态、Agent、复杂推理训练等专题。

第一轮目标:理解每一节在完整预训练流程中解决什么问题,不要求一次掌握全部公式、实现细节和系统优化。

建议学习主线:整体认知 → 模型 → Scaling Law → 数据 → 单机训练 → 分布式训练 → 评估闭环 → 后续阶段边界。

0、预训练整体认知 ​

0.1 大语言模型与预训练的基本概念 ​

0.1.1 什么是大语言模型 ​

0.1.2 预训练的本质:从大规模语料中学习概率分布 ​

0.1.3 预训练模型、基础模型与生成模型 ​

0.1.4 Base Model、Instruction Model 与 Chat Model ​

0.2 大模型生命周期的阶段划分 ​

0.2.1 从头预训练(Pre-training from Scratch) ​

0.2.2 持续预训练(Continued Pre-training) ​

0.2.3 监督微调(Supervised Fine-tuning) ​

0.2.4 偏好对齐(Preference Alignment) ​

0.2.5 推理与部署(Inference and Serving) ​

0.3 为什么主流大语言模型采用 Decoder-only ​

0.3.1 Encoder-only、Encoder–Decoder 与 Decoder-only 的任务差异 ​

0.3.2 Decoder-only 对生成任务的统一建模方式 ​

0.3.3 架构简单性、扩展性与规模化训练 ​

0.3.4 Decoder-only 的能力边界 ​


一、Decoder-only 因果语言模型 ​

1.1 预训练目标 ​

1.1.1 Token 序列与联合概率分解 ​

1.1.2 自回归建模:p(x1:T)=∏t=1Tp(xt∣x<t) ​

1.1.3 Causal Mask 与单向信息流 ​

1.1.4 输入与标签的右移(Shifted Labels) ​

1.1.5 Teacher Forcing 训练方式 ​

1.1.6 负对数似然与交叉熵损失 ​

1.1.8 Token-level Loss 与困惑度(Perplexity) ​

1.2 Decoder-only 的整体架构 ​

1.2.1 Token Embedding ​

1.2.2 位置信息注入 ​

1.2.3 多层 Transformer Decoder Block ​

1.2.4 Causal Self-Attention 子层 ​

1.2.5 Feed-Forward Network 子层 ​

1.2.6 残差连接与归一化 ​

1.2.7 Final Normalization 与 LM Head ​

1.2.8 输入 Embedding 与输出权重共享(Weight Tying) ​

1.3 关键组件的主流演进 ​

1.3.1 归一化位置:Post-Norm → Pre-Norm ​

1.3.2 归一化方法:LayerNorm → RMSNorm ​

1.3.3 激活函数:ReLU → GELU/SiLU ​

1.3.4 前馈网络:标准 FFN → GLU/SwiGLU ​

1.3.5 位置编码:绝对位置编码 → RoPE ​

1.3.6 注意力头:MHA → MQA/GQA ​

1.3.7 残差路径与参数初始化方式 ​

1.3.8 Bias、Dropout 等训练配置的变化 ​

1.4 模型配置、参数量与计算量 ​

1.4.1 词表大小与上下文长度 ​

1.4.2 层数、隐藏维度与注意力头数 ​

1.4.3 Head Dimension 与 GQA 分组数 ​

1.4.4 FFN 中间维度与扩展比例 ​

1.4.5 Embedding、Attention 与 FFN 的参数组成 ​

1.4.6 模型参数量的近似估算 ​

1.4.7 单个 Token 前向与训练 FLOPs 的近似估算 ​

1.4.8 模型容量、上下文长度与显存需求的关系 ​

1.5 MoE 稀疏专家模型 ​

1.5.1 Dense Model 与 MoE Model ​

1.5.2 Expert:用多个 FFN 替代单个 FFN ​

1.5.3 Router/Gating Network ​

1.5.4 Top-k 专家选择与稀疏激活 ​

1.5.5 总参数量与激活参数量 ​

1.5.6 专家容量与 Token 分配 ​

1.5.7 负载均衡与辅助损失 ​

1.5.8 Expert Parallelism 与 All-to-All 通信 ​

1.5.9 MoE 的收益、代价与适用场景 ​


二、Scaling Law 与计算最优 ​

2.1 Scaling Law 的基本思想 ​

2.1.1 为什么研究模型规模、数据规模与计算量 ​

2.1.2 模型参数量 N 与损失的幂律关系 ​

2.1.3 训练数据量 D 与损失的幂律关系 ​

2.1.4 计算量 C 与损失的幂律关系 ​

2.1.5 不可约损失与幂律指数 ​

2.1.6 Log–Log 坐标下的拟合与外推 ​

2.2 计算最优分配原则 ​

2.2.1 参数量、Token 数与训练计算量:C≈kND ​

2.2.2 固定计算预算下的参数—数据权衡 ​

2.2.3 Kaplan Scaling Law 的基本结论 ​

2.2.4 Chinchilla Scaling Law 的基本结论 ​

2.2.5 训练不足(Under-training) ​

2.2.6 数据不足与重复训练 ​

2.3 Scaling Law 对预训练规划的指导 ​

2.3.1 从硬件预算估计总计算量 ​

2.3.2 选择模型参数规模 ​

2.3.3 规划训练 Token 总量 ​

2.3.4 由全局 Batch Size 推算训练步数 ​

2.3.5 规划上下文长度与样本数量 ​

2.3.6 通过小模型试验拟合 Scaling 曲线 ​

2.3.7 为消融实验、评估与故障预留预算 ​

2.4 Scaling Law 的适用边界 ​

2.4.1 数据质量与数据分布变化 ​

2.4.2 架构和训练方法变化 ​

2.4.3 训练损失与下游能力并不完全等价 ​

2.4.4 小规模结果向大规模外推的风险 ​

2.4.5 预训练最优与推理成本最优的差异 ​


三、预训练数据工程 ​

3.1 数据在预训练中的核心地位 ​

3.1.1 数据规模决定知识覆盖范围 ​

3.1.2 数据质量决定有效学习信号 ​

3.1.3 数据多样性决定能力广度 ​

3.1.4 数据配比影响模型能力结构 ​

3.1.5 数据问题与模型问题的区分 ​

3.2 数据来源与类型 ​

3.2.1 通用网页文本 ​

3.2.2 书籍、百科与新闻 ​

3.2.3 学术论文与专业资料 ​

3.2.4 代码与技术文档 ​

3.2.5 问答、论坛与对话文本 ​

3.2.6 数学与推理类数据 ​

3.2.7 多语言数据 ​

3.2.8 垂直领域数据 ​

3.3 数据规模规划与数据集组织 ​

3.3.1 文档数、字节数与 Token 数 ​

3.3.2 原始语料、清洗语料与可训练语料 ​

3.3.3 Token 预算、Epoch 与数据重复率 ​

3.3.4 训练集、验证集与测试集划分 ​

3.3.5 数据分片(Sharding)与文件格式 ​

3.3.6 数据元信息与版本管理 ​

3.4 数据清洗流水线 ​

3.4.1 文档解析与正文抽取 ​

3.4.2 编码统一与文本规范化 ​

3.4.3 语言识别与语言过滤 ​

3.4.4 基于规则的低质量文本过滤 ​

3.4.5 基于模型的质量分类与打分 ​

3.4.6 文档级、段落级与近似去重 ​

3.4.7 垃圾内容、敏感信息与隐私过滤 ​

3.4.8 版权、许可与数据合规 ​

3.4.9 基准测试数据污染检查 ​

3.5 数据配比与混合策略 ​

3.5.1 按来源、领域和语言划分数据桶 ​

3.5.2 原始占比与目标采样权重 ​

3.5.3 高质量数据的上采样 ​

3.5.4 大规模通用数据的下采样 ​

3.5.5 温度采样(Temperature Sampling) ​

3.5.6 静态混合与分阶段混合 ​

3.5.7 通过消融实验确定数据配比 ​

3.6 Tokenizer ​

3.6.1 Tokenizer 在模型中的位置 ​

3.6.2 字符、字节、单词与子词粒度 ​

3.6.3 BPE ​

3.6.4 WordPiece ​

3.6.5 Unigram Language Model 与 SentencePiece ​

3.6.6 文本规范化与预分词 ​

3.6.7 词表大小的选择 ​

3.6.8 特殊 Token 的设计 ​

3.6.9 Byte Fallback 与未知字符处理 ​

3.6.10 多语言、代码与数字的 Token 效率 ​

3.6.11 Tokenizer 的训练、评估与版本固定 ​

3.7 从文档到训练样本 ​

3.7.1 文档 Tokenization ​

3.7.2 BOS、EOS 与文档边界 ​

3.7.3 截断、拼接与固定长度切分 ​

3.7.4 Sequence Packing 与 Padding ​

3.7.5 跨文档注意力与边界处理 ​

3.7.6 输入序列、目标序列与 Loss Mask ​

3.7.7 样本打乱与分布式数据分片 ​

3.8 数据质量验证 ​

3.8.1 文档长度、Token 长度与重复率统计 ​

3.8.2 语言、领域与来源分布统计 ​

3.8.3 低质量模式与异常样本抽检 ​

3.8.4 Tokenizer 覆盖率与压缩效率 ​

3.8.5 去重效果与污染率检查 ​

3.8.6 数据版本的可复现性 ​


四、完整预训练流程与优化 ​

4.1 训练前的配置与验证 ​

4.1.1 固定模型、数据与优化超参数 ​

4.1.2 参数初始化与随机种子 ​

4.1.3 检查张量形状与 Attention Mask ​

4.1.4 单 Batch 过拟合测试 ​

4.1.5 小规模训练 Dry Run ​

4.1.6 显存、吞吐量与训练时间估算 ​

4.2 训练循环基础 ​

4.2.1 Batch 读取与样本构造 ​

4.2.2 前向传播与 Logits 计算 ​

4.2.3 Token-level Loss 计算 ​

4.2.4 反向传播与梯度计算 ​

4.2.5 梯度累积 ​

4.2.6 梯度裁剪 ​

4.2.7 参数更新与学习率更新 ​

4.2.8 Step、Sample 与 Token 三种训练进度 ​

4.3 优化器选择 ​

4.3.1 SGD、Adam 与 AdamW 的定位 ​

4.3.2 AdamW 的一阶矩与二阶矩 ​

4.3.3 β1、β2 与 ϵ ​

4.3.4 解耦权重衰减(Decoupled Weight Decay) ​

4.3.5 不参与权重衰减的参数 ​

4.3.6 优化器状态的显存开销 ​

4.4 学习率与 Batch Size ​

4.4.1 Learning Rate Warmup ​

4.4.2 Constant、Linear 与 Cosine Decay ​

4.4.3 Peak Learning Rate 与 Minimum Learning Rate ​

4.4.4 Micro Batch、Global Batch 与梯度累积 ​

4.4.5 Batch Size 与梯度噪声 ​

4.4.6 Batch Size 变化时的学习率调整 ​

4.4.7 基于 Step 与基于 Token 的调度 ​

4.6 训练监控 ​

4.6.1 Training Loss 与 Validation Loss ​

4.6.2 Perplexity 与不同数据域上的 Loss ​

4.6.3 Gradient Norm 与 Update Norm ​

4.6.4 Learning Rate 与有效 Batch Size ​

4.6.5 Tokens/s、Samples/s 与迭代耗时 ​

4.6.6 GPU 利用率、显存与 MFU ​

4.6.7 数据加载与通信耗时 ​

4.7 Checkpoint 管理 ​

4.7.1 模型、优化器与学习率状态 ​

4.7.2 随机数状态与数据读取位置 ​

4.7.3 Checkpoint 保存频率与保留策略 ​

4.7.4 分布式 Checkpoint ​

4.7.5 断点续训与一致性验证 ​

4.7.6 最优、最终与中间 Checkpoint 的区别 ​

4.8 预训练实验的阶段组织 ​

4.8.1 代码正确性验证 ​

4.8.2 小模型超参数试验 ​

4.8.3 数据与模型消融实验 ​

4.8.4 中等规模 Scaling 试验 ​

4.8.5 全规模预训练 ​

4.8.6 训练末期学习率衰减与模型选择 ​


五、分布式训练与工程优化 ​

5.1 分布式训练的核心动因 ​

5.1.1 参数、梯度、优化器状态与激活值 ​

5.1.2 单卡显存限制 ​

5.1.3 单卡计算速度限制 ​

5.1.4 计算、通信、内存与存储瓶颈 ​

5.1.5 强扩展、弱扩展与扩展效率 ​

5.2 分布式训练基础概念 ​

5.2.1 Process、Rank、Local Rank 与 World Size ​

5.2.2 Process Group ​

5.2.3 All-Reduce ​

5.2.4 All-Gather 与 Reduce-Scatter ​

5.2.5 Broadcast 与 All-to-All ​

5.2.6 节点内通信与节点间通信 ​

5.3 基础并行策略 ​

5.3.1 数据并行(Data Parallelism) ​

5.3.2 张量并行(Tensor Parallelism) ​

5.3.3 流水线并行(Pipeline Parallelism) ​

5.3.4 序列并行(Sequence Parallelism) ​

5.3.5 上下文并行(Context Parallelism) ​

5.3.6 专家并行(Expert Parallelism) ​

5.3.7 3D 并行与混合并行 ​

5.4 混合精度训练 ​

5.4.1 FP32、FP16 与 BF16 ​

5.4.2 自动混合精度(AMP) ​

5.4.3 Master Weights 与高精度累加 ​

5.4.4 Loss Scaling ​

5.4.5 混合精度中的数值稳定性 ​

5.5 显存优化 ​

5.5.1 梯度累积 ​

5.5.2 激活重计算(Activation Checkpointing) ​

5.5.3 ZeRO-1、ZeRO-2 与 ZeRO-3 ​

5.5.4 Fully Sharded Data Parallel(FSDP) ​

5.5.5 CPU/NVMe Offload ​

5.5.6 显存估算与峰值显存分析 ​

5.6 算子与计算优化 ​

5.6.1 标准 Attention 的时间与空间复杂度 ​

5.6.2 FlashAttention 的基本目标 ​

5.6.3 Fused Kernel ​

5.6.4 Fused Optimizer ​

5.6.5 Sequence Packing 与减少无效 Padding ​

5.6.6 计算与通信重叠 ​

5.6.7 编译优化与算子性能分析 ​

5.7 主流训练框架 ​

5.7.1 PyTorch Distributed 与 DDP ​

5.7.2 PyTorch FSDP ​

5.7.3 DeepSpeed ​

5.7.4 Megatron-LM/Megatron-Core ​

5.7.5 Hugging Face Accelerate 与 Trainer ​

5.7.6 不同训练框架的定位与选择 ​

5.8 大规模训练工程实践 ​

5.8.1 GPU 集群拓扑与并行策略映射 ​

5.8.2 分布式数据加载与数据分片 ​

5.8.3 通信后端与 NCCL ​

5.8.4 吞吐量、MFU 与扩展效率 ​

5.8.5 Profiler 与性能瓶颈定位 ​

5.8.6 分布式 Checkpoint 的保存与加载 ​

5.8.7 节点故障、容错与自动恢复 ​

5.8.8 日志、实验追踪与可复现性 ​


六、预训练评估与反馈闭环 ​

6.1 预训练阶段的在线评估 ​

6.1.1 Training Loss 曲线 ​

6.1.2 Validation Loss 与 Perplexity ​

6.1.3 不同来源和领域的分组 Loss ​

6.1.4 Scaling 趋势与训练进度判断 ​

6.1.5 过拟合、欠拟合与数据重复 ​

6.1.6 中间 Checkpoint 的周期性评估 ​

6.2 基础能力基准测试 ​

6.2.1 语言理解与通识知识 ​

6.2.2 数学与逻辑推理 ​

6.2.3 代码生成与代码理解 ​

6.2.4 多语言能力 ​

6.2.5 Zero-shot、Few-shot 与 In-context Learning ​

6.2.6 统一 Prompt 模板与评测工具 ​

6.3 生成质量评估 ​

6.3.1 流畅性与连贯性 ​

6.3.2 上下文相关性与续写合理性 ​

6.3.3 事实性与幻觉 ​

6.3.4 重复、退化与输出多样性 ​

6.3.5 自动指标与人工评估 ​

6.3.6 固定解码策略以保证可比性 ​

6.4 安全性、记忆与数据污染评估 ​

6.4.1 有害内容与偏见 ​

6.4.2 隐私信息与训练数据记忆 ​

6.4.3 Benchmark Contamination ​

6.4.4 数据泄漏与异常高分 ​

6.5 评估结果的统计可靠性 ​

6.5.1 样本量与抽样误差 ​

6.5.2 随机种子与重复实验 ​

6.5.3 均值、方差与置信区间 ​

6.5.4 多任务平均分与分任务结果 ​

6.5.5 统计显著性与实际改进幅度 ​

6.6 评估的反馈作用 ​

6.6.1 调整数据质量与数据配比 ​

6.6.2 调整模型规模与结构配置 ​

6.6.3 调整优化器与学习率策略 ​

6.6.4 定位训练不稳定与工程瓶颈 ​

6.6.5 选择合适的 Checkpoint ​

6.6.6 形成下一轮预训练实验计划 ​

6.7 预训练评估的边界 ​

6.7.1 Base Model 能力与 Chat Model 能力的区别 ​

6.7.2 预训练 Loss 与实际生成能力的差异 ​

6.7.3 Benchmark 分数与真实应用能力的差异 ​

6.7.4 预训练评估不能替代后训练评估 ​


七、预训练与后续阶段的衔接 ​

本章只划分阶段和学习边界,后续再分别深入。

7.1 持续预训练 ​

7.1.1 领域持续预训练 ​

7.1.2 语言与知识更新 ​

7.1.3 灾难性遗忘与数据混合 ​

7.2 监督微调 ​

7.2.1 指令数据 ​

7.2.2 输入—输出模板 ​

7.2.3 Instruction Following ​

7.3 偏好对齐 ​

7.3.1 人类偏好数据 ​

7.3.2 Reward Model 与 RLHF ​

7.3.3 DPO 的基本定位 ​

7.4 推理与部署 ​

7.4.1 自回归解码 ​

7.4.2 KV Cache ​

7.4.4 量化与推理加速 ​

7.5 后续可扩展专题 ​

7.5.1 长上下文 ​

7.5.2 多模态大模型 ​

7.5.3 复杂推理与强化学习 ​

7.5.4 检索增强生成(RAG) ​

7.5.5 Agent 与工具调用 ​