切换深色模式
预训练框架(GPT生成)
定位:已经掌握常规深度学习与 Transformer 基础,当前只建立文本大语言模型及其预训练的完整知识框架;暂不深入多模态、Agent、复杂推理训练等专题。
第一轮目标:理解每一节在完整预训练流程中解决什么问题,不要求一次掌握全部公式、实现细节和系统优化。
建议学习主线:整体认知 → 模型 → Scaling Law → 数据 → 单机训练 → 分布式训练 → 评估闭环 → 后续阶段边界。
三、预训练数据工程
四、完整预训练流程与优化
五、分布式训练与工程优化
六、预训练评估与反馈闭环
七、预训练与后续阶段的衔接
本章只划分阶段和学习边界,后续再分别深入。