切换深色模式
scope
最短学习路线
| 顺序 | 学什么 | 学到什么程度就可以继续 |
|---|---|---|
| 1. LLM 如何生成多轮对话 | Token、next-token prediction、上下文窗口、system/user/assistant 消息、temperature | 能解释:模型如何根据已有对话生成下一条回复;为什么同样输入可能得到不同回答;多轮对话不意味着每轮都重新训练 |
| 2. 后训练与 SFT | Pre-training、Instruction tuning、SFT、训练与推理的区别;LoRA 的用途 | 能解释:SFT 的输入和训练目标是什么;示范回答怎样改变模型;LoRA 是一种节省微调资源的方式 |
| 3. 强化学习的最小概念 | Agent、environment、state/observation、action、policy、reward、trajectory、return | 能把对话对应进去:assistant 是 agent,回答是 action,完整交互是 trajectory;区分当前回答质量与最终任务成功 |
| 4. 偏好学习与 DPO | Preference pair、chosen/rejected、reference model;SFT 与 DPO 的区别 | 能解释:SFT 学示范回答,DPO 学两个回答之间的相对偏好;偏好标签从哪里来,为什么可能错误 |
| 5. 支撑实验的概率统计 | 均值、期望、方差、Monte Carlo、配对比较、置信区间、selection bias | 能解释:为什么一次模拟不能代表真实成功概率;为什么重复模拟;为什么只保留容易判断的样本可能改变数据分布 |
其中,第 3 步不要求你先学完强化学习。
现阶段只需要理解“当前行动可能影响未来结果”。以下内容可以暂缓:
- Bellman 方程的详细推导、Q-learning、Actor–Critic、PPO、GRPO。
- DPO 的完整数学推导。
- Beta/Dirichlet 后验、confidence sequences。
- 自适应采样算法、复杂去偏方法。
- 分布式训练系统和大规模工程优化。
还有一个容易混淆的地方:rollout 是把后续交互模拟出来,本身不等于训练;只有用结果更新模型参数时,才发生学习。 我们目前规划的是用 rollout 生成偏好标签,再用 DPO 训练。
学完后,项目可以用五句话理解
- 先用 SFT 得到一个能完成基本对话的模型。
- 对同一个对话历史,生成两个候选回答。
- 分别模拟后续对话,看哪个更容易完成任务。
- 因为模拟有随机性,研究怎样在有限预算下更可靠地比较它们。
- 把比较得到的偏好用于 DPO,检查是否改善模型。