尾声 训练、推理与部署综合设计¶
第二册的验收不是"会用某个框架"，而是能独立完成下面三道题，并让每个选择都落到数字上。
题一：预训练集群¶
给定 70B 稠密模型、8K 序列、1024 张 GPU、固定 token 预算：
- 用第 1 章的方法算出单卡放不下的是哪一项。
- 按第 7.1 节的决策顺序定 TP / CP / FSDP / DP，并说明为什么 PP 用或不用。
- 选优化器（第 8 章），说明它对显存和收敛的影响，以及学习率要怎么定。
- 估算每卡显存、每步通信量、step 时间和 MFU。
- 设计数据管线、检查点周期（用 goodput 求最优）、故障恢复和监控项。
题二：在线推理服务¶
给定一个 MoE 模型、真实的输入输出长度分布、TTFT 和 TPOT 的 SLO：
- 决定副本数、TP、EP，以及要不要 PD 分离（并说明判据）。
- 算出权重和 KV 的显存占用，推出最大并发。
- 设计调度：token 预算、分块 Prefill、前缀缓存策略、接纳控制和降级链。
- 判断投机解码在哪个并发区间开、哪个区间关。
- 用 goodput 和每百万 token 成本验收，给出延迟—吞吐曲线和容量建议。
题三：端侧交付¶
给定目标 SoC、可用内存、功耗预算和质量下限：
- 选量化精度和要保高精度的层，说明依据。
- 确认 runtime 的算子覆盖，排查可能的回退点。
- 打包成单一制品（图、权重、tokenizer、采样、版本）。
- 在真机上完成长时间性能、峰值内存、温控和质量验收。
你现在应该能回答¶
- 这个方案为什么放得下？每一项显存花在哪？
- 它为什么是这个速度？瓶颈是算力、带宽、容量还是排队？
- 流量翻倍，最先坏的是哪里？
- 某项优化省了什么、把代价转移到了哪里、在什么工作点上会反转？
- 出现 OOM、吞吐下降、p99 恶化或质量回退时，按什么顺序排查？
能用数字回答这五个问题，而不是报框架名，才算真正掌握了工业级大模型技术。
下一册：模型能训能跑之后，怎么把它改成你的——后训练、LoRA、评测、harness 与 Agent。