跳转至
现代大模型:做模型、跑模型、改模型
第二部分 监督微调与知识迁移
正在初始化搜索引擎
现代大模型:做模型、跑模型、改模型
关于这套书
01 architecture
02 systems
03 post training
现代大模型:做模型、跑模型、改模型
现代大模型:做模型、跑模型、改模型
关于这套书
01 architecture
01 architecture
序章 案例:行程助手
第一部分 基础组件与工程
第 0 章 预备知识
第 1 章 语言模型
第 2 章 核心组件
第 3 章 组装训练
第 4 章 推理生成
第二部分 稠密模型
第 5 章 稳定训练
第 6 章 位置表示
第 7 章 KV Cache 优化
第 8 章 组装稠密模型
第三部分 混合专家
第 9 章 混合专家模型
第 10 章 扩容
第四部分 长上下文
第 11 章 稀疏注意力
第12章 线性注意力
第 13 章 状态空间模型
第五部分 现代模型架构
第 14 章 混合架构
第 15 章 投机解码
第 16 章 Qwen架构解析
结语
附录 A 从 ResNet 到 CLIP:你已经会的组件在 LLM 里的位置
附录 B 关键节点拆解 Ⅰ:2017–2022,decoder-only 范式的确立
附录 C 关键节点拆解 Ⅱ:2023–2024,开源标准配方与第一轮分化
附录 D 关键节点拆解 Ⅲ:2025–2026,稀疏化、混合化与残差流的重写
附录 E 显存与速度速算表
附录 F muP 与超参迁移
附录 G 多模态入口:视觉怎么接进语言模型
02 systems
02 systems
第一部分 硬件性能与资源模型
第 0 章 GPU 系统与分布式计算基础
第 1 章 训练显存构成与容量分析
第 2 章 GPU 性能模型:算力、带宽与通信
第二部分 分布式训练
第 3 章 数据并行与梯度同步
第 4 章 训练状态分片:ZeRO 与 FSDP
第 5 章 模型内并行:TP、SP 与 CP
第 6 章 流水线并行与专家并行
第 7 章 多维并行策略与拓扑映射
第 8 章 大模型优化器:AdamW、Muon 与训练配方
第 9 章 长周期训练工程:数据、容错与 Goodput
第三部分 大模型推理系统
第 10 章 推理请求生命周期与性能指标
第 11 章 KV Cache 内存管理:PagedAttention 与前缀缓存
第 12 章 在线调度:连续批处理与 Chunked Prefill
第 13 章 多 GPU 推理与 Prefill/Decode 分离
第 14 章 投机解码的系统实现
专题 后训练系统:Rollout、权重同步与策略版本
第四部分 模型压缩与算子优化
第 15 章 数值表示与量化对象
第 16 章 后训练量化:GPTQ、AWQ 与 SmoothQuant
第 17 章 高性能 Kernel、图编译与执行后端
第五部分 评测、服务与部署
第 18 章 推理系统评测与容量规划
第 19 章 生产级模型服务
第 20 章 端侧模型部署
尾声 训练、推理与部署综合设计
附录 多模态服务
03 post training
03 post training
第一部分 任务定义与数据工程
第 0 章 后训练的目标与方法边界
第 1 章 任务规格、失败分类与基线设计
第 2 章 后训练数据工程与质量控制
第二部分 监督微调与知识迁移
第 3 章 监督微调:数据模板、损失与训练策略
第 4 章 继续预训练与领域适配
第 5 章 参数高效微调:LoRA 与 QLoRA
第 6 章 知识蒸馏与合成数据
第三部分 偏好对齐与推理训练
第 7 章 偏好数据与奖励建模
第 8 章 直接偏好优化:DPO 及其变体
第 9 章 语言模型强化学习:策略梯度与 PPO
第 10 章 可验证强化学习:GRPO、RLVR 与过程奖励
第 11 章 测试时计算:思维链与推理扩展
第 12 章 安全对齐、拒答策略与对齐税
第四部分 模型评测与迭代体系
第 13 章 大模型评测方法与指标体系
第 14 章 可复现评测系统:Evaluation Harness
第 15 章 模型裁判:LLM-as-a-Judge
第 16 章 数据污染、能力回归与迭代闭环
第五部分 检索增强与智能体系统
第 17 章 提示词与上下文工程
第 18 章 检索增强生成:从召回到可信回答
第 19 章 工具调用:协议、执行与安全边界
第 20 章 智能体系统:规划、记忆与行动循环
第 21 章 Agent Harness:运行时、状态与权限
第 22 章 前沿方向:可验证环境与模型—环境协同进化
尾声 方法选择:从 Prompt 到 Agentic RL
附录 多模态后训练
第二部分 监督微调与知识迁移
¶
目的
:从最稳定的后训练方法 SFT 开始,讲清楚一条对话如何变成 token loss;再区分继续预训练与指令微调,最后进入 LoRA、QLoRA、合成数据和蒸馏。
回到页面顶部