第一册 现代大模型架构¶
面向读者：有深度学习基础，想了解 2020–2026 现代大模型技术的人
读完能做到：看懂当前旗舰模型的结构，为之后训练和后训练做准备
本书主要介绍大模型时代的新技术并串联起概念，并不是自顶向下的架构设计。当然，新技术指的是已经沉淀下来的技术，没有那些时效低下的空洞概念 这里没有详细代码，没有严谨的数学推导，只讲what不讲how
三册分工¶
| 册 | 主题 |
|---|---|
| 第一册：做模型 | 模型由哪些模块组成，为什么这样设计 |
| 第二册：跑模型 | 高效执行模型训练和推理 |
| 第三册：改模型 | 微调，后训练，优化，评测和新技术 |
目录¶
- 序章 案例：行程助手：语言模型的经典应用：和用户对话
第一部分 基础组件与工程¶
- 第 0 章 预备知识：线性代数，概率与信息论，微积分；深度学习组件；序列建模（注意力）；工程与硬件常识；全书记号与自查清单
- 第 1 章 语言模型：Encoder / Decoder / Encoder–Decoder；自回归；数据流
- 第 2 章 核心组件：注意力 Attention；因果掩码；FFN；残差；LayerNorm；Post-LN；位置编码
- 第 3 章 组装训练：交叉熵，AdamW，梯度裁剪，warmup；训练代码
- 第 4 章 推理生成：Prefill 与 Decode；KV Cache
第二部分 稠密模型¶
- 第 5 章 稳定训练：Pre-LN；RMSNorm；门控 FFN（SwiGLU）；QK-Norm 与 attention logits；初始化与残差缩放；模型规模介绍
- 第 6 章 位置表示：RoPE
- 第 7 章 KV Cache 优化：MQA；GQA；MLA；跨层共享 KV
- 第 8 章 组装稠密模型：训练代码
第三部分 混合专家¶
- 第 9 章 混合专家模型：专家层；路由；负载均衡；
- 第 10 章 扩容：Scaling Law
第四部分 长上下文¶
- 第 11 章 稀疏注意力：注意力本就稀疏的前提；滑动窗口，全局 token，Attention Sink；按块稀疏；可学习检索式稀疏；与 FlashAttention / GQA 分账；代价与适用边界
- 第 12 章 线性注意力：线性化与固定状态；遗忘与 delta；GDN；精确检索天花板
- 第 13 章 状态空间模型：状态方程；选择性 SSM / Mamba；与线性注意力对读；同样的容量天花板
第五部分 混合架构¶
- 第 14 章 混合注意力架构：设计原则与层间配置：稀疏与线性的互补；层间比例与位置；局部/全局交替与层内混合；横向对照；混完后重算 KV 与计算量
- 第 15 章 多 Token 预测与投机解码架构：为何一次多猜几个 token 划算；投机解码与无损接受；草稿来源；MTP；门控残差等加速/稳定件；架构对部署的接口
- 第 16 章 Qwen3.8-Flash-Next 架构解析：总体骨架；GDN 与 QSA 数据流；MoE 与手算参数；n-gram 嵌入；MTP；从 config 算显存与吞吐；通用 vs 专属对照
- 结语：手上现在有什么；回看行程对话；通向第二、三册
附录¶
- 附录 A 从 ResNet 到 CLIP：残差流，Pre-LN，BatchNorm 进不了 LLM，ViT，CLIP/SigLIP
- 附录 B 关键节点 Ⅰ（2017–2022）：Transformer 组件；decoder-only；GPT-2/3；Scaling law；PaLM 配方
- 附录 C 关键节点 Ⅱ（2023–2024）：LLaMA 配方；Mistral/Mixtral；MLA；Gemma 2 交替；线性/状态路线；DeepSeek-V3；长上下文补丁
- 附录 D 关键节点 Ⅲ（2025–2026）：四个旗舰对照；激活比例，3:1 混合两派，残差流改写；稀疏两种打法
- 附录 E 显存与速度速算表：权重显存，KV 显存，计算量
- 附录 F muP 与超参迁移：muP 在做什么，相关调度与优化器
- 附录 G 多模态入口：连接器，特征融合