跳转至

第一部分 基础组件与工程

  • 第 0 章 基础数学知识与学习路线
  • 第 1 章 介绍语言模型概念、Encoder / Decoder / 自回归,通过一组数据流向厘清现代大模型的书就处理流程。
  • 第 2 章 介绍 Transformer的 核心组件:包括QKV、多头、因果掩码、FFN、残差、Norm、绝对位置等。
  • 第 3 章 组合核心组件,完成基础的训练搭建
  • 第 4 章 Prefill / Decode、KV 缓存与两阶段瓶颈;并说明取样、批调度、量化、投机解码与测试时多算各自改变哪一项