第三部分大模型推理系统¶

目的：第一册解释了模型怎样生成一个 token。这一部分解释成千上万个请求同时到来时，系统怎样管理显存、拼批、跨卡执行，并在延迟目标内持续吐字。

一个判断标准贯穿全部分：每项技术动的是哪条瓶颈。只有四条——算力、显存带宽、显存容量、排队。分页动容量，调度动排队，缓存直接消掉工作量，量化动带宽。先定位，再谈优化。