附录 G 多模态入口：视觉怎么接进语言模型¶

这是给本书读者准备的岔路口。你的视觉背景在这里第一次变成正资产。

主流接法只有一种结构¶

视觉编码器 → 连接器 → 语言模型

视觉编码器：通常是 ViT（常用 SigLIP 一类的对比学习预训练权重）。你熟悉的那部分。
连接器（projector）：把视觉特征映射成语言模型能吃的 token 序列。可以简单到一个 MLP，也可以用一组可学习 query 去压缩（Q-Former 一类）。它的核心任务是控制视觉 token 的数量——一张高分辨率图可能产生上千个 token，直接塞进去成本极高。
语言模型：就是本书前十五章讲的那台模型，一个字都不用改。

视觉 token 和文本 token 拼在同一个序列里，之后的一切都和纯文本模型完全一样。

KV 显存的公式照样成立（视觉 token 一样占 KV，而且量大）；长上下文的两条路线同样适用（多图和视频就是超长序列）；MoE、混合架构、MTP 全部通用。

唯一新增的问题集中在编码器和连接器：动态分辨率怎么处理、视觉 token 如何压缩、图文如何对齐、位置编码在二维空间怎么扩展（如二维 RoPE）。

大体是：先只训连接器（冻结两端）对齐模态 → 再放开语言模型做图文联合预训练 → 最后做指令微调。细节属于第三册。

Qwen-VL 系列、LLaVA 系列（最简洁的参考实现）、以及原生多模态方向的探索（图像生成与理解统一在一个自回归框架里）。

从这里出发，你会发现自己是少数两边都懂的人——这本书的最终价值可能就在这里。