结语

大模型设计现状

相信经过第一册的阅读，大概理解了现代大语言模型的基础技术路线。其实当你理解了attention之后，剩下的概念看起来都相当朴素，我建议读者在遇到晦涩难懂的全新理论尤其是工程名词的时候，思考一下他们是怎么“出现”的，排除那些空洞的编造概念，可以说很多业界花哨的新词都是因为资源不足而产生的“替代算法”。当然，大多数深度学习的理论知识不考虑实现是很容易理解的，甚至那些最前沿的旗舰模型，论文远远没有那么复杂。

但是回到实现上，这里就很考验算法工程师对底层的理解了，我们会在第二册详细深入大模型的落地实现。 在第三册中，我们上升到应用层，这里充斥着新的概念，有一些要花费精力理解但最终会快速摒弃掉，所以在有限的时间力要谨慎跟随这种名词潮流，这又会继续考察算法工程师对领域的洞察力。

继续探索

• 第二册 工业级大模型技术：搭建好的模型需要真正训起来，跑起来。第二册会从底层讲起，这样你就能理解为什么内存条和显卡资源那么重要了。逐步的我们去探讨分布式训练与并行策略，优化器与训练配方，推理引擎，推理时技术，量化与部署，算子与 kernel。

• 第三册 大模型的二次迭代开发：如果目标是怎么作为大模型训练和推理岗位的核心成员，业界上可供选择的公司并不是很多，原因是大量的算力集中在头部企业。而实际业务上我们仍然有更多的需求在“小一点”的模型，第三册我们继续探索 后训练（SFT，DPO，RLVR），LoRA 与高效微调，评测体系，harness 与 Agent。用有限的资源做好服务。