第 2 章后训练数据工程与质量控制¶

开场问题：十万条自动生成指令，为什么可能不如两千条认真整理的失败样本？

2.1 不同训练方法需要不同的数据单元¶

SFT 样本是“上下文 → 理想回答”；偏好样本是“同一上下文 → chosen 与 rejected”；奖励模型样本还可以是多答案排序或逐项评分；RLVR 只需要题目和可靠验证器，回答由当前策略在线生成；Agent 数据是一整条包含观察、思考、工具调用、工具结果和最终答案的轨迹。

把一种数据强行转成另一种会丢信息。例如只有最终正确答案的数学题可以做 SFT，但没有过程监督时无法告诉模型哪一步出了错；只有点赞/点踩日志做 DPO，往往混入答案质量之外的长度、语气和用户情绪。

一条训练样本至少检查：

最后一条经常被忽略。输入缺少关键上下文，标注员凭内部知识写出正确答案，模型只能学会猜或背。

人工专家数据质量高、贵、规模小，并且专家常省略他们认为显然的步骤。真实日志贴近分布，但包含隐私、旧系统行为和未被发现的错误。教师模型生成便宜、覆盖广，却会复制教师偏差和语言风格。规则合成可精确控制难度，但容易模板化。

好的数据集通常混合来源，并给每条样本记录 provenance：来自哪个日志、哪个模型版本、什么生成 prompt、经过哪些过滤、谁审核过。没有来源记录的数据，后续发现问题时无法撤回。

至少有三层：

训练集内部重复会改变样本权重，让高频模板支配模型风格；训练—测试重复会制造虚假能力。两种危害不同，都要处理。

训练时每种数据出现多少次，就等价于给这种行为多大权重。一个领域数据集里 60% 是摘要，模型最终最明显的提升大概率也是摘要，即使产品真正关心的是少量复杂问答。

不能只按“自然数量”混合，要按能力目标设计采样率。还要监控 token 占比而非样本占比：一条长推理轨迹可能等于几十条短问答。

常见策略是分阶段 curriculum：先用高质量通用指令稳定格式，再加入领域任务；难度从短、可验证任务逐步增加到长、多步任务。但 curriculum 不是必然更好，必须通过开发集验证。

让当前模型跑真实或合成任务，把失败按第 1 章分类，再补针对性样本，这就是 error-driven data flywheel。

真正有价值的不只是“答错的题”，还包括：

这类样本提供的信息密度远高于随机生成十万条简单题。

训练前要做 PII 检测和脱敏，尤其是真实会话日志；需要保存用户同意和数据保留策略。版权与许可不能因为数据“在网上公开”就跳过。安全数据还要防止把危险内容连同详细执行步骤直接教给模型。

测试集必须像密钥一样隔离。不要把完整测试集交给生成训练数据的教师模型，不要让调参人员反复浏览测试答案，更不要把线上回归失败自动回流训练而不先检查它是否来自评测集。

数据集不是一个最终 JSONL，而是一条可重放流水线：原始来源 → 清洗 → 去重 → 过滤 → 生成/增强 → 审核 → 切分 → 模板化。

每一步都要有版本、配置和统计报告。模型实验记录的是这条流水线的版本，而不是“data_v7_final_final.jsonl”。

Q：高质量小数据为什么可能胜过大数据？ 后训练目标是移动已有模型的行为分布，不是从零学语言。高区分度、规则一致的数据提供的有效梯度更强；大量简单重复样本只会放大风格和模板。

Q：合成数据最大风险是什么？ 不只是事实错误，而是分布坍缩：模型反复学习同一种教师语言、解法和偏好，覆盖面越来越窄。

Q：应该按样本数还是 token 数配比？ 训练成本和 loss 都发生在 token 上，所以至少要看 token 占比。长推理数据会在样本数看似很少时占据大部分梯度。

Q：线上失败都应该回流训练吗？ 不。先分类：系统错误修系统，知识更新进 RAG，稳定行为缺陷才进入训练；还要排除隐私和评测集污染。