牛跟投 SFT别急着接RL！你的多模态大模型可能一直在“带伤训练”

SFT 之后，直接上强化学习就够了吗？

小心，你做的可能不是"训练"，而是"还债"。

在多模态大模型（MLLM）的后训练中，行业内长期遵循着一个看似天经地义的范式：先 SFT，再 RL，两步到位。

从 DeepSeek 到 Qwen，从 GRPO 到 DAPO，大家拼命优化 RL 算法的稳定性、采样效率、奖励设计……却几乎没人回头看一眼：

SFT 到 RL 之间，是不是少了点什么？

但来自香港科技大学（广州）、南洋理工大学、清华大学等机构的最新研究 Beyond SFT-to-RL ( PRISM ) 给出了一个令人不安的发现：

SFT 不仅没有为 RL 铺好路，反而在悄悄挖坑。

被忽视的"隐形断层"：SFT 到底做了什么？

先看一组比较有意思的数据（7 个主流多模态 benchmark 的平均准确率）：

阶段

Qwen3-VL-4B

Qwen3-VL-8B

原始 Instruct 模型

59.7%

63.3%

SFT 之后

56.8% ( -3.0 )

58.1% ( -5.2 )

SFT → GRPO

61.8%

可以看到，SFT 之后，模型性能反而下降了。

8B 模型要更为明显一点：SFT 掉了 5.2 个点，辛辛苦苦做完强化学习，才刚刚爬回基线 ( baseline ) 的水平（63.3% → 58.1% → 63.3%）。

也就是说，你的 RL 可能一直在"还债"，而不是在"提升"。

而且这绝不是个例。

在当下主流的强 Instruct 模型上（Qwen3-VL 等），只要 SFT 数据带入一个与基座不一致的新分布（比如目前最常见的 GPT/Gemini 蒸馏数据）几乎都会观察到类似的掉点。

原因很直接：这类基座已经经过大规模、精细的后训练，能力本就处于一个相对稳定的高位。

SFT 逼着模型去模仿一套新分布，结果就是用一个更"窄"的分布去覆盖一个更"广"的能力，旧能力被冲掉、新能力又没真正学到。

换句话说，模型越强、越接近实际部署的水平，SFT 引入的分布偏移就越成为 RL 之前一道绕不开的"暗坑"。

这恰恰是 PRISM 必须存在的理由。

这背后的核心问题，是后训练里早已被反复讨论的分布漂移（Distributional Drift）。

但在多模态场景下，它有一套更隐蔽、也更难治的表现形式。

问题根源：SFT 引入的两类偏差

SFT 在多模态场景下，会引入两类容易被忽视的偏差：

偏差一：表面模仿—— token 级 loss 把过程和结果同权处理

SFT 的优化目标是在均匀的 token 级 loss 下模仿演示轨迹。

它不区分"过程"和"结果"：对模型来说，正确的推理步骤和格式化的模板套话，权重是一样的。

结果就是模型学会了"长得像"正确答案，而不是"想得出"正确答案。它学到的是表面模式，而非忠实的推理能力。

偏差二：感知漂移与推理漂移在同一个 loss 里被混起来

这是多模态场景特有的麻烦。与纯文本模型不同，多模态模型的漂移不是单一的，而是两种定性不同的失败模式在同时发生：

感知漂移：视觉定位出错，模型"看错了"

推理漂移：逻辑推导失败，模型"想歪了"

这两种漂移的成因不同、纠正方式不同，但 SFT 用同一个 token loss 把它们一起拟合。

而当 RL 阶段时，模型已经在感知和推理两端同时偏移，即一个"既看不准、又想不对"的模型。

现有 RL 算法为什么救不了？

从 GRPO，到 DAPO，再到 GSPO，RL 算法这一段时间确实一直在进步。

但它们解决的是RL 阶段内部的问题：采样效率、梯度方差、策略崩溃。没有任何一个 RL 算法回头去修复 SFT 留下的分布偏差。

这里举个不太恰当的例子：这里就好比你参加百米短跑，SFT 不仅没有让你往前走，反而把你向后推了 50 米。

现有的 RL 算法都在研究怎么跑得更快，但起点还在坑里，而 PRISM 要做的，就是在 SFT 和 RL 之间补上这一步，不仅把你拉回起跑线，还顺势往前推一把，让 RL 只用跑 50 米就能冲线。

PRISM 的核心方案：三阶段流水线 ( Pipeline )

PRISM 打破了传统的两阶段范式，提出了SFT → 分布对齐 ( PRISM ) → RLVR的三阶段流水线。

关键创新在于中间的分布对齐阶段。

混合专家判别器（MoE Discriminator）

感知漂移和推理漂移是两类成因不同的偏差，需要分开处理。

PRISM 为此设计了一个混合专家判别器，由两个专门化的专家组成：

感知专家 D_v：专门评估视觉描述，测量模型的输出是否忠实于图像内容，解决感知漂移

推理专家 D_r：专门评估推理轨迹，测量逻辑推导是否一致有效，解决推理漂移

最终判别得分为两者的加权组合：

r ( x,y ) = α · D_v ( x,c ) + ( 1- α ) · D_r ( x,t )

这种设计的好处是提供解耦的纠正信号，避免将两种完全不同的误差模式塞进一个标量里，导致梯度信号变得嘈杂。

黑盒蒸馏：不需要教师 logits

PRISM 的另一个优雅之处在于：它是黑盒的。

很多蒸馏方法需要访问教师模型的 logits（内部概率分布），这意味着你得有教师模型的完整权重。

但在实际场景中，最强的模型往往只提供 API，你只能看到输出，看不到内部状态。

PRISM 完全在响应级别工作：从强模型（Gemini 3 Flash）采集高质量输出作为正样本，从当前策略采样作为负样本，通过对抗博弈来对齐分布。

只要能调 API，就能用 PRISM。

一个重要的设计决策：去掉 KL 正则化

传统 RL 训练通常会加一个 KL 散度约束，防止策略偏离初始模型太远。但 PRISM 有意识地去掉了这个约束。

道理很简单，对齐阶段的目的，就是纠正 SFT 带来的分布偏差。再加一个把策略拉回 SFT 分布的 KL 约束，本身就和这个目标相互矛盾。

分布演变：对齐真的把模型拉回到更好的起始点

下图直观地展示了分布的演变过程：从 Base 到 Post-SFT 再到 Post-Alignment，无论是推理步数还是视觉描述项数的分布，都在逐步向监督数据靠拢：

可以清晰看到：Post-SFT（蓝线）与 Supervision（黑线）仍有明显偏差，而 Post-Alignment（橙线）则大幅缩小了这一差距，且这种改进在 Post-RLVR（绿线）阶段得以保持。

实验验证

在 Qwen3-VL 的 4B 和 8B 两个规模上，PRISM 搭配GRPO/DAPO/GSPO三种主流 RL 算法，在4 个数学推理基准（MathVista、MathVerse、MathVision、WeMath）和3 个通用多模态基准（MMMU、MMMU-Pro、HallusionBench）上全面验证了有效性。

下表是论文 Table 1 的主结果（灰色行为 PRISM）：