同一个模型,两个概率:训练推理不一致的代价

rollout 与训练用不同引擎,同一个模型算出两个概率,on-policy 悄悄变成 off-policy。差异从哪来、代价是什么、怎么补。

2026-08-27 · 11 分钟 · 5086 字 · njx