截断的回答该怎么判:DAPO Overlong 在修什么
截断的回答默认按答错处理,会把奖励噪声注入 advantage。DAPO 的两个修法:屏蔽截断样本的 loss,或在长度上限前加一段线性惩罚坡。
截断的回答默认按答错处理,会把奖励噪声注入 advantage。DAPO 的两个修法:屏蔽截断样本的 loss,或在长度上限前加一段线性惩罚坡。
每题采 64、8 还是 2 条回答?G 是 GRPO 唯一的 baseline 来源和最大的算力开关,它到底买来了什么?
naive GRPO 训练中熵会快速坍缩。DAPO 只把裁剪上界从 0.2 抬到 0.28,背后是 PPO-Clip 在概率轴上的结构性不对称。