一票还是十票:token-mean 与 sample-mean 在争什么

500 token 和 5000 token 的回答,谁对梯度贡献更大?sample-mean 每条一票,token-mean 每个 token 一票,换法有隐藏代价。

2026-08-30 · 9 分钟 · 4054 字 · njx

“答错就写长一点”:GRPO 归一化项在扭曲什么

R1-Zero 的长度与奖励齐涨,可能有一半是优化器的偏好:1/|y| 让答错的回答变长,除以 std 偏向极端难度的题。

2026-08-29 · 9 分钟 · 4415 字 · njx