“答错就写长一点”:GRPO 归一化项在扭曲什么

R1-Zero 的长度与奖励齐涨,可能有一半是优化器的偏好:1/|y| 让答错的回答变长,除以 std 偏向极端难度的题。

2026-08-29 · 9 分钟 · 4415 字 · njx