一票还是十票:token-mean 与 sample-mean 在争什么
500 token 和 5000 token 的回答,谁对梯度贡献更大?sample-mean 每条一票,token-mean 每个 token 一票,换法有隐藏代价。
500 token 和 5000 token 的回答,谁对梯度贡献更大?sample-mean 每条一票,token-mean 每个 token 一票,换法有隐藏代价。
R1-Zero 的长度与奖励齐涨,可能有一半是优化器的偏好:1/|y| 让答错的回答变长,除以 std 偏向极端难度的题。