「模型自己把自己练强」:RSI 与三个闭环

RSI(递归自我改进)常被混为一谈。把自我改进拆成数据、奖励、系统三个闭环,各自的成立条件和失效模式并不相同。

2026-09-01 · 7 分钟 · 3237 字 · njx

7 轮交互失败了该怪谁:奖励归因怎么进 GRPO/GSPO

多轮 agentic RL 里一条轨迹只有一个最终奖励,第几轮的错该怎么分摊?形式化、归因谱系,以及 GSPO-token 留的口子。

2026-08-31 · 10 分钟 · 4896 字 · njx

一票还是十票:token-mean 与 sample-mean 在争什么

500 token 和 5000 token 的回答,谁对梯度贡献更大?sample-mean 每条一票,token-mean 每个 token 一票,换法有隐藏代价。

2026-08-30 · 9 分钟 · 4054 字 · njx

截断的回答该怎么判:DAPO Overlong 在修什么

截断的回答默认按答错处理,会把奖励噪声注入 advantage。DAPO 的两个修法:屏蔽截断样本的 loss,或在长度上限前加一段线性惩罚坡。

2026-08-30 · 8 分钟 · 3651 字 · njx

“答错就写长一点”:GRPO 归一化项在扭曲什么

R1-Zero 的长度与奖励齐涨,可能有一半是优化器的偏好:1/|y| 让答错的回答变长,除以 std 偏向极端难度的题。

2026-08-29 · 9 分钟 · 4415 字 · njx

一道题采几条回答:GRPO 组大小 G 买来了什么

每题采 64、8 还是 2 条回答?G 是 GRPO 唯一的 baseline 来源和最大的算力开关,它到底买来了什么?

2026-08-29 · 10 分钟 · 4969 字 · njx

解剖极简 SFT 训练器:每个决策,教科书和框架怎么说

TRL 一行就能训,为什么还要手写 SFT 循环?把极简训练器的 7 个工程决策逐一对照教材、生产框架和社区经验。

2026-08-28 · 14 分钟 · 6727 字 · njx

同一个模型,两个概率:训练推理不一致的代价

rollout 与训练用不同引擎,同一个模型算出两个概率,on-policy 悄悄变成 off-policy。差异从哪来、代价是什么、怎么补。

2026-08-27 · 11 分钟 · 5086 字 · njx

比率用错了单位:GSPO 把重要性采样提到序列级

GRPO 沿用 token 级重要性比率,Qwen 认为这是误用,会让 MoE 长回答训练崩溃。GSPO 把比率、裁剪和优化都提到序列级。

2026-08-26 · 16 分钟 · 8013 字 · njx

熵是怎么塌掉的:DAPO 的 Clip-Higher 在修什么

naive GRPO 训练中熵会快速坍缩。DAPO 只把裁剪上界从 0.2 抬到 0.28,背后是 PPO-Clip 在概率轴上的结构性不对称。

2026-08-26 · 18 分钟 · 8648 字 · njx