Njx'Log
|
English
文章
报告
归档
搜索
关于
主页
标签
moe
比率用错了单位:GSPO 把重要性采样提到序列级
GRPO 沿用 token 级重要性比率,Qwen 认为这是误用,会让 MoE 长回答训练崩溃。GSPO 把比率、裁剪和优化都提到序列级。