# Method Matrix

| Paper | Track | Problem | Method Insight | Evidence | Limitation |
|---|---|---|---|---|---|
| [2204.01171](2204.01171/report.md) | 语言生成 | 神经语言模型在开放式生成（文本续写、对话）中会退化：重复、缺乏多样性、不连贯、幻觉。一个被反复引用的假设是：这种脆弱性源于**训练与生成的过程不匹配**——即 exposure bias。训练（teacher forcing / MLE）时模型总是基于 ground-truth 上文预测下一个 token；而生成时上文是模型自己产出的 token，分布可能… | 将 teacher forcing 形式化为 behavior cloning，从而借用模仿学习的 regret 上界把 exposure bias 量化为两种上文分布下损失之差，证明误差随序列长度近二次累积且 perplexity 无法捕捉。 |  | **实验覆盖与回避。** 论文聚焦单一模型族（GPT-2）、单一数据集（Wikitext-103）、单一任务（开放式续写）。它**没有**真正去评估那些声称缓解 exposure bias 的训练方法（MRT、SeaRNN、REINFORCE、Scheduled Sampling）——只在解码维度上做了实验。因此"训练算法能否降低累积误差"这个最有应用价值… |
| [2407.10490](2407.10490/report.md) | 学习动力学 | 现有对 LLM 微调的分析大多是**静态**的：从训练目标本身、从训练收敛后的终态、或从与 RL 的等价关系去理解 SFT/DPO 为什么有效。这类视角能回答「优化的是什么」，但难以回答「训练过程中模型逐步变成了什么样」，也就解释不了一批反直觉的**过程性**现象： 1. SFT 时模型从没见过的响应(测试集里的 $\vy^+$、甚至随机英文句子)的置信度… | 把单步梯度更新的影响分解为 A-K-G 三项,揭示对低概率token施加大负梯度会触发挤压效应,统一解释SFT幻觉放大与DPO置信度齐跌等反直觉现象 | extend 方法(橙)vs 基线(蓝),竖线左为 SFT、右为 DPO： - 面板二:extend 在 SFT 阶段成功把 $\vy^-$ 推高(「$\vy^-$ 现在是峰值」),离开了谷底。 - 面板三/四:DPO 开始时,extend 的其他响应衰减更慢、greedy 响应有明显回落——**挤压效应被有效缓解**。 - 胜率表:DPO 前基线更优(e… | **实验覆盖与回避**：实验集中在 410M–2.8B 的小模型上,胜率提升虽一致但模型规模和绝对性能都不高,extend 方法是否能 scale 到生产级模型尚无证据。评估依赖 LLM-as-judge,存在评判偏差。框架是**解释性**的,主要贡献在「理解」而非「刷榜」——extend 只是一个证明洞察可操作的玩具级方法,作者也明确说它可以进一步结合改… |
| [2504.09858](2504.09858/report.md) | 推理模型 | 主流 reasoning model（o1、DeepSeek-R1、QwQ、s1）依赖在生成时滚一段长 CoT 做 reflection / backtracking / self-verification。这种 sequential test-time scaling 把 token 开销和延迟都放大了一个数量级，并且默认假设"思考越长，答案越好"。ef… | 在 R1-Distill 风格的 reasoning model 上，用 prefill 直接跳过 thinking box 让模型出答案，相同 token 预算下 pass@k 全面优于显式长 CoT，叠加并行采样能拿到 7–9× 延迟下降，说明推理能力来自训练分布而非推理时的显式 CoT 展开。 | - **多样性熵（Table 1）**：NoThinking 与 Thinking 平均熵接近，但 NoThinking 的跨题方差更低。作者只把这当作"部分解释"——多样性不能完全解释 pass@k 优势，承认还有未被识别的因素。 - **k 增长的边际**：差距在 k 从 1→64 单调扩大，说明 NoThinking 的样本是"几乎独立的弱猜测"组合… | **实验覆盖与回避。** 覆盖 math（AIME、AMC、Olympiad）、coding（LCB）、formal proving（MiniF2F、ProofNet）三大类，模型规模 7B–32B。回避：闭源大模型；非 distill 训练的 reasoning model（如直接 RL）；多轮 agent 任务；超长上下文 reasoning（>10k… |
| [2504.13837](2504.13837/report.md) | 推荐系统 — 强化学习与优化 | RLVR（DeepSeek-R1、OpenAI-o1、Kimi-1.5 等背后的关键技术）的叙事是：就像传统 RL 里 AlphaGo、DQN 通过自我探索发现人类未曾想到的新策略并超越人类那样，RLVR 也能让 LLM 自主探索出**全新的推理模式**（枚举、自我反思、迭代修正），从而突破基座模型的能力上限，走向「持续自我进化」。 作者质疑这个叙事。问题… | RLVR 只是把采样分布偏置到基座模型已有的正确推理路径上以提升采样效率，并不会引入基座模型不具备的新推理能力，因此 RLVR 模型的能力被基座模型界定（大 k 下 pass@k 反被基座超越），而蒸馏才能真正注入新先验、扩展推理边界。 | **准确率直方图揭示机制。** RLVR 训练后，准确率接近 1.0 的题变多了，准确率 0.1~0.2 的低分题变少了——这解释了平均分（pass@1）为何上升。但有一个反常：**准确率恰好为 0 的题也变多了**。这说明 RLVR 提升平均分的方式不是「解出新题」，而是「在已可解的题上采样更高效」，同时把一部分原本偶尔能解的题彻底推向不可解。 **不同… | **回避了什么 / 局限。** (1) 论文没有训练超大规模、超长步数的 RL 来直接测试「scaling 能否最终突破基座」，只能留作未来工作——这是它结论最大的不确定性来源。(2) 评测的 RLVR 模型大多是社区开源的中小规模模型，最强的闭源 pipeline（o1、R1-Zero 完整版）无法纳入。(3) 单纯比较「现有 RLVR 实现」，不能否定… |
| [2505.06120](2505.06120/report.md) | 多轮对话 | LLM 现实中是**对话式接口**，用户经常一开始说不清需求，需要在多轮交互中逐步澄清。已有研究证实真实对话日志里欠规约（underspecification）非常普遍。但绝大多数 LLM 评测仍停留在**单轮、完整指令**的设定下。 作者审查现有多轮 benchmark 后指出一个关键缺陷：它们大多是 **episodic（情景式）**的——多轮之间虽有… | 当指令信息被拆散到多轮逐步给出时，LLM性能崩塌主要源于不可靠性翻倍(+112%)而非能力下降(-16%)：模型早期擅自假设并过度依赖错误的中间答案，一旦拐错弯就无法恢复。 |  | **什么任务会触发迷失。** 作者用第七个任务 **Translation**（逐句翻译）做反例：它在 Sharded 下**不掉点**，因为翻译可以逐句独立完成、是 episodic 的。由此归纳出触发"迷失"的三个任务性质：(1) 生成式（非抽取/分类）；(2) 足够复杂、能拆出多个 shard；(3) **解不可分解**——揭示一个新 shard 会… |
| [2505.12929](2505.12929/report.md) | 推荐系统 — 强化学习与优化 | 近期关于 GRPO 的 update bias 研究主要集中在两个方向：(1) DAPO / Dr.GRPO 指出 GRPO 的 response-length 归一化会让 response 越训越长但性能不成比例提升；(2) Xiong 等人对比 PPO 与 GRPO，发现 within-prompt normalization 能缓解过难 prompt… | 单个 token 的梯度范数正比于 (1-π)，导致低概率 token 主导 RL 更新；通过 advantage 按概率线性缩放或先低后高分离更新，可把更新话语权还给被压制的高概率 token。 | - **(a) 高概率 token 不可忽视**：如果直接 mask 掉高概率 token（只更新低概率组），性能显著退化。这反过来证明——问题不在于高概率 token 没用，而在于它们的梯度被低概率 token 压制了。降低这种压制才是正道。 - **(b) Lopti 的更新顺序是关键**：把顺序反过来（先高后低），性能反而显著差于 GRPO 基线，甚… | **实验覆盖与回避。** 收益高度依赖任务特性：在需要长期持续学习、难样本多、正样本稀疏的 K&K 上效果惊艳；在快速收敛的数学任务上则只是温和改善。这暗示该方法的真正价值场景是**困难、需要深度探索的推理任务**，而非已接近饱和的任务。两个方法叠加在 K&K 上有增益、在数学上无增益，说明它们在不同任务上的作用机制并不总是互补——这点作者诚实地标了出来并… |
| [2505.16142](2505.16142/report.md) | 大语言模型 | 蒸馏 reasoning 的主流做法是 SFT on chain-of-thought traces，DeepSeek-R1 的一系列 distilled 模型就是这么来的。问题是：学生学会了"长得像"教师的推理（同样的口头禅、同样的分段），但中间步骤经常错——也就是只学了 surface form，没学到 substance（[chen2025sft,… | 教师推理路径背后存在隐式多分支结构（meta-reasoning 选子问题 + solving 解子问题），SFT 把这种结构压成了线性 token 序列；要把结构搬过去，奖励必须落在『meta-reasoning 步是否对齐』这种语义粒度，必须用 RL 而非 SFT。 | 把 RLKD 退化为 GRPO（去掉 GSRM reward）：accuracy 提升明显变慢，结构对齐曲线本来就不存在（GRPO 没有这个信号）。也就是说 GSRM reward 既直接拉高任务 accuracy，又能把"结构对齐"作为可监控的中间指标——这两件事是耦合上行的。 reward 权重消融显示 $R_{gsrm} / R_{acc} = 1$… | 这篇文章最有价值的贡献其实不是 GSRM 这个具体模型，而是把"reasoning 蒸馏失败"的诊断推到了 reward granularity 这一层：SFT 的 reward 太稠密但语义错位（每个 token），outcome reward 太稀疏（只看终点），LLM-as-judge 的整段打分容易被风格 hack；GSRM 把奖励放在"meta-… |
| [2505.18830](2505.18830/report.md) | 推荐系统 — 强化学习与优化 | GRPO（DeepSeek-Math / R1 采用的算法）用组内相对优势替代了 PPO 的价值函数：对一个问题采样 $G$ 条回答，正确回答（reward=1）拿到正优势、错误回答（reward=0）拿到负优势。**负优势意味着负梯度**——降低对应 token 的概率。 作者把这一机制与 DPO 做类比。DPO 领域已有一系列工作（Razin et a… | GRPO对错误回答里与正确回答共享的正确token施加均匀负梯度，会通过共享表征拖低正确回答的似然(LLD)；NTHR用组内正确回答作锚点给负token打伤害分，只对高分token削弱惩罚。 | - **$\beta$ 消融**：$\beta=-\infty$（对所有错误 token 都施加 $\eta$ 缩放，即无选择）反而比 GRPO 更差；而 $\beta\in\{0,0.1,1\}$ 都优于 GRPO。说明「选择性」本身是必要的——无差别削弱惩罚会丢掉负梯度的有益部分。 - **案例分析**：触发最小似然变化的错误回答，要么「几乎对、只差最… | **实验覆盖与回避。** 全部实验局限在**数学推理 + Qwen 系**，模型上限 3B。论文坦诚承认资源受限：DeepSeek-1.5B 只能用 4k context window 训练，导致回答长度持续缩短，相关结果只能放附录。因此「NTHR 在长 CoT、大模型、代码/医疗等其它 GRPO 场景是否同样有效」是开放问题。提升幅度多在 1%–2.4%… |
| [2505.21493](2505.21493/report.md) | 大语言模型 — 强化学习与对齐 | R1-Zero-style RLVR 的吸引力在于 reward 很直接：答案对就是 1，错就是 0，模型通过探索逐渐学出更长、更有效的推理过程。但这个范式在数学和代码之外会卡住，因为一般推理任务中的“答案等价性”很难用程序判断。例如医学、法律、商业或跨学科知识问答中，答案可能有多种表述，且需要语义判断。 一种直接扩展是训练或调用 verifier LLM… | VeriFree 将二值答案验证的条件期望解析化为模型对参考答案的条件概率，从而在省去外部 verifier 的同时为 reasoning trace 提供低方差连续 reward。 | 消融集中在 Qwen3-1.7B。去掉 RLOO 后，MMLU-Pro 全程低于完整方法，最终低 3% 以上，说明 leave-one-out baseline 对稳定 policy gradient 很重要。去掉 tokenization-aware split 后，训练出现不稳定，作者将其归因于文本切分造成 token 边界不一致，等价于引入 off-… |  |
| [2506.02208](2506.02208/report.md) | 大语言模型 | KDRL 把 on-policy 反向 KL 蒸馏（KD-RKL）当作 token 级的 REINFORCE reward，与 GRPO 的 outcome reward 通过 joint loss 合并到单一 policy gradient 目标中，再配合 *unbiased gradient 的 $k2$ 估计、$\beta$ annealing、以及… | 最小化 reverse KL 在数学上等价于以 log-likelihood ratio 为 token reward 的 REINFORCE——KD 因此可以与 GRPO 拼成单一 policy gradient joint loss，再配 k2 估计、β annealing、response-level reward 屏蔽即可同时超越纯 RL 与纯 KD | teacher 是 Skywork-OR1-Math-7B，student 是 1.5B，6 个数学 benchmark： | Method | AIME24 | AIME25 | MATH500 | AMC23 | Minerva | Olympiad | Avg | |---|---|---|---|---|---|---|---| | SFT | 3… |  |
| [2506.03699](2506.03699/report.md) | 推荐系统 — 排序与架构 | 判别式推荐模型（CTR/CVR）随 Transformer scale up 反而变差的根因，是 sparse embedding 在判别式训练中见到的监督信号过于稀疏，导致严重过拟合。作者提出 **GPSD**：先用自回归 + sampled softmax 做 generative pretraining（随机负采样让每个 embedding 被充分训… | 判别式推荐中 sparse embedding 是过拟合源头——冻结迁移过来的 sparse embedding 只训练 dense 参数，才让 Transformer 的 scaling law 在推荐里成立 | 五种策略，两两正交分解"迁移 sparse"和"冻结 sparse"： | 策略 | sparse 参数 | dense 参数 | |---|---|---| | NT | from scratch | from scratch | | FT | transferred | transferred | | ST | transferred | from s… | **哪些问题 GPSD 没解决？** - Cold-start item 怎么办？freeze 了的 sparse embedding 对 pretraining 时未出现的 item 无能为力。论文没讨论新 item 进入系统的流程（incremental-GPSD 只说了"增量训练"但没展开新 token 的 embedding 如何 bootstra… |
| [2507.15551](2507.15551/report.md) | 推荐系统 — 排序与架构 | RankMixer 是字节跳动为抖音推荐排序设计的一种 hardware-aware 大规模 ranking 模型架构,用 **parameter-free 的 Multi-head Token Mixing** 替代 self-attention,用 **Per-token FFN**(每个 token 独占一份 FFN 权重)替代共享 FFN,从而在保… | 推荐模型做不大不是参数不够，是架构不匹配 GPU——用 parameter-free token mixing 替代 self-attention 把 MFU 从 4.5% 拉到 45% | | 消融项 | ΔAUC | |---|---| | w/o skip connections | -0.07% | | w/o multi-head token mixing | **-0.50%** | | w/o layer normalization | -0.05% | | Per-token FFN → shared FFN | **-0.31… |  |
| [2508.12387](2508.12387/report.md) | 大语言模型 | ReaLM 把 LLM 生成的多条 CoT（包括错的）作为参考喂给 SLM，用两阶段奖励让 SLM 同时输出答案与对每条参考 CoT 的"是否有用"判断，再用 cosine 衰减逐步抽走外部 CoT 的输入——最终训出来的 SLM 能在 7B 规模下独立推理且 GSM8K 达 94.4 acc，吸收负面 CoT 反而带来稳定增益。 | 把 LLM 的正反 CoT 都喂给 SLM 并用两阶段 gating 奖励让模型评判 CoT 效用——错误 CoT 不是噪声而是对比信号；再用 cosine 衰减抽走外部 CoT 实现独立推理 |  | **未触及的问题**：CoT 数量 k 的选择、temperature=1.5 这种超高采样温度对 CoT 多样性的依赖、以及当 teacher LLM 在某领域本身能力差时（生成的"负面 CoT"可能毫无信息量）方法是否还有效——这些在论文里没回答。工业数据集上的 1 点提升暗示在领域足够专的场景里，teacher CoT 的整体质量本身可能成为瓶颈。 |
| [2509.19736](2509.19736/report.md) | 用户中心智能体 | 传统 agent benchmark 往往把用户简化成初始任务描述或最终评测器；即使是多轮工具调用，也更关注环境状态和工具成功率，而不是用户会在过程中改变约束、补充偏好、给出模糊反馈。论文认为真实用户交互有两个难点：一是 **diversity**，用户目标、表达和偏好高度异质；二是 **dynamics**，用户意图和约束会在多轮对话中逐渐显露或改变。… | 在用户中心的多轮交互中，先用轨迹级 R2G 识别更早取得有效进展的 rollout，再用 SFT cold start 提供基本交互能力，比复杂逐 turn 启发式更稳定地提升 agent 的用户协作表现。 | SFT cold start 的作用很明显：没有 SFT 初始化时，模型在 RL 早期更容易 plateau；有 SFT 时不仅起点更高，还能持续从 RL 中获益。论文甚至观察到某些 gym 超过 100% 的增益。这说明 user-centric RL 不是从零学会交流，而是在 SFT 提供基本交互格式和能力后，再用环境 reward 放大这些行为。 在… | 主要局限也比较清楚：第一，训练 gym 和 held-out gym 数量仍有限，很多真实助理场景如长期偏好记忆、冲突目标协商、隐私约束没有覆盖。第二，turn-level credit assignment 仍依赖简单启发式，论文自己也承认 EM/R2G 不能真正判断某个问题是否关键。第三，真实用户评测规模只有五名 CS 博士生参与，且只覆盖 Turtl… |
| [2509.22637](2509.22637/report.md) | 大语言模型 — 强化学习与对齐 | 当前训练 reasoning LLM 的主流路径有两类：SFT 用长思维轨迹蒸馏教师模型，RLVR/GRPO 用可验证奖励推动模型探索。这两类方法都有效，但都有结构性问题。SFT 依赖昂贵且固定的 trace，离线蒸馏容易学到教师分布偏差；RLVR 虽然能在线探索，但训练不稳定、输出多样性可能下降，且在困难题上正确样本更稀少，导致 Pass@K 可能低于… | 把思考轨迹建模为潜变量并近似“给定答对”的 posterior，可用 variational posterior 采样更有用的 reasoning trace，同时揭示 RFT/RL/GRPO 中 accuracy weighting 会偏向容易题。 | - **answer hint 很关键。** 在 Qwen3-4B 17K 设置中，去掉 `y'` 后数学平均分从 55.72 降到 48.18，OOD/general 平均分从 46.12 降到 37.80。这直接支持了“posterior 需要正确答案条件来生成有用 reasoning trace”的设定。 - **accuracy / geometr… | 与 RLVR 相比，本文更像是在 RL 与 distillation 之间搭桥：它保留 verifier/accuracy 的信号，又把最终优化落到 weighted SFT 风格，降低在线 RL 不稳定性。但代价是流程较重：需要训练 `pi_theta0`、训练 `q_phi`、采样多条长 trace、估计权重，再训练最终模型。后续最有价值的问题是：能否… |
| [2509.23024](2509.23024/report.md) | 表征几何 | Loss 曲线对"模型何时学会了什么能力"几乎无解释力：loss 单调下降，但能力和内部结构会出现明显的质变（涌现、grokking、transient 行为）。实践者只能靠在一堆 benchmark 上反复跑评测来反推模型状态。本文想回答的是：高维分布式表征在训练中**到底怎么演化**，这些几何变化又如何对应到能力涌现。 切入点是表征几何的谱视角。谱性质… | 在偏斜token频率与维度瓶颈(d<<|V|)下，cross-entropy梯度下降必然产生扩张(entropy)到压缩(compression)的非单调表征几何演化，并把短上下文记忆与长上下文泛化分离到不同谱阶段。 | - **特征向量消融**（表 2）：只留 top-k 主方向严重退化（top-10 让 SciQ 从 0.97→0.16），去掉 top 方向几乎无损 → 信息全谱分布，支持用全谱指标。 - **负控制**（附录）：去偏斜标签 / 去瓶颈 → 无 compression；CE 换 MSE → 单调饱和扩张。 - **鲁棒性**（附录 + 图 3 layer… | **相关性而非因果。** 这是作者自己强调的最大局限：所有"几何阶段 ↔ 能力"的对应都是相关性观测，没有建立因果。比如"compression 导致长程泛化"目前只是时间对齐 + 玩具模型佐证，并未做干预实验证明压低/抬高秩能直接改变 TriviaQA 表现。 |
| [2510.11639](2510.11639/report.md) | 推荐系统 — 生成式推荐 | 主流 GR（TIGER、HSTU、OneRec 等）已经验证：把 item ID 拆成 semantic token、用 Transformer 自回归解码可以打掉传统多阶段召排漏斗。但这条路径有个明显的缺陷：模型只是隐式回归 next item token，没有任何可读、可干预的推理路径。这使得（i）很难解释为什么推这条而不是另一条，（ii）很难做对话式… | 通过先对齐再激活再强化的课程化训练把 itemic token 嵌入到 LLM 语义空间,使 LLM 能在一个自回归路径里同时生成可读 CoT 与目标 item token,并以 Rollout-Beam reward 解决 GRPO 中的稀疏命中问题。 | 公开 Beauty 上（Tab 4）： | Variant | R@5 | R@10 | N@5 | N@10 | |---|---|---|---|---| | Base | 0.0460 | 0.0654 | 0.0314 | 0.0377 | | Base+IA | 0.0532 | 0.0735 | 0.0342 | 0.0402 | | Base… | **实验覆盖与回避**。学术线只测 Amazon 三个域，序列长度短、品类同质；ReaRec 这种实现"隐式 reasoning"的最强基线已经被打得很开，但本文没和 LLM4Rec 类（LC-Rec、TALLRec 等）做直接对照。工业 A/B 只汇报一周、不到 1.3% 流量，且没有公布 CoT 关闭后的对照（即去掉 reasoning 留下对齐+RL… |
| [2510.18866](2510.18866/report.md) | 大语言模型 | 现有 LLM memory 系统一般包含两段：先把历史对话按 turn/session/topic 切分，调用 LLM 总结或抽取成 memory entries，并维护向量库或知识图谱；随后在新 query 到来时检索相关记忆并回答。论文指出瓶颈主要在 memory bank construction：原始交互里有大量冗余 token，直接送给 LLM… | LightMem 通过先压缩和按主题组织对话，再将长期记忆更新从在线推理中解耦为离线并行 sleep-time consolidation，在保持长程问答准确率的同时显著降低记忆构建的 token、API 调用和运行时间。 | Figure 4 的三部分支撑了 LightMem 的两个关键模块： - 压缩率 `r` 在 50%--80% 时，直接用压缩上下文做 QA 的效果与未压缩接近，说明预压缩不是简单丢信息。 - 混合 topic segmentation 在不同压缩率下优于 attention-only 和 similarity-only，分割 accuracy 超过 80… |  |
| [2511.16886](2511.16886/report.md) | 小模型推理 | HRM/TRM 等小型递归模型在 ARC-AGI、Sudoku、N-Queens 等结构化推理任务上表现异常强，常见解释是 parameter sharing + recursion 模拟了大量 effective layers。但这个解释不够：如果递归只是“加深”，为什么同样 feed-forward depth 的 one-pass 模型仍可能更强？为… | TRM 的一次 latent recursion 可被看作把递归前 reference policy 乘性重加权为递归后 improved policy；DIS 通过单调中间目标显式训练这个 advantage-like residual，从而减少 dead compute。 | 论文附录显示，在 Sudoku + MLP backbone 下，DIS 在同等 compute budget 下可达到与 TRM 相近最终分数，但学习更慢。作者认为这说明 corruption target 不一定是所有任务的最佳 improvement trajectory；Sudoku 可能需要更 task-specific 的中间目标或 adapt… |  |
| [2601.07372](2601.07372/report.md) | 大语言模型 | 作者的切入点是一个结构性观察：语言建模包含两类异质子任务——**compositional reasoning**（需要深度的动态计算）和**knowledge retrieval**（本质是查静态表）。而标准 Transformer 只有一种 primitive——基于注意力和 FFN 的动态计算，被迫"用计算去模拟检索"。文中援引 PatchScope… | Hashed N-gram embedding table 作为与 MoE 正交的第二条稀疏轴（conditional memory），固定预算下 20-25% 参数从 experts 挪给 memory 可严格优于 Pure MoE | 作者在 3B MoE backbone 上（val loss 1.808）系统消融 1.6B Engram： - **Layer sweep**：单点插入时 layer 2 最优（1.770），layer 1 略差（context 还不够成型导致 gating 质量低），layer 越深效果越差。这个曲线直接量化了"早期 offload vs. 晚期 ri… |  |
| [2601.22311](2601.22311/report.md) | 大语言模型 |  | 论文将LLM逐步推理形式化为局部贪心策略，证明并实证说明其在长程任务中会因早期短视承诺而失败；FLARE通过显式前瞻、回传价值和滚动重规划把下游结果反馈到早期动作选择。 | FLARE 的计算开销更高，但论文给出的 token-budget 曲线显示，它能把额外计算更有效地转化为性能，而 beam/lookahead 更早饱和。消融结果显示： - 完整 FLARE：Overall Hits@1 74.9，约 21k tokens。 - 去掉 action pruning：Hits@1 降到 69.5；若要对齐性能，需要约 61… |  |
| [2602.04879](2602.04879/report.md) | 大语言模型 — 强化学习与对齐 | LLM RL 训练通常不是严格 on-policy：推理引擎生成 rollout，训练引擎计算梯度；实际系统还会复用 rollout 做多个 minibatch 更新以提高吞吐。因此，更新后的 trainer policy 必须不要离生成数据的 behavior/rollout policy 太远，否则重要性权重、奖励估计和训练/推理 mismatch 会… | LLM RL 的 trust region 应该约束 rollout policy 与 trainer policy 的整体 token 分布散度，而不是 sampled token 的概率比，这样才能同时放开低概率探索 token 并阻断高概率 token 的危险概率质量迁移。 | - **低概率 token relaxation**：在 Qwen3-1.7B-Base + DAPO 上，放松 `mu(y_t|s_t) < 0.1` 的 token 的 clipping 可以显著提升训练效率；被剪掉的 token 主要是低概率且高 entropy 的 token。 - **relax-high vs relax-low**：仅放松上界… | 论文的实验覆盖很强：从 1.5B sanity test 到 30B MoE、dense 8B、LoRA、RLHF、AIME 与 AlpacaEval 都有；但多数结果仍以曲线和趋势为主，缺少更系统的最终表格、方差/多 seed 统计，以及对不同 reward 噪声、不同 rollout reuse 次数、不同 serving/training 精度 mi… |
| [2602.06563](2602.06563/report.md) | 推荐系统 — 排序与架构 | TokenMixer-Large 是 RankMixer 的工业级"放大"版本：核心是把 RankMixer 中"先 mix 后接 pSwiGLU"的非对称单层结构改成 **mix → pSwiGLU → revert → pSwiGLU** 的对称两层结构（"Mixing & Reverting"），从而修复了 token 数变换后 residual 没… | RankMixer 的 token mixing 破坏了 token 语义对齐（TSA），加一个反向 mix-revert 操作恢复形状让 residual 可跨深层连接，推到 7B/15B 参数在线部署 | | 去掉的组件 | ΔAUC | |---|---| | Global Token | −0.02% | | **Mixing & Reverting** | **−0.27%** | | Standard Residual | −0.15% | | Inter-Residual & AuxLoss | −0.04% | | pSwiGLU → SwiGL… |  |
| [2602.20723](2602.20723/report.md) | 推荐系统 — 序列与特征 | 多模态推荐的困难在于：**同一个 user-item pair 下，行为信号、视觉信号、文本信号可能互相矛盾**。比如用户历史偏好某品牌，产品图片也很好看，但文本评论说穿着不舒服——模型需要决定在这个具体场景下信哪个信号、怎么融合。 现有方法有两类问题。**共享融合路径**派（如 LATTICE、FREEDOM、各种 contrastive 方法）把所有模… | 按模态组×融合模式显式结构化 MoE experts，用 entropy-trigger 自动控制从探索到专精的训练过渡 |  |  |
| [2602.22495](2602.22495/report.md) | 推荐系统 — 强化学习与优化 | 把 teacher 蒸馏写进 GRPO 的 importance ratio 的分母里——而不是当作并列的 KL 正则——让 teacher 的影响走和 advantage 同一条路：当 teacher 与高优势 token 一致时自动放大信任区域，与低优势 token 一致时自动收缩，从而把"模仿"变成 reward 驱动的"选择性模仿"，省掉手调 KL… | 把 teacher 织进 GRPO importance ratio 的分母（old-student 与 teacher 的几何混合），让蒸馏共享 advantage 加权与 trust-region clipping——selective imitation 由结构涌现而非 KL 权重手调，Pass@1 比 KDRL 显著更强 | 实验覆盖两类任务：**逻辑推理（K&K Logistics，PPL2–PPL8 难度分桶）** 和 **数学推理（MATH500/AMC23/24, AIME24/25）**。Student 从 0.5B 到 8B，teacher 最大到 32B。 **逻辑推理 — 难度分桶上的特征清晰。** 8K 上下文下，Qwen3-0.6B 的平均准确率：base… | 这篇工作最有价值的部分不是数字，而是**对"在 RL 里做蒸馏"这个问题的 formulation**。把 teacher 当独立 KL 正则的 KDRL 思路，本质上把蒸馏和 RL 当成两个目标在加权打架；而 RLAD 看出来的是：GRPO 的 importance ratio 分母本来就是一个"信任锚"——只要把 teacher 织进这个锚，蒸馏就和… |
| [2603.19220](2603.19220/report.md) | 大语言模型 | Cascade RL（v1 的核心方法）通过让每个 domain 单独成段 RL 训练，相对于一锅煮的 multi-domain RL 大幅缓解了灾难性遗忘，并把响应长度/验证耗时不一致带来的算力浪费降下来。但当 RL 环境继续扩展（IMO、IOI、ICPC 这种重度推理域；长上下文；agentic SWE 这种长 trajectory），**链路一长，残… | Cascade RL 链路越长越逃不掉 residual capability drift——把上游每一阶段最强 checkpoint 留作 domain teacher，沿用 on-policy 采样做 token-level reverse-KL 蒸馏（MOPD），用稠密蒸馏信号替代稀疏 outcome reward 把退化的能力高效拉回，是 30B MoE 撑起 IMO/IOI/ICPC 三金的关键稳定器 | 文中没有完整的 component-level ablation，但有几个关键 sanity check： - **agentless RL 对 agentic 的迁移**：仅训练 agentless code-repair RL，OpenHands agentic 评估 avg@4 也从 49.8 → 50.8；说明本质能力（修 bug 的 mental… |  |
| [2603.26535](2603.26535/report.md) | 大语言模型 — 强化学习与推理优化 | 作者抓到的是 GRPO + reward design 的一组两难： 1. **ORM 太粗糙。** 二值正确性只看最终答案，所有正确解答得到同样 advantage，无法区分严谨推导与撞对答案；随着训练推进，越来越多 group 全对或全错，标准差变成 0，梯度直接消失。 2. **PRM 直接入 reward 会被 exploit。** 如果把 rub… | 不要把 ORM 与 PRM 先混成单一 reward 再做一次归一化；应让 $A_{\text{out}}$ 负责“答对/答错”，让 $A_{\text{proc}}$ 只在正确样本之间区分推理质量，这样 all-correct group 里仍有非零训练信号，而且错误样本不会因为表面上“推理像样”而被奖励。 | - **基座模型**：Qwen2.5-3B/7B/14B-Base，Qwen3-4B-Base。 - **训练框架**：GRPO 与 DAPO；PAPO 也测试了与 DAPO 的兼容性。 - **训练数据**：NuminaMath-1.5-RL-Verifiable 中分层抽样的 20k 数学题。 - **评测基准**：OlympiadBench、MATH… |  |
| [2604.02368](2604.02368/report.md) | 大语言模型 | 现有 LLM benchmark 的主要矛盾是“可验证性”与“真实专家工作流”之间的张力。MMLU-Pro、GPQA、HLE、FrontierMath 等能提供明确答案和自动评分，但它们仍偏向静态知识、孤立难题或闭卷考试；GAIA、BrowseComp 等虽强调多步检索和代理能力，最后也常被压缩成短答案或参考字符串。对于真实职业任务，例如撰写投委会分析、设… | XpertBench 将真实专家工作流拆解为专家设计的原子化加权 rubrics，并用专家样例校准 ShotJudge，使开放式专业任务能够被规模化且可解释地评测。 | > - **Title**: Xpertbench: Expert Level Tasks with Rubrics-Based Evaluation > - **Authors**: Xue Liu, Xin Ma, Yuxin Ma, Yongchang Peng, Duo Wang, Zhoufutu Wen, Ge Zhang, Kaiyuan Z… |  |
| [2604.02795](2604.02795/report.md) | 大语言模型 — 强化学习与对齐 | Rubric-based RL 试图把 RLVR 从数学、代码这类可验证任务扩展到开放式指令跟随：每个 instruction 带一组硬/软约束，硬约束用规则验证，软约束用 LLM-as-a-Judge 验证。论文讨论的两个常见 response-level 奖励都存在结构性问题： 1. **All-or-Nothing (AON)**：只有所有 cons… | 把 response-level rubric 分数通过 token relevance discriminator 投影到约束相关 token，并在单个 response 内归一化 token advantage，可同时缓解 AON 奖励稀疏与 CSR 奖励歧义。 | **Group partitioning**：Intra-sample normalization 明显优于 inter-sample normalization。以 Qwen3-4B 为例，inter-sample 在 IFEval Prompt / IFBench Instruct / AdvancedIF Overall 上为 82.99 / 32.… | 局限也比较清楚：实验集中在 instruction following，训练数据和约束 taxonomy 都围绕该领域；OOD 只验证了能力不大幅坍塌，而不是证明 RTT 对推理任务本身有通用收益。此外，Group Partitioning Problem 只比较了 inter-sample 与 intra-sample 两种方案；criteria 维度上… |
| [2604.06005](2604.06005/report.md) | 机制可解释性 | 机制可解释性中权重视角有独特优势：脱离具体 prompt 与数据分布去看模型本身。但 LM 的 MLP 神经元普遍是多义的（superposition / polysemanticity），单看 $\mathbf{w}_{\text{out}}$ 在词表空间投影的 top tokens 经常混杂多个不相关概念，无法直接当作可读单元。SAE 通过激活数据训练… | MLP 神经元在词表空间的高 kurtosis 投影对应单义概念方向，在权重的旋转轨道上最大化 kurtosis 即可 data-free 地把多义神经元分解成可读的 vocabulary channels | - **Token mask vs. residual subtraction（Figure~\ref{fig:masking_ablation}/\ref{fig:ablations_reconstruction}）**：mask 累计解释 norm 0.78，subtraction 显著更低；不做任何 depletion 的话所有迭代都收敛到同一个吸引… | **实验覆盖与回避**：每个模型只测两层、每层 100 神经元，是"挑了易解释层做最优秀展示"的策略；扩展到所有层、不同 scale、不同架构（MoE、DeepSeek 风格）都还没做。完整 layer decomposition 的 GPU-hour 已经报告了（H100 单层 ~3.8/6.7 小时），扩展到全层全模型在工程上可行，但作者没给出全层尺度… |
| [2604.08933](2604.08933/report.md) | 推荐系统 — 序列与特征 | 工业推荐系统的序列特征长期依赖人工设计的稀疏字段（item ID、price、action type 等），这成为上层 ranking 模型 scaling 时的信息瓶颈。IAT 把"一条历史训练样本（含上千个特征）整体压成一个 64 维稠密 token"作为新的序列单元，通过两阶段训练（source 模型生成 InsEmb → downstream 模型… | 把序列建模的最小单元从 hand-crafted sparse ID 升级为整条样本压缩成的 64 维稠密 embedding，消除信息密度不对称 | 实验数据集是真实 ByteDance 广告 CVR 数据，4 个月、千亿条样本量级。 **Base 模型 scaling（Tab. 3）**：base 从 hundreds of M 推到 1B 时，IAT 仍给 source 带来 +0.41%、downstream +0.33%。1B 量级每 0.1% 都难拿。 **SIT scaling（Fig. 5… | 这篇论文的真正贡献是把"序列特征工程"重新框定为一个**representation learning 问题**：与其让算法工程师手工挑要在序列里保留哪些字段，不如让模型自己学一个 64 维稠密 token。从这个视角看 IAT，它和 HLLM、LLaTTE 等"两阶段 + 上游缓存表示"类工作属于同一脉络，区别在于 IAT 缓存的最小单元是 **per-… |
| [2604.12002](2604.12002/report.md) | 自蒸馏 | verifiable 后训练目前有两条主流路线，作者把它们框成一组取舍： - **RLVR (GRPO/DAPO 等)**：只需 binary verifier，应用面广，但每个 response 只给一个标量，token 级 credit assignment 全靠多样本对比，sample efficiency 差。 - **On-policy dist… | 通过 SRT 唤起模型的 outcome-conditioned 自我修订能力，再以同一模型作为 teacher 把 binary reward 转成 token 级 KL 监督，从而在没有外部 teacher 或 gold CoT 的条件下实现 dense self-supervision。 | - **Lrev / Lgen 缺一不可**（Tab. 5）：单 Lgen 保留 generation 但不会修订；单 Lrev 会修订但 generation 退化。两者合起来才能让 SRT 模型既会改也会写。 - **只做 OPSD 不行**（Tab. 6）：不经过 SRT 的 base 模型 reviser 太弱，KL 信号噪声多，几乎无提升。SRT… | **实验覆盖与回避**：实验集中在 Qwen/Olmo instruct（4B / 7B）+ math + code 这种 verifiable + 短 CoT 的舒适区。没有覆盖：(a) 更大模型规模（≥30B）；(b) thinking 模型；(c) non-verifiable 领域（写作、对齐、agent）；(d) iterative self-e… |
| [2604.12965](2604.12965/report.md) | 推荐系统 — 检索与重排序 | Foundation retrieval model 的 scaling 在 training 侧已经做得很充分（HSTU、Wukong、InterFormer 等），但 **serving** 侧未解决：Meta 的 MoNN Large 比 two-tower baseline 提升 Recall +9.4%，但推理成本是 **24.6×**——几乎无… | 联合训练层级索引树而非后置聚类，intermediate nodes 意外成为高质量数据可反哺原模型 fine-tune | - **三个 training trick**（Table \ref{tab: training tricks}）：Softmax scheduler 去掉 NE +0.10%，Balanced +0.05%，Warmup +0.03%。三者独立、不冲突、都有效。scheduler 最关键——这印证了"训练期 soft / 推理期 hard"的 gap 是… |  |
| [2604.13828](2604.13828/report.md) | 大语言模型 — 强化学习与对齐 | LLM user simulator 的难点不只是回答是否流畅。真实用户经常有隐含目标、阶段性披露信息、非标准表达和前后不完全显式的偏好；如果只用一句 persona prompt 或一次性摘要，模型容易把这些行为压平成静态事实。例如论文附录的律师短视频案例中，用户把“追回 2 万工资”的具体案例作为后期才披露的 hidden context；普通画像抽取… | MUSE 将用户模拟拆成可执行画像演化、反向角色监督微调和 rubric 引导的多轮强化学习，使模拟器既能生成自然用户话语，又能在长对话中维持 persona 与约束一致性。 | IPSE 的 profile 质量用 perplexity 评估：相同 DeepSeek-V3 抽取模型下，IPSE Framework 的 PPL 为 73.12，低于 single-pass DeepSeek-V3 的 77.86 和 Gemini-3-Flash 的 85.97。虽然 PPL 不是 user simulation 的完美代理指标，但这… | 后续值得追的问题包括：IPSE 的迭代成本和收敛性如何；reward model 是否会过拟合专家 rubric；如果 assistant 侧模型变化很大，profile 与 simulator 策略是否仍稳定；以及 MUSE 生成的用户是否会在下游 agent training 中放大数据偏见或制造“模拟器过拟合”的虚假鲁棒性。 |
| [2604.13902](2604.13902/report.md) | 推荐系统 — 强化学习与优化 | 作者把 GRPO 系方法的探索-利用问题拆成两个具体的、可观测的「dilemma」，而不是泛泛说"训练不稳定"： **Dilemma 1 — 极端组的 advantage 退化。** GRPO 的 advantage 是组内归一化的，全 0 或全 1 的组方差为零，advantage 直接归零。Figure 1(a) 表明这些「hard group」「ea… | RLVR 中 hard/easy 极端组损失梯度的真正解法不是直接拿 PPL 当奖励——而是先用 PPL 把样本空间按「应探索/应利用」分区（PSD），再只对零方差的极端组里「走错方向」的样本做最小扰动的奖励翻转（BRR），让 PPL 信号进来但不破坏 verification reward 的分布形状 | 消融结果给出两个非平凡的 takeaway： **1. 没有 PSD 时单独用 BRR 反而比 baseline 差**（Qwen3-4B: 49.43 → 47.23，−2.20）。直觉解释是：不做 PSD 等于无差别地把所有 hard 组推向探索、所有 easy 组推向利用——但相当一部分 hard 组本就在探索区（不需要再推）、easy 组本就在利用… | 实验覆盖比较扎实——三个 Qwen 基座、加 Llama、加 function calling、加风险预测，覆盖了 RLVR 的几个主要场景。但有几个回避值得指出：（1）训练 step 上限 700，AIME 曲线尾端 DiPO 还在上涨而 DAPO 已饱和，更长训练时 DiPO 的优势会扩大还是稳定？没有数据。（2）PSD 队列大小（最近两个 batch… |
| [2604.14258](2604.14258/report.md) | LLM post-training | LLM 的 post-training 通常先 SFT 后 RL。论文用 Qwen2.5-Math-1.5B 在 Numina-Math 上做了两个观察：(a) SFT 后在多数 benchmark 上相对 base model 反而下跌，表明 catastrophic forgetting；(b) SFT+GRPO 的常规 pipeline 不仅没有叠加… | 把 SFT 重写为带稀疏指示奖励和 1/pi 重要性权重的退化 RL，再用 group-normalized advantage 替代稀疏奖励、用阈值触发的 stop-gradient 抑制低概率 token 的爆炸权重，从而在单阶段同时缓解 single-path dependency 和 gradient explosion。 | 在 Qwen2.5-Math-1.5B 上消融（AMC23/Math/Olympiad）： - 同时去掉 GAL+DCR：等价于 SFT，AMC23 31.25。 - 去 GAL 留 DCR：35.78，DCR 主要稳定优化但缺少 contrastive 信号，复杂推理收敛慢。 - 去 DCR 留 GAL：42.81，contrastive 信号有效但训练… | **与 DFT/ASFT/PSFT 的 positioning。** DFT 也是从 $1/\pi_\theta$ 出发，但选择全局乘 $\pi_\theta$ 抵消（等价于 vanilla CE），失去了对 new-knowledge token 的放大。ASFT 和 PSFT 走的是 trust-region 路线，约束 policy 不偏离过远，但本… |
| [2604.14820](2604.14820/report.md) | 软件工程智能体 | 论文瞄准的是 repository-level SWE agent 的三类实际失败模式。第一，SFT 轨迹常常是“能解题但很啰嗦”：重复读文件、重复跑测试、试错编辑再撤销。这类轨迹作为监督数据会把 noisy search 也教给模型。第二，SWE RL 的执行奖励太稀疏：一个几十到上百步的轨迹最后只得到 pass/fail，这既无法区分成功轨迹中的高效/… | 长程 SWE agent 的性能瓶颈来自冗长轨迹、稀疏最终奖励和昂贵全轨迹搜索；用测试锚定短路径监督、rubric-conditioned 过程奖励和动作级早剪枝共同约束过程质量，可以同时提升 resolve rate、token 效率和推理延迟。 | **数据消融：standard SFT vs cascaded shortest-path SFT。** 4B 上 resolve rate 从 33.6% 到 37.8%，平均步数从 74 降到 66，总 token 从 33.0M 降到 25.9M。30B 上 resolve rate 从 56.4% 到 59.2%，平均步数从 77 降到 69，总… |  |
| [2604.14878](2604.14878/report.md) | 推荐系统 — 检索与重排序 | 生成式检索（Generative Retrieval, GR）用 next-token prediction 统一了用户意图理解和 item 检索，但这个范式在工业级场景有三个具体问题： 1. **分页请求导致标签歧义**。工业推荐系统用分页机制承载高并发，用户在一页内可能有多个正向交互（点击、下单），导致同一个输入对应多个有效输出。传统 point-wi… | 训练推理不对称设计——训练时 page-wise NTP 一次预测整页 item，推理时回退 point-wise beam search 兼容线上管线 |  | **值得 follow 的方向**：(1) 如何把 page-wise NTP 的思路扩展到多 domain / 多场景的统一模型中；(2) Token Merger 是否可以升级为 learnable routing 或 MoE，对不同 item 类型做差异化压缩；(3) 论文提到未来要加 reasoning，生成式推荐 + CoT 路径推断是一个值得关… |
| [2604.15804](2604.15804/report.md) | 大语言模型 | Qwen3.5-Omni 是 Qwen 最新的全模态大语言模型，采用 Thinker-Talker 架构，通过 Hybrid Attention Mixture-of-Experts 实现 256k 上下文长度支持。核心创新是 ARIA（自适应速率交织对齐），解决了流式语音合成中文本与语音 token 编码效率不匹配导致的稳定性问题。在 215 个音频和视… | Thinker-Talker 分离架构 + ARIA 自适应速率交织对齐解决文本与语音 token 编码效率不匹配，首次展示 Audio-Visual Vibe Coding |  |  |
| [2604.16335](2604.16335/report.md) | 大语言模型 — 强化学习与对齐 | SWE agent 的优势在于它不是一次性生成代码，而是能在仓库里读文件、改文件、跑测试、根据报错继续修复。这个长时程交互过程天然适合用单测作为 verifiable reward：最后 patch 通过所有测试就是 1，否则就是 0。问题在于，单测只在最后给信号，无法区分两类对训练很重要的中间行为。 第一类是“最终成功但过程很差”的轨迹，例如重复调用同一… | 在 SWE agent 的长时程轨迹生成中，用人工 rubric 驱动的 GRM 在候选步骤或片段间选择更好的中间行为，再用最终单测 reward 保证正确性，可以把 RFT 数据从“只看最终通过”转向“最终正确且过程更优”。 | 论文没有做“去掉某个 rubric”的严格组件消融，这是一个缺口；不过它给了训练集和测试集的行为统计，作为机制证据。在训练集 pattern analysis 中，S-GRM $L=5,N=3$ 把 task-level error ratio 从 baseline 的 51.6% 降到 39.8%，turn-level error ratio 从 5.7… | 方法可能 break 的场景也很清楚：如果没有 ground-truth patch 或类似 side information，GRM 判断“战略价值”的依据会弱很多；如果任务最终 reward 本身不可靠，terminal filtering 会保留错误数据；如果 rubrics 人工设计得过窄，模型可能学到形式化流程（例如无论是否需要都写复现脚本）而非… |
| [2604.17878](2604.17878/report.md) | 推荐系统 — 排序与架构 | 工业级推荐模型的"参数扩展 ≠ 表征容量扩展":在 RankMixer 这类 MetaFormer 架构中,token 表征的 effective rank 会随着深度产生阻尼震荡甚至下降。RankUp 不去做更复杂的 token mixer,而是从**输入端增加 latent space 的几何多样性**——通过随机置换切分、多 embedding ta… | 瓶颈不在 token mixer 形式而在输入自由度——通过随机置换切分、多 embedding table 等五种机制从输入端增加几何多样性推迟 rank collapse | | 变体 | Order | Book | Add Service | |---|---|---|---| | Randomized Permutation Split | +0.06% | +0.06% | +0.08% | | + Global Token + Multi-Emb | +0.21% | +0.18% | +0.13% | | + Cro… | **Randomized Permutation Splitting 是最 elegant 的设计**:它和 Autosplit 比几乎零成本(只是改一次 shuffle 顺序),却把"长尾特征聚集导致 token 内 rank 塌缩"这个常被忽略的问题直接打掉。从 MI 差矩阵和逐 token erank 图看证据,这是论文里最干净的一击。 |
| [2604.19550](2604.19550/report.md) | 推荐系统 — 排序与架构 | 工业 CTR 近两年的 scaling 路线（HSTU、OneTrans、MTGR 等）普遍沿三个维度堆：stack 更多层（depth）、加大 embedding 维度（width）、扩长行为序列（input）。共同问题是 **参数量、计算量、显存占用是绑在一起涨的**，一个线上低延迟要求就会把 scaling 按在地上摩擦——论文给的数字很扎眼：HST… | loop scaling 把堆参数改为堆计算——process supervision 在每个 loop 深度上监督使多 loop 红利被蒸馏进共享参数，实现 train-multi-loop / infer-zero-loop | Amazon 上移除 HCR 掉 **0.0201 AUC**（最大），移除 MoE 掉 0.0057；KuaiVideo 上反过来 MoE 贡献最大（-0.0060），HCR 次之。这个差异本身值得品一下——Amazon 的序列短（100）、feature 简单，模型瓶颈在"单层能不能灵活切换 loop 深度"，所以 HCR 最关键；KuaiVideo… |  |
| [2604.20051](2604.20051/report.md) | 大语言模型后训练 | 现有 self-play 后训练通常依赖可客观验证的环境：数学有标准答案，代码有单元测试，模型可以自己出题、自己解题，再用 verifier 判断对错。但医疗问答、创意写作、开放式指令跟随没有简单 ground truth；如果仍让同一个模型自己出题、自己回答、自己打分，就会遇到三类问题：query 分布单一导致 mode collapse，候选回答普遍较… | 用预训练文本为同一模型的rubric生成和评分提供特权上下文，可在开放式任务中制造足够的generation-verification gap，再通过高低分极端响应对为DPO抽取低成本偏好信号。 | 消融集中在 HealthBench500。去掉 rubric evaluation 对预训练文档的访问（Eval w/o $D$）会把性能降到约 29%，去掉整个 pipeline 对 $D$ 的访问（w/o $D$）进一步变差。这符合论文的核心论点：文档 grounding 不只是提供主题多样性，也帮助 verifier 获得比 generator 更强… |  |
| [2604.20858](2604.20858/report.md) | 推荐系统 — 序列与特征 | **Session hopping 的实证发现。** 作者在三个真实数据集上计算用户交互序列的自相似性矩阵（cosine similarity），观察到一个普遍模式：在绿色 session 边界内，相似性矩阵呈红色（高相似度，约 0.7），跨 session 则急剧变蓝（低相似度甚至负相关），而隔了几个 session 后红色区域又出现。这表明用户兴趣并非… | VQ-VAE codebook router 按主题自动分解长序列为子序列分别让不同 expert 处理，从根上规避 session hopping 带来的无关信息干扰 | **多尺度融合消融（Fig. 3 热力图）：** - 三个顶点（仅用一种 expert）< 三条边（两种融合）< 内部区域（三种全融合），层次分明。 - 全融合时 AUC 在 70.94%~71.20% 窄区间内波动，对 $\alpha_I/\alpha_W$ 不敏感，融合机制具有很强的鲁棒性。 **序列长度 scaling（Fig. 6）：** 序列从… |  |
| [2604.21590](2604.21590/report.md) | 大语言模型 | 工业 agent 系统（如类 Manus 的产品）高频调用 GPT-5/Claude/Qwen3-235B 做订票、数据分析这类**标准化**工具任务，API 成本和延迟都撑不住百万级用户规模。小模型理论上够用，但 Kimi/MiniMax/DeepSeek 这些家基本不放带强 agent 能力的小模型。直接在合成 agent 数据上做 GRPO 是自然选… | 每轮 RL 后把线性轨迹展开成多分支 behavior tree 反演为新任务，突破合成数据同质化导致的奖励信号饱和 |  | 但有几处局限值得留意： - **依赖强教师**：整个飞轮里扩树、反演任务、奖励打分全是 Qwen3-235B。如果换小教师，飞轮质量几乎肯定崩掉——这意味着这套方法并不是"用小模型 bootstrap"，而是**用大模型把知识蒸到小模型但以 RL 而非 SFT 的形式**。文中也承认可能存在 model-family bias。 |
| [2604.22504](2604.22504/report.md) | 推荐系统 — 强化学习与优化 | 这篇论文把"RL 训练 LLM 推荐器时，beam search 负样本为什么比随机负样本好"这个纯经验观察拆成了一个干净的理论故事：在 binary reward 下，GRPO 等价于优化 AUC，而把负样本换成 beam search 采样等价于把优化目标从 AUC 滑向 **One-way Partial AUC (OPAUC)**，后者与 Top-… | GRPO 等价于优化 AUC，beam search 负样本等价于把目标滑向 Partial AUC——用滑动窗口 partial AUC 给出更紧的 Top-K 界并嵌入 GRPO rollout reweight |  |  |
| [2604.25291](2604.25291/report.md) | 推荐系统 — 检索与重排序 | 重排序（reranking）是推荐系统多阶段 pipeline 的最后一步：从 N 个候选物品中选出并排序 K 个（N 通常几十到几百），使得整条列表的综合效用最大化。由于搜索空间为 N!/(N-K)!，穷举不可行；而用户反馈仅针对最终曝光的那一条列表，监督信号极其稀疏。 现有方法——无论是 Generator-only（如 PRM、GoalRank）还是… | 将重排序从选择局部索引重新定义为生成全局 Semantic ID 序列，消除位置-物品耦合导致的语义不一致 | | 变体 | Amazon NDCG | MovieLens NDCG | |------|-------------|----------------| | w/o pre（跳过预训练，直接 GRPO） | 24.13 | 24.04 | | w/o post（仅预训练） | 89.15 | 85.94 | | GloRank（完整） | **90.08… | 实验覆盖了中小规模公开数据集和一个大规模工业数据集，并包含线上 A/B 验证，结论的泛化性较好。但一个值得注意的缺失是：论文没有讨论 SID 的更新策略——在工业场景中，物品属性和 corpus 持续变化，SID 需要定期重建，这会带来工程开销和线上一致性问题。此外，预训练阶段的代理评估器 E 的质量直接影响训练标签的质量，论文未深入讨论 E 的选择和敏感… |
| [2604.26969](2604.26969/report.md) | 推荐系统 | 推荐研究的惯性是把流水线拆开、孤立优化某个子任务（比如把 ranking 当成多任务分类问题去设计新结构）。但论文指出真正卡脖子的是**系统级配置优化**：ranking 模型每个候选会产出多个 score，靠复杂加权策略（value fusion）融合成最终分；这些 fusion weights 才是决定整体表现的主参数。任何模型结构 / 特征工程的改动… | 把推荐系统非可导的系统级配置优化重新表述为 LLM 推理+线上A/B搜索问题，用 Actor-Critic 抑制幻觉、用 Insight/Skill 自进化 Skillhub 把历史实验沉淀为可执行领域知识，直接闭环优化线上 north star 指标。 | 三个子步骤：**代码生成**（把审批通过的配置翻译成生产基础设施可执行的代码 / 脚本 / 配置文件，遵守 skill 里的限制）→ **A/B 任务生成**（分配流量比例、定义 control（生产基线）vs treatment（agent 提议）、设定达到统计显著所需时长；**线上开跑前需要人工 review**）→ **结果回收**（调线上实验平台… | **实验覆盖与回避。** 证据全部来自 Google Discover 生产线上，说服力强但**不可复现、不可外部验证**：指标绝对值脱敏，只有相对提升；没有跨平台 / 跨数据集的泛化实验；每个阶段似乎只展示了一个代表性任务（Value-Based Retrieval / Value Fusion / Diversity 各一），样本量小。自进化 Skil… |
| [2605.03871](2605.03871/report.md) | 大语言模型 — 强化学习与对齐 | 现有 LLM post-training 的 reward 来源各有上限：人类标注受限于人的判断能力，专有 API 带来成本与依赖，verifiable reward 只能覆盖有标准答案的领域，scalar reward model 又容易被策略过优化。论文的出发点是：语言模型预训练中已经编码了大量“如何评价一个回答”的隐性知识，问题在于如何把这种评估能力… | 把模型隐含的评估能力训练成随 policy co-evolve 的显式判别式 rubrics，可让冻结小 judge 持续产生适配当前策略分布的 reward，从而避免静态 reward model 或固定 prompted rubric 的上限。 | **Format reward 是 load-bearing。** 没有 format reward 时，main prompt 的 rubric validity 可降到 23%，main prompt + margin 也只有 67%；加上 format reward 后 validity 到 99%，RewardBench-2 也升到 46.0%。这… | 实验覆盖面较广，但仍主要是 general-purpose post-training。医疗、法律、多轮 agentic task、长上下文事实核验等领域的 rubric 质量和 temporal contrast 偏好是否可靠，仍是开放问题。此外，训练成本很高（64 H100、复杂异步生成与 judge pipeline），论文证明了概念可行性，但小规模… |
| [2605.05242](2605.05242/report.md) | 大语言模型 | 现有 retrieval agents（Search-R1、Tongyi-DeepResearch、MiroThinker 等）虽然把 retrieval 变成了多轮，但每一轮 agent 看到的仍是同一个固定的 top-k similarity 接口。这个接口在 BrowseComp-Plus 这类 deep research 任务上会暴露三类硬伤： 1… | 当 LLM 足够强时，retriever 的 top-k similarity 接口本身才是瓶颈——直接让 agent 用 grep/bash 操作原始 corpus，把语义理解从 index 下沉到模型，能在没有任何 embedding 的情况下大幅超越 retrieval-augmented agent。 | **RQ2 — 增益来自哪里？** 同 Sonnet 4.6，DCI-Agent-CC 答对而 retrieval-agent 答错的题有 176 个；反过来只有 76 个。这 176 中**只有 34 道是 retriever 完全没找到 gold**——剩下 142 道 retriever 都至少找到了一篇 gold，但还是输了。其中 83 道是 pa… | 这篇论文最有价值的贡献并不是"用 grep 替代 retriever 性能更好"这个 headline 数字——那只是表象。真正的 contribution 是把 retrieval 重新 framing 成**接口设计问题**，并提出 "interface resolution" 作为一条新的可优化轴。在过去十几年，IR 社区花了绝大部分精力优化 *re… |
| [2605.06331](2605.06331/report.md) | 推荐系统 — 生成式推荐 | 生成式推荐 (GR) 把 item 表示为一串 semantic ID token 后自回归生成，但这本质上是在一棵固定的解码树上做 traversal——树上邻近的 item 共享前缀概率项，因此对任意用户都会得到高度相关的得分，使得模型在结构上无法表达 rank reversal 与非传递的 item-item 相似度。论文给出了这一限制的理论证明（P… | 生成式推荐的自回归 SID 概率连乘等价于在固定解码树上 traversal，共享前缀 → 共享乘积项 → 树邻近 item 概率高度相关，结构性禁止 rank reversal 与非传递相似度；在每条 SID 前 prepend 一个随机采样的 latent token 即可把单棵树扩成森林，让 item 间有效距离随用户动态变化，平均 NDCG@10 提升 3.45% | 数据集：Amazon Reviews 2023 的 Instruments / Scientific / Games 三个类目，leave-one-out 切分。Base 模型为 PSID（带 RQ-Kmeans tokenization）。 作者用 Kendall 秩相关衡量"item-item 概率相似度 vs 树距离"的关联强度，越接近 0 越好（说… |  |
| [2605.07129](2605.07129/report.md) | 推荐系统 — 强化学习与优化 | 现有 LLM 推荐方法面临两个核心矛盾： **协同信号的获取困境**。经典推荐系统的命脉是跨用户行为模式——collaborative filtering。LLM 天然不编码交互图结构，而现有方案用固定规则注入 CF 信号：BinLLM 的二进制编码、CoLLM 的 embedding 映射。这些方法本质上预设了"总是需要 CF 信号"或"对所有实例用同样… | 将协同过滤历史与物品元数据统一为自然语言检索记忆，通过GRPO以排序质量奖赏端到端学习自适应的检索-推理策略，替代手工设计的静态检索规则 |  |  |
| [2605.07396](2605.07396/report.md) | 大语言模型 — 强化学习与对齐 | 传统 OPD 的优势是学生在自己的 rollout 分布上学习，能缓解离线 SFT 的 exposure bias；但主流 OPD 依赖教师的下一 token 分布或内部 logits。这把方法锁定在 white-box 教师、相近 tokenizer/架构和较高显存开销场景里，无法直接使用 API-only 的强闭源模型，也很难自然处理 cross-ar… | 把教师文本回答转化为针对当前学生 rollout 的共享语义 rubric，比匹配 token logits 更直接对齐推理正确性，因此能在黑盒教师和跨架构场景中高效蒸馏。 | 机制实验用 3120 个 AIME24 rollout 比较 rubric reward、teacher logits 与 top-24 token overlap 对真实 correctness 的对齐。rubric reward 的 correctness-alignment AUC 为 0.90，而 teacher logit 约为 0.35，接近甚… | 另一个潜在 break point 是 Rubricator/Verifier 的可靠性。如果教师本身会系统性误判，或者 rubric 条目混入了某个错误教师回答的中间结论，那么 on-policy 优化会放大这种评价偏差。论文通过多教师、禁止复制特定路径、blind verification 等规则缓解这个问题，但没有完全解决“rubric 本身如何被外… |
| [2605.08354](2605.08354/report.md) | 多模态生成 | 多模态生成的人类偏好通常是组合式的：语义是否对齐、对象和属性是否完整、空间关系是否正确、局部编辑是否忠实、美学质量是否合理等都会同时影响判断。传统 RLHF/reward modeling 往往把这些因素压缩成单个标量分数或一条 pairwise label。这样的压缩有两个后果：一是模型不知道“为什么”某个输出更好，credit assignment 被… | 将 VLM 的隐式偏好先外显为可验证的 prompt-specific rubric，再用 rubric-conditioned 二元偏好作为奖励，可降低位置偏差和 reward hacking，并把评测可靠性转化为多模态生成质量提升。 | 位置偏差实验是本文最有解释力的消融。裸 VLM judge 在 HPDv3 上 forward 和 reverse accuracy 差距很大：Qwen3-VL-8B 为 34.6，GPT-5 为 32.6，Gemini 3.1 Pro 为 30.2。zero-shot ARR 只能中等幅度降低差距，例如 Qwen 从 34.6 到 31.6、GPT-5… | 这篇论文的强项是把一个常被笼统讨论的问题——VLM judge 有偏、reward model 会被 hack——落到“偏好表示接口”上，并用位置偏差、跨模型 transfer、rubric 数量等实验支持这个解释。相比单纯 prompt engineering，ARR 的 generate-verify-refine-structure 流程更像一个轻量… |
| [2605.10207](2605.10207/report.md) | 推荐系统 — 强化学习与优化 | **为什么 latent reasoning 在 NLP 能 work 却在推荐里翻车？** Coconut 的 latent reasoning 能在 NLP 中有效，因为 NLP token 自带预训练语义（"apple" 的 embedding 在 pretrain 后就已经是一个有意义的向量）。但生成式推荐使用 Semantic ID（SID）——… | 隐式推理在推荐中不work的根因是SID zero-prior导致semantic grounding失败和representation drift——用两阶段解耦先建语义再推理、用bidirectional KL把隐式hidden state锚定到显式CoT轨迹、再用REINFORCE让模型自适应学习每样本的推理步数，三者缺一不可 | SFT 消融（Beauty）：纯 SFT 基线 NDCG@10 = 0.0277；+ latent reasoning（无 alignment）= 0.0278（+0.4%）；+ KL alignment = 0.0285（+2.9%）；+ Cosine = 0.0277（+0.0%）；+ MSE = 0.0245（-11.6%）。**Latent rea… |  |
| [2605.11447](2605.11447/report.md) | 推荐系统 — 生成式推荐 | GR 的标准 pipeline 分三段：**Quantization** 把 item 离散化为 SID、**Representation** 把 SID 组织成 LLM 输入、**Generation** 自回归生成下一个 item 的 SID。社区在第一段（如 LC-Rec、TIGER、HID）和第三段（如 OneRec、NEZHA）上投入巨大，但中间… | 把 GR 的『压缩输入』和『token-level 解码』绑定到同一份稀疏 Engram 记忆上——压缩时丢掉的 SID 结构，解码时能从同一张哈希表里取回来。 | Yelp 上 7 个消融变体，full 模型 H@5=0.0305： | 变体 | H@5 | 相对掉幅 | 解读 | |------|-----|----------|------| | **ComeIR full** | 0.0305 | – | – | | w/o MM-Scoring → mean pool | 0.0294 | -3.6 % |… | **实验回避了什么**？(1) 没有和 OneRec、OneTrans 这类**带 external input 的 GR 方法**做端到端对比——只比了 flatten 和 TM 这两个最 weak 的基线；论文虽然在 motivation 里把 external-input 列为对手，但实验里它们没出场，部分原因是公平比较时 ComeIR 的 $\bo… |
| [2605.11553](2605.11553/report.md) | 推荐系统 — 生成式推荐 | 现有生成式推荐方法存在一个根本性的「推理策略同质化」问题：要么一律用 fast direct generation（SID 自回归预测），对长尾/歧义场景效果差；要么一律先做 CoT reasoning 再预测，简单场景浪费计算且可能引入生成噪声。OneRec-Think 虽然做到了工业可用的两阶段推理（离线生成 reasoning + 在线 prefix… | 将协同过滤中的 I2I 共现模式转化为自然语言解释注入 LLM，训练出具有 collaborative commonsense 的慢推理模型，并通过 supervised warm-up + RL 训练一个 agent planner 动态决定每条用户序列该用 fast retrieval、ranking 还是 slow reasoning，从而在保持准确率的同时大幅降低平均推理延迟。 | **I2I explanation 有效性（RQ3）：** 在 25,438 个 I2I pair 的 discriminative 测试上，纯 alignment model 只能做到 49% accuracy（比随机 10% 好但也有限），注入 I2I explanation 后跃升到 84%。值得注意的是，仅 26.25% 的 pair 共享 fir… | 与同期工作相比，TwiSTAR 的独特定位在于它是第一个在生成式推荐中 learned adaptive reasoning allocation 的工作。OneRec-Think 解决了工业部署的延迟问题（离线预计算），但没有自适应；OxygenRec 有 fast-slow 架构但 routing 靠 heuristic。TwiSTAR 真正把 rou… |
| [2605.11874](2605.11874/report.md) | 推荐系统 — 强化学习与优化 | 现有 LLM agent 推荐系统普遍采用 RL 对齐用户偏好，但奖励信号几乎全是单一维度的结果奖励（点击、下单、评分）。这在 agentic 场景下有双重问题： **首先是稀疏性。** Agent 的决策链路长——理解 query、调用工具、推理筛选、生成回复——只靠终端行为信号做信用分配，训练不稳定、收敛慢。引入过程级 reward 是必要的。 **其… | 将 agentic 推荐的 reward 拆解为四条正交维度并以层级门控串联——先过格式与幻觉门，不通过则行为奖励直接归零，从而在 RL 训练的优化空间中物理性剪除不可靠路径 | **数据增强的效果（Table `if_syn_ablation`）：** 合成数据使 IF overall score 准确率从 57.03% 提升到 72.66%（+15.63%），但子维度增益极不均衡——format 提升 10.94%，content quality 仅提升 0.78%，style 甚至下降了 0.78%。这和 human-mach… | 实验覆盖了美团的多品类场景（餐饮、生活、购物、旅游、住宿、医疗），但回避了一个核心问题：**reward model 的跨领域泛化能力**。在美团的住宿场景训练的 FC RM，能否检测到医疗场景的幻觉？在餐饮场景训练的 relevance RM，能否判断购物 query 的相关性？如果没有跨领域泛化，实际部署需要为每个垂直领域分别训练 RM。 |
| [2605.12474](2605.12474/report.md) | 大语言模型 — 强化学习与对齐 | RLVR 在数学和代码任务上很有效，因为最终答案或测试集能提供相对清晰的验证信号。但医学、科学问答、开放式 instruction following 这类任务没有简单的 exact verifier，于是实践中常把 prompt-specific rubric 或 checklist 当作结构化 reward：回答是否提到某个事实、是否覆盖某个风险、是否… | Rubric-based RL 的失败不只来自弱 verifier 误判；静态且偏 presence-based 的 rubric 会把优化压力导向更长、更会覆盖表面 criteria 但事实性、简洁性和整体质量更差的回答。 |  | 主要局限也很清楚：reference 仍是模型 panel，不是直接人类偏好；rubric-design analysis 主要是相关性，不是通过重加权/新增负面 criteria 的因果干预；训练配置没有多 seed，只用 bootstrap over prompts 估计评估不确定性。后续最值得做的是：在线更新 rubric、显式加入 negative… |
| [2605.12617](2605.12617/report.md) | 推荐系统 — 生成式推荐 | 这篇论文的核心判断不是“MLP 比 Transformer 强”，而是 **在 Semantic ID-based generative recommendation 里，Transformer decoder 的大部分推理计算是结构性冗余**。因为 SID 的有效分支在第一个 token 之后快速塌缩，作者把“每一步都做 attention 的自回归解码… | SID 生成的难点几乎都集中在前几个 token；一旦前缀确定，后续分支空间迅速塌缩，因此没必要在每个 beam、每个位置反复跑完整 Transformer decoder，只需一次性读出 user context，再用按位置拆分的 MLP head 蒸馏教师的逐位决策即可。 | 最能支撑 key insight 的 ablation 我认为有三项： 1. **w/o prefix conditioning**：NDCG@10 暴跌 64%~72%。 这说明 later digits 虽简单，但不是 unconditional classification；前缀结构是核心条件变量。 2. **w/o multi-head atten… |  |
| [2605.14401](2605.14401/report.md) | 推荐系统 | memory-augmented LLM 推荐已经是一个拥挤的赛道（AgentCF / iAgent / STEAM / MemRec / A-Mem4Rec / RecNet 等），但作者指出现有工作几乎全部踩在两个共同的坑里。 **第一，扁平记忆把三个抽象层揉在一起**：raw observation（用户此刻在做什么）、disentangled be… | 把推荐建模成 POMDP，用三层记忆（事件/偏好/画像）做层次化状态抽象——其中中间的偏好层不直接喂给 ranker，而是作为生命周期操作的'手术台'，让画像层的合成质量更高。 | **三层记忆 $2^3 = 8$ 全因子消融**（Books 全用户）：no-memory baseline NDCG@10 = 0.424，加任意一层都能涨 60% 以上。但最关键的发现是： - profile + event = **0.731**（论文采用方案） - 三层全开（再加 preference）= 0.725 也就是说，**把 prefer… |  |
| [2605.17291](2605.17291/report.md) | 大模型推理 | RLVR 的标准 reward 来自最终答案是否正确，优点是可验证、便宜，缺点是对中间过程没有监督。RaR、RGR-GRPO 等 rubric reward 方法试图引入更细粒度的评价，但通常还是把多个 rubric criterion 的结果聚合成一个 response-level scalar，然后把这个 scalar 广播到整条回答的所有 token… | SRaR 将 rubric item 归因到具体推理步骤并跨 rollout 做 step-level 归一化，使 reward 信号只强化相对更好的中间步骤，同时用解耦 advantage 保持 outcome baseline 稳定。 | 两个消融最有信息量。第一，rubric aspect 消融显示，即使用 SUGGEST-only，SRaR 也比对应 RaR 高 2.86 个点；完整 SUGGEST+PITFALL+BONUS 时增益为 3.57 个点。这说明主要收益来自 step-wise credit assignment，而 PITFALL/BONUS 是额外补充。 第二，组件消融… | 成本也是实际限制：每个 rollout、每个 rubric item 都需要 judge，训练 wall-clock 和推理成本会线性增加。论文在数学 reasoning 上证明了收益，但还没有证明这种成本在代码、科学推理、逻辑推理等其他多步任务上划算。另一个未充分展开的问题是 rubric distillation 对 GPT-5 的依赖：如果只能使用较… |
| [2605.17648](2605.17648/report.md) | 推荐系统 — 强化学习与优化 | 生成式推荐用 RQ-VAE 把每个 item 编码成 $K=3$ 层的 hierarchical SID tuple（粗粒度类别 → 细粒度变体），LLM 自回归生成这个 tuple 来"推荐"item。当前 SOTA 路线是在 SID 解码前先输出 chain-of-thought reasoning（SIDReasoner, OneRec-Think,… | 把『一段 thinking + 一个 SID token』当成 RL 的 action unit，让 reward、advantage、token aggregation 都在这个粒度上对齐，从而修复 outcome-reward GRPO 对结构化输出的信用分配错配。 | | 变体 | 关键 finding | |------|------------| | Full SAPO | 三数据集 NDCG 全部最优 | | w/o per-step advantage（保留 dense reward 但用 rollout-level advantage） | 一致 drop，但幅度温和 | | w/o per-step matc… |  |
| [2605.18592](2605.18592/report.md) | 强化学习 | Rubric-based reward shaping 的吸引力在于它把复杂输出质量拆成自然语言 criteria 和权重，因此比单一 scalar reward 更容易审计和修订。问题是，RL 训练会改变 policy 行为：早期 rubric 没法预见后续 reward hacking，固定 rubric 很快会过时；而只基于当前 batch 的 ad… | 把 rollout 诊断、step summary 和 rubric update record 持久化为可检索 evaluation memory，可让 rubric 更新从局部反应转为基于历史证据的防御、课程推进与维护，从而减少振荡并提高训练信号质量。 | 1. **不是只学到一个更好的最终 rubric**：static rubric spectrum 显示 initial-static 最弱，no-memory adaptive 只小幅改善；final-static 能恢复大部分收益，但仍低于或持平于 AMARIS dynamic。这说明动态阶段性适配有额外价值，特别是早期防御、中期 curriculum… |  |
| [2605.18771](2605.18771/report.md) | 推荐系统 — 生成式推荐 | GR (TIGER, Cobra, RPG, Reg4Rec 等) 把推荐改写成"给定历史序列生成下一个 item 的 Semantic ID 序列"，但语义建模能力被限制在用户历史里，难以利用外部世界知识。已有工作 (KAR, SeRALM, ClickPrompt) 走的是 **prompt-based 两阶段融合**：用一个**固定的、手工设计的 t… | 通过平行码本生成用户个性化软指令驱动LLM抽取世界知识,并用Lagrangian primal-dual约束相对reference GR的退化,把不可控的知识融合变成有界优化 | 工业数据集上去掉每个模块（Table 3）： | 变体 | R@5 ↓ | N@5 ↓ | |------|-------|-------| | 去掉平行码本 ($LWGR_{w/o\_PCB}$, 改 MLP 拼接) | -3.92% | -4.94% | | 改用 Residual Quantization ($LWGR_{RQ}$) | -1.17%… | **实验覆盖与回避**。亮点是有工业 A/B 与亿级数据集，且消融把每一个声称的设计点都打掉过；回避的是 (i) 与 reference-free 的 RLHF/DPO 风格约束的比较——文章只对比了 fixed-β，没有比 KL/clipping 这类近年常用的 policy constraint；(ii) 真正大规模 LLM (Qwen3-8B 之外的… |
| [2605.18805](2605.18805/report.md) | 推荐系统 | 现有 LLM 推荐评测有两条主流路线，都没法回答 Agent 报告的真实效用。第一条是 shortlist 重排（如 AgentRecBench），把模型放进只含 1 个 ground-truth 的小候选集，本质评的是 local re-ranking；第二条是 LLM-as-judge，让另一个 LLM 评打分。线上 A/B 当然是金标准，但不可能做成… | 通过把 LLM 购物 Agent 评测转为大目录集合级报告生成，并用行为级 SetHit@K、学习型 reward model 与 LLM-judge 三套独立指标对照，揭示语义合理性并不能预测行为级效用。 | - 任务结构敏感性：search-only 在 comparative 表现近上限（0.492），但在 bundle 上只有 search 的三分之一，证明 bundle 是真正的「集合构造」任务，不能用更多 relevance 召回堆出来。 - Reasoning 的差异化收益：no-reasoning 在 14B 后停涨，reasoning-enabl… | 值得 follow up 的方向至少四条：(1) 把 RecoAtlas 当作 RL/SFT 训练环境，按 SetHit 与 reward model 做策略优化，论文最后已经明示了这条路；(2) 用更细的 trace-level 分析揭示「为什么 Nemotron 49B 在 bundle 上反超」——是更主动调用 complementarity，还是更… |
| [2605.20164](2605.20164/report.md) | 大语言模型 — 强化学习与对齐 | RLVR 在数学、代码等可自动验证任务上效果好，因为一个最终正确性分数通常足以区分 rollout。但开放式医学建议、多模态视觉问答、长文本写作等任务往往是多维质量问题：答案需要事实正确、覆盖完整、遵守格式、忠实视觉证据并保持合适表达。Rubric-based rewards 用 prompt-specific criteria 暴露这种多维结构，但训练仍… | POW3R 将 rubric 的最终评价权重与训练时可学习信号分离，按当前 rollout 的 criterion-level 方差在类别内动态路由 reward pressure，从同一 rubric、judge 和 GRPO 中提取更有效的 advantage 信号。 |  |  |
| [2605.21832](2605.21832/report.md) | 直播推荐 | 工业推荐系统的主力依旧是 ID-based collaborative filtering：把每个 item 表达为可学习 embedding，由海量用户交互累积出 collaborative signal。但直播场景有一个其他场景没有的硬约束——**item lifetime 只有几十分钟**（论文给出平均 ~45 分钟）。如图 `figures/gid… | 当 item lifetime 极短（直播间约 45 分钟）使 item ID 永远处于冷启动时，正确的做法不是给 ID 旁边加多模态信号，而是用跨域训练得到的层次化离散语义码 LUCID（slice + room）通过 late-fusion + 三阶段 warmup 彻底取代候选侧 item ID。 | - **多模态编码器**：backbone、fusion paradigm、training schedule 三个维度各自正贡献。Qwen3 + SigLip2 vs CLIP-B/32 + Albert-V2 在 Video Keyphrase Q2I R@10 上 87.10 vs 73.40，是单一维度里最显著的提升；single tower vs… | **实验覆盖与回避**。优点：A/B 把「单减 ID」单独作为一条 arm，证伪了「这只是个 diversity 改进」的可能；ablation 用 gate inversion 图直接证伪了「让模型自己学 fusion」的可行性。回避：（a）没有跟最强的 ID + 多模态对齐基线（如 LARM 全套）做端到端 A/B，只在离线消融里复现 LARM-sty… |
| [2605.21967](2605.21967/report.md) | 推荐系统 — 强化学习与优化 | 把 LLM 加进推荐有两条主流路径，都有各自的硬伤： - **Joint optimization**（R²ec 等）：把 LLM 最后一层 hidden state 接到 recommendation head 上端到端训。任务梯度会反推到预训练的语言空间，导致 LLM 显式推理能力被「冲淡」，trained 时间越长，CoT 的可解释性越差。 - **… | 用纯文本（CoT+answer）作为冻结 LLM 与独立 Rechead 之间的接口，两阶段交替冻结训练，使 RLVR 直接在文本层用 NDCG、语义相似度、压缩率与熵奖励对推理本身做对齐，避免 hidden-state 耦合导致的推理退化与文本-item ID 的语义鸿沟。 | 值得注意的几点： - **-II 掉得最多**：去掉 RL 阶段直接退化。这印证了「光靠预训练 LLM 不够」——必须用 task-aware 奖励重新对齐。 - **-sim 是 Stage II 内损失最大的**：去 similarity 奖励比去 NDCG、ent 都伤。也就是说，**奖励 CoT 的"语义保真"比奖励"召回准确"更基础**——前者是… | **实验回避的部分**：没和 LLM 全参数微调的强基线（如直接 instruction tuning Qwen3-0.6B + Rechead）做对比，所以无法直接证明「RL 比 SFT 更适合 CoT alignment」。entropy reward 的消融幅度也不大，更像是个稳定性 booster 而非必要项。线上实验是把 LLM 推到 nearl… |
| [2605.21969](2605.21969/report.md) | 推荐系统 | 工业广告系统现在面临两个被传统指标低估的痛点： **痛点一：广告主感知的不稳定。** 同一个广告主上传两份语义几乎相同的创意（仅 ad ID 或一个非语义特征不同），系统却可能给出完全不同的曝光/转化结果。这会让广告主难以做 creative testing、难以解释 bid/budget 调整的因果、影响平台信任度。传统 Recall@K/NDCG 只看… | 用 LLM 抽取的离散语义 token 做图遍历召回，使语义等价的广告落到同一邻域，从而把广告主感知的稳定性（A/A' StatSigDiff）从工程问题转化为可量化、可优化的指标。 | 论文没有给传统组件级消融（如"去掉短语回退"、"去掉 sqrt(rev) 加权"）。所有结论都来自单一 A/B 配置。这是工业论文的常见限制。 | **实验覆盖与回避**：覆盖了在线 A/B 的 top-line 与稳定性，但没有报告 LLM 推理成本、GPU 占用、端到端延迟变化、对长尾广告主（小预算）的差异化效果。也没有对比"用 dense embedding + ANN"的 LLM 召回方案——这是一个很自然的 ablation，但没做。 |
| [2605.22817](2605.22817/report.md) | 大语言模型 — 强化学习与测试时搜索 | 论文的出发点很现实：很多 LLM 系统早就不是“一次采样、一次作答”的单点推理模式，而是被放进更大的测试时搜索框架里。比如代码任务用 best-of-\(N\) 或 verifier 重排，复杂优化任务用 AlphaEvolve / OpenEvolve，不同候选会被进一步过滤、进化或组合。此时，训练阶段如果仍只优化固定标量奖励，就会把策略分布压得越来越尖… | VPO 通过把一次 rollout 训练成覆盖不同向量奖励权衡的候选集，而不是优化单一标量最优解，从而把测试时搜索真正需要的多样性直接编码进后训练目标。 | 论文做的对照比较扎实，最关键有三类： - **是否只是多答案 prompting 的收益？** 不是。Multi-RLVR 也一次输出多个答案，但在 Maze、MuSiQue、ToolRL 上 reward-space diversity 训练中仍会塌缩，best@\(k\) 也系统性落后 VPO。 - **是否只是更多 evaluator signal… |  |
| [2605.23191](2605.23191/report.md) | 推荐系统 — 排序与架构 | 工业推荐模型最近在向 dense scaling 靠拢：RankMixer 借鉴 MLP-Mixer 的思想，把异构多 field embedding 拼成 $T\times D$ 的 token matrix，然后用「token mixing + per-token FFN」交替堆叠，scaling 行为优于 DCNv2、xDeepFM 这类纯特征交叉网… | 用 effective rank 分析 RankMixer 的层间锯齿动力学，通过参数化全粒度 mixing 和 GLU 门控 P-FFN 实现『多扩张少收缩』，缓解 embedding collapse 并改善 dense scaling。 | Table 2 的拆分挺干净： - 去掉 Full Mixing（即 mixing 退回 block-transpose）：AUC 在 Criteo 上掉到 0.81413（−0.0007）； - 把 GLU P-FFN 换回 GELU：掉到 0.81349（−0.0013）；换 ReLU 更差到 0.81326； - 反向给 RankMixer 加 GL… | **实验覆盖与回避。** 论文跑 Criteo / Avazu 两个公开 CTR 集 + 两个 sequence 集，深度只到 2 个 block；scaling 实验的最大参数量约 4 倍 base，没有进入真正大规模 (10×、100×) 区间。换句话说，「scaling 行为更好」是在中等规模上的趋势外推，工业级 100M+ dense 参数下两条曲… |
| [2605.23310](2605.23310/report.md) | 推荐系统 — 生成式推荐 | 电商推荐的长尾问题在工业规模下被放大：天猫数据里 85.58% 的 user 是长尾（训练集交互 < 5 次），95.8% 的 item 是长尾（曝光 < 10 次），长尾样本占 22.4%。作者把任务形式化为长尾分布下的 CTR 预估。 现有路线各有硬伤：(1) **图方法**（GCN 传播到尾节点）受限于长尾固有的数据稀疏，且依赖人工图构造规则，容易引… | 用高碰撞率RQ-VAE构造语义簇作为head-tail桥梁，配合stop-gradient非对称InfoNCE让知识只从head流向tail而不让tail噪声污染head表示。 | 消融（Table 2，数值为相对全模型的下降）几个值得注意的点： - **去掉 instance-level feature** 退化最严重（AUC -1.14%、GAUC -1.55%，且 head 受损更大 -1.38%/-1.81%）——说明个体行为序列仍是预测精度的主干，簇级信息是补充而非替代。 - **去掉 cluster embedding**… | **实验覆盖与回避**：强项是真实工业规模 + 线上 A/B + head/tail 分桶，可信度高。但回避了几点：(1) 全部实验只在天猫单一数据集，没有公开数据集复现，外部难验证；(2) 没有对 $\lambda_1, \lambda_2$ 这对决定迁移不对称强度的关键超参做敏感性分析——而这正是全文最核心的设计；(3) 离线 AUC 绝对增益 0.3… |
| [2605.23312](2605.23312/report.md) | 推荐系统 — 生成式推荐 | 生成式推荐把语言模型的序列建模范式搬到用户行为上：把用户历史表示成事件序列，训练模型预测未来事件。这套范式对工业推荐很有吸引力，因为单个 backbone 可以支撑多个下游任务（召回、排序特征、用户 embedding、冷启动打分）。HSTU 等工作已经证明生成式推荐质量可以随训练算力可预测地 scale。 但论文指出一个被前人回避的实际问题：**预训练阶… | scaling 的收益高度任务相关，需用 offset scaling law 诊断剩余空间，并分别用高效解码、MTP 和语义塔解决重复训练成本、缓存服务标签陈旧和冷启动三大生产瓶颈，才能让预训练增益真正 transfer 到下游 | 论文没有传统意义上的组件消融表，但每个设计点都有针对性的对照实验：scaling 部分对比 offset vs log 拟合（RMSE 全面降低）；MTP 部分对比 NTP 基线和不同 token 窗口（揭示在线 vs 缓存的反向 trade-off）；延迟回放实验量化了不同任务对陈旧度的敏感性差异。这些分散的对照共同支撑了"任务相关"的核心论点。 | **实验覆盖了什么、回避了什么**：FLOPs 降低是**解析估计而非端到端实测**，论文诚实地多次声明这一点——所以 35.5×/249× 这些数字反映的是输出层理论成本，不能直接读作训练墙钟时间的加速。影子评估衡量的是表示质量的广度而非单点因果增益，真正的产品 lift 只用一句"多个 A/B 已有正向结果"带过，没有给数字。冷启动评估也只报了一个聚合… |
| [2605.23454](2605.23454/report.md) | 大语言模型 — 强化学习与对齐 | RLVR 的成功依赖 cheap and reliable verification。数学题、代码题、短答案题可以用答案匹配或单元测试给 reward，但医疗建议、写作、复杂指令遵循等任务往往没有单一正确答案；二值 reward 在这些任务上既难定义，也太稀疏。 Rubric-based reward 是自然替代方案：把回答质量拆成多个可判定维度，并按重要… | ARES 将原始预训练文档转成自包含问答和逐题加权 rubric，使开放式任务也能获得比二值验证更密集、更诊断性的 RL reward。 | 作者固定训练数据和 GRPO 设置，比较三种 reward 设计：Blind Judge、General Rubric、Reference Answer。ARES-RL 平均 52.69，高于 General Rubric 51.79、Blind Judge 49.53、Reference Answer 46.25。 关键结论不是“逐题 rubric 每项… |  |
| [2605.23590](2605.23590/report.md) | 智能体 | ReAct agent 的关键瓶颈在于多步搜索的局部决策质量。深度研究任务往往不是一次检索即可回答：agent 需要判断还缺什么证据、下一步应该换关键词还是打开页面、当前证据是否足以停止。标准 ReAct 把这些判断交给同一个 base model 的内部直觉，容易出现重复查询、过早停止、只覆盖单一来源或把低价值 snippet 当作充分证据。 已有 ru… | 把 rubric 训练成轨迹条件化的下一步动作排序信号，并在推理时注入与验证，可把 ReAct 的局部搜索决策从自我直觉变成可检查的专家偏好对齐过程。 | SQA-CS-V2（Qwen3-8B）消融说明三个组件都必要。无 Co-ReAct 的 ReAct 为 72.76；使用未 RL 训练的 rubric 加 verification 反而降到 72.44，证明不可靠 rubric 注入 context 会误导 agent。把 listwise 换成 pairwise 后为 74.04，低于完整系统 74.8… | 另一个关键限制是评价和训练均依赖 LLM judge。专家排序来自三个 frontier LLM，DRB/SQA 评估也用 Gemini judge 或官方脚本中的 LLM 判断，因此结果可能继承 judge 偏好、verbosity bias 或模型家族间共享盲点。论文通过多 judge、Borda 聚合、两个 benchmark、多种 agent ba… |
| [2605.24051](2605.24051/report.md) | 推荐系统 | 工业界普遍相信长期历史里藏着短窗口看不到的信号（季节性购物、兴趣演化、人生阶段转变）。但默认的 LastN 扩展策略有三个相互纠缠的问题： **Needle in the haystack（大海捞针）。** Transformer attention 对序列里所有位置做两两交互，当历史长达数十万事件、而对当前广告请求真正有用的只有寥寥几条时，真正有信息量的… | 把超长用户历史扩展重新定义为信息检索问题，用改进MMR个性化检索既相关又多样的历史片段，从而绕开长上下文attention稀释、O(n^2)系统开销和滚动训练的灾难性遗忘三重瓶颈。 | Data Memento 的三个分解很有信息量（都相对 V0 150+ 天 baseline）： - **resetting (RS) > shrinking (ES)：+0.04% NE**——shrinking 残留信息带来的过拟合超过其价值。 - **MMR 选择 > 随机选择：+0.07% NE**——证明检索选样本而非随机重放确实关键。 - **… | **实验覆盖与回避。** 论文用真实生产 A/B 给出了很强的工业可信度（+1% CTR / +1.2% CVR 在 Meta 体量上是大数字），系统侧的延迟/存储数字也很扎实。但**回避了可复现性**——明确说不用公开数据集，所有 NE 都是相对值，外部研究者无法复现或对比。Ember-Quadratic 引用的 QNN 收益是别人在公开 benchma… |
| [2605.25330](2605.25330/report.md) | 推荐系统 — 生成式推荐 | 向量量化（VQ-VAE、RQ-VAE、PQ）最初是为表示压缩设计的——它本来就允许不同向量共享同一个离散码。但 SID 生成式推荐把量化结果**复用为 item 标识符**，而推荐目标本质上是 item 级的：只有当生成的 SID 唯一指向目标 item 时才该算对。两个目标天然冲突——压缩鼓励合并相似项，标识要求一一对应。 作者用两张表把问题量化坐实。T… | SID级匹配只在零碰撞时等价于item级推荐；tokenizer压缩使相似item共享SID（碰撞率达30.5%），令标准Hit@K系统性虚高并翻转tokenizer排名，需用碰撞折算指标CCE或零碰撞重分配ZCR来忠实评测。 | **协同信号融合**（Figure 5）。作者额外探究了一个简单方案：在量化前把文本 embedding 和 PPMI+SVD 协同 embedding 拼接（α=0.5）再做 PCA，喂给 RK-Means+ZCR。结果 RK-Means+ZCR+CF 在所有 4 个数据集上 IH@10 都最高，比 LETTER+ZCR 高 4.6%–26.2%。增益最… | **实验覆盖与回避**。覆盖了 4 个域、5 个 tokenizer、3 个种子，控制变量做得干净。但都是公开 Amazon/Yelp 数据 + 单一 T5 生成器架构——作者自己承认虚高幅度和排名翻转在更大的工业数据集上可能不同。另外 QuaSID 是作者自己照论文复现的（官方未开源），MQL4GRec 用官方 tokenizer 实现，这些复现差异是潜… |
| [2605.25749](2605.25749/report.md) | 推荐系统 | 工业推荐是 recall→ranking→reranking 三级架构。重排的本质难点是:要在长度为 $L$ 的排列空间 $\Pi(\mathcal{V}_u)$ 里找最优列表,而这个空间随候选数指数爆炸(论文设定 12 选 6,约 $6.6\times10^5$ 种排列)。 早期的 generator-evaluator 两阶段范式(GRN、PIER 等… | 用累积回归评估器对任意子序列打分,离线 beam search 挖掘高价值前瞻序列并转成 step-wise 稠密监督蒸馏进轻量生成器,从而把排列空间探索移到离线、在线只需单次贪心解码。 | 在淘宝闪购 $B=2$ 下做了四个变体(Table 4): - **w/o Hard Label**:HR@1% 从 79.10% **暴跌到 21.07%**,几乎退化到 Exposure Only(15.77%)。这是最关键的发现——**beam search 挖出的高质量前瞻序列(hard label)是 DeGRe 性能的根基**,没有它整套机制崩… | **实验覆盖与回避**:HR@1% 的巨大提升(动辄 +30~53%)很大程度上是因为评估指标和训练目标同源——generator 在模仿一个能拿高 HR 的 evaluator,自然 HR 高。这个数字的说服力不如线上 GMV +3.75%。论文回避了与 evaluator 解耦的第三方评估(例如真实用户反馈下的 list 价值),也没报告 beam s… |
| [2605.26121](2605.26121/report.md) | 数据配比 | LLM 预训练里 data mixing（比如 DoReMi / RegMix / Aioli / SampleMix）几乎都默认「类别划分是给定的」，他们只调每类的权重 $w_k$。可一旦 underlying taxonomy 是脏的，再聪明的 reweighting 也是无源之水。当前两条主流分类路线在 web-scale 数据上都有结构性缺陷： *… | 把数据分类放到超球面上的 vMF 混合模型上做，并对经验分配 mass 而非生成 prior 加均衡正则项，再用 MM 算法保证单调收敛，从而在不破坏 likelihood 几何含义的前提下显式抑制各向异性 embedding 引发的 cluster collapse。 | 四档逐步加组件：K-Means (38.5%) → Spherical K-Means (40.6%) → Vanilla vMF (41.3%) → GEM (42.1%)。其中： - **欧氏 → 球面**（K-Means → SphK-Means）涨 2.1 个点，最大跳变，证实几何错配是首要瓶颈。 - **硬分配 → 软分配**（SphK-Mean… | **实验的覆盖与回避**：作者把模型规模锁在 1.1B、token 锁在 25B，明确说这是 early-stage scaling indicator。在 100B+ 的工业规模上 cluster collapse 可能换一种形态出现（比如 mode 在大数据下被 vMF 自己平滑掉，或者 anisotropy 因为 batch 多样性自然消失），单点结… |
| [2605.26579](2605.26579/report.md) | 大语言模型 — 强化学习与对齐 | 开放式生成任务通常没有单一 verifier，质量分散在多个维度上，例如指令满足、完整性、一致性、安全性、风格、事实性等。因此现代 alignment pipeline 经常使用带 rubric/checklist 的 AI judge 给出 criterion-level feedback。但 RL 优化器需要的是标量 reward，于是必须把多维 cr… | Focal Reward 通过反投影当前强 rollout 的 criterion 饱和度，把 reward 权重从已饱和维度转移到仍有 headroom 的 rubric 维度，从而缓解静态 scalarizer 的优化偏置。 | Figure 2 显示静态 prior 与 focal 权重在 headroom 维度上的差异。Static prior 下，许多高 headroom criterion 仍拿到小权重，而一些低 headroom criterion 继续被强调；Focal Reward 则把更多权重质量移到高 headroom criterion，符合设计目标。 Figu… |  |
| [2605.27141](2605.27141/report.md) | LLM-agent | LLM 正从单轮文本生成器变成长期协作的 agent。真实助手场景的核心难点并不在「指令写清楚后能不能正确执行一串动作」——这正是 SWE-bench、WebArena、τ-bench、VitaBench 这类 benchmark 已经覆盖的——而在于用户意图**under-specified**：它隐含在过去零散的日常交互里，需要被推断、被长期维护、并随… | 把隐式、演化、带噪声的长期用户偏好显式化为可控的 agentic 评测协议，并通过可插拔 memory 接口隔离记忆作用，从而暴露出个性化（而非工具/推理）已成为前沿 agent 的新瓶颈。 |  | **实验覆盖了什么、回避了什么。** 覆盖面相当广（约 20 个前沿模型 × 3 种 memory 设定 × thinking/non-thinking），并用 Full Context / 真值偏好 / 失败归因三组对照，干净地把瓶颈定位到「偏好的应用」而非单纯「偏好的抽取」。回避的是：没有训练/微调实验（纯评测，未尝试用该数据提升模型），memory… |
| [2605.28293](2605.28293/report.md) | 推荐系统 — 强化学习与优化 | 平台经常需要用户走出既有习惯——新上线的爵士乐库、新品类的 3C 配件,直接硬推用户大概率忽略,接受率很低。这是主动推荐的根本张力:平台要某些商品被发现,用户却锚定在熟悉偏好上。主动推荐系统(PRS)的思路是不硬推,而是构造一条中间商品路径,逐步把偏好挪过去。例如把一个 Sci-Fi 影迷引导到喜剧:WALL-E(科幻+动画)→ 疯狂动物城(动画+喜剧)→… | PRS 中路径奖励分解出的逐步奖励均值为正会导致长度捷径,通过逐步奖励中心化(使延长路径零期望收益)和逐位置 advantage 估计(免 critic 降方差)修正 policy gradient 即可有效优化。 | **去掉 SRC 的反直觉现象。** 在 ML-1M 和 Steam 上去掉 Stepwise Reward Centering 后,CTR 反而异常高(ML-1M 达 0.9731,甚至超过完整 ProRL),但 IoI/IoR 严重崩塌。原因正是 CTR 奖励均值为正:没有 centering,优化被密集的正向点击反馈主导,模型死磕短期点击率而抓不到稀… | **实验覆盖与回避。** 全程是离线、基于 simulator 的评估,没有真实用户的在线 A/B,因此"偏好真的被引导迁移了"这一主张始终是 simulator 意义上的。$L_{\max}=10$ 是个不大的动作空间,Rollout@10 已能覆盖大部分潜力,这也解释了为何 RL 主要起"整流"作用;在更长、更开放的路径空间里,探索难度会陡增,结论未必… |
| [2605.28742](2605.28742/report.md) | LLM 推理 | 现有 LLM 从 verifiable rewards 学习的方法在 sample-efficiency 上和人类差距巨大。GRPO 这类 parametric 方法常需要数十万 rollout 才能让模型在新任务上有显著提升；GEPA 这类 prompt-optimization 方法虽然 rollout 数较少，但仍需几百到几千的 training+v… | 通过对比成功与失败 trace 抽取一句话级别的可复用 insight，并用 verifier-based admission test 与 utility-aware retrieval 控制入库与复用，使 frozen LLM 以极少 rollout 和极小 context 开销实现自我改进。 | 10-example 设置 4 任务平均改进： - 完整 CORE：+0.268 - 只看失败 trace 反思（incorrect trace only）：+0.234 - 只看正确 trace 反思（correct trace only）：+0.203 - 去掉 utility-aware retrieval：+0.227 两点结论：(a) **对比*… | **实验覆盖与回避**：四个任务都属于"单轮、可程序化 verify、解空间结构清晰"的推理域，且 frozen model 选了能力较强的 gpt-oss-120b——作者自己 noted insight 质量随模型规模显著提升，<30B 模型上 CORE 收益不显著。这意味着 CORE 在小模型 + 模糊任务的组合上不一定 work。另外 GRPO b… |
| [2605.29156](2605.29156/report.md) | 奖励建模 | Pointwise reward model 的好处是部署简单：每个回答独立得到一个标量分数，可用于筛选、DPO 数据构造或在线 RL 奖励。但在开放式任务里，直接预测一个绝对分数很难稳定，因为“好回答”的标准随任务而变，而且常常包含格式、约束满足、事实准确性、风格、完整性等多个维度。 Rubric-based evaluation 试图把这个问题拆开：先… | 把 pairwise preference 转换成 generator 与 judge 两个阶段的偏好一致性奖励，并用概率式 rubric 打分减少 ties，使 pointwise rubric reward model 能在非可验证任务中独立部署并稳定服务于 DPO/GRPO。 | 去掉 alternating RL 的版本平均分是 69.3，Rubric-ARROW 完整版为 73.1，说明 SFT warm-up 本身不足以达到最终效果，交替优化确实带来主要增益。voting@5 下，w/o RL 为 72.0，完整版为 75.6。 去掉 length penalty 后，平均分从 73.1 降到 72.3，voting@5 从… | 理论分析的贡献是给 reward 设计提供合理性，尤其是对侧平均的 variance reduction；但这些结论建立在独立、对称、Gaussian 或 surrogate-gap 等理想条件上。真实 LLM judge rollout 的错误往往相关且系统性，例如同一 rubric 下持续误判事实性问题；因此理论结果应理解为解释设计方向，而不是严格保证… |
| [2605.29280](2605.29280/report.md) | 推荐系统 — 序列与特征 | 工业推荐是两层架构：离线一个万亿参数的 FM 学丰富表征，在线多个百万参数的 VM 扛延迟约束做预测。KD 用 FM 的标量预测当 soft label 监督 VM 训练，是连接两者的标准手段。 问题出在 **bandwidth bottleneck（带宽瓶颈）**：FM 学到的是跨域特征、多层交互模式、上下文信号这些丰富知识，KD 却把它全压成**一个标… | 把FM的历史中间层embedding压缩量化后作为VM的时序输入特征,开辟一条高带宽迁移通道,绕过标量KD的带宽瓶颈且serving无需实时FM推理 | - **层选择**：浅层迁移更好（Emb 0.6338、Hidden-0 0.6340 > Deep 0.6326），符合信息瓶颈观点（深层渐进丢弃输入细节）。但纯 embedding 层（无学到的交互）略低于 Hidden-0，说明交互学习有价值。**仅 soft-label 当 1 维序列也有强收益（0.6286）——连 FM 预测的时序结构都携带显著… | **实验覆盖与回避**：公开实验最大的软肋是 scale gap——FM 只有 ~6M 参数的浅 DMIN,而论文真正的卖点是万亿参数场景,二者的代表性作者自己也承认（Limitation 5,Appendix RQ6）。item-only embedding 捕获 86% 增益这个结果其实有点尴尬——它暗示在浅 FM 上 DNN 交互几乎没用,论文用「深… |
| [2605.29755](2605.29755/report.md) | 推荐系统 | 推荐系统的 scaling law 已经被验证：堆参数、堆数据、用更长行为序列都能稳定涨 AUC。但工业落地有两条硬约束——**线上延迟敏感**和**训练/推理 ROI**：超大模型推理开销暴涨、边际收益递减，直接上线不现实。知识蒸馏是绕开这个「scale-efficiency 困境」的自然路径，但 CV/NLP 那套蒸馏范式在推荐场景下根本不适用，原因有… | 把蒸馏增益分解为 teacher scaling 增益与迁移率的乘积，通过解耦式异步流水线、双塔 student、跨采样空间 debias 与 batch-streaming 混合训练，在不增加线上成本的前提下把超大 teacher 的增益迁移给轻量 student。 | - **双塔解耦的必要性**：单塔只用 $\mathcal{L}_{distill}$ 仅 +0.03%；单塔 $\mathcal{L}_{task}+\mathcal{L}_{distill}$ +0.36%；解耦双塔最优配置（辅助塔 $\mathcal{L}_{task}+\mathcal{L}_{distill}$）达到主塔 **+0.44%**。证… | **实验覆盖与回避**。论文在三个真实大场景上做了扎实的离线 + 线上验证，scaling 三维度的消融也很完整。但有几处回避：teacher 最高做到 24B，但多数 scaling 消融和线上 A/B 实际只用到 7B teacher，24B 仅在单个容量 gap 实验里出现，24B→线上的端到端收益没有完整呈现；论文反复强调「peak transfe… |
| [2605.29847](2605.29847/report.md) | 大语言模型 — 强化学习与对齐 | RLVR 在数学、代码等可验证任务中效果明显，因为奖励可以由答案正确性、单元测试或规则判断给出。但开放式生成任务（医学咨询、长文写作、科研问答等）通常没有唯一标准答案，直接优化一个标量 reward 会非常脆弱。Rubric-based RL 的优势是把“好回答”拆成多个可检查条件，例如事实准确、覆盖关键约束、避免有害建议等，从而给模型更密的训练信号。 现… | 开放式任务的奖励可通过单策略自生成 rubric 的可区分性与同伴一致性来近似验证，从而让回答能力和评价标准在同一个 RL 闭环中共同演化。 | 论文在 Medical 域用 Qwen3-8B 做消融。Full EvoRubric 在 HealthBench/LLMMed 上为 53.97/70.76；去掉各模块后均下降： - w/o Discriminative Reward：HealthBench 48.80，说明只生成动态标准但不奖励区分能力，会显著削弱训练信号。 - w/o Peer Con… | 但这也带来几个局限。第一，论文仍使用 GPT-OSS-120B 作为 Grader，并用 GPT-4.1 做 rubric blind test 的 meta-judge；虽然不依赖闭源模型来生成动态 rubric，但评估/打分链条仍需要强 judge，实际训练成本和 judge 偏置没有完全消失。第二，实验覆盖 Medical、Writing、Scien… |
| [2605.30244](2605.30244/report.md) | 大语言模型 — 强化学习与对齐 | RLVR 在数学、代码、OCR、计数、grounding 等任务中有效，因为这些任务的正确性通常能被 exact match、unit test 或几何匹配决定。但视觉语言任务更常处在 partially verifiable regime：最终答案可能可验证，中间感知事实、推理步骤、约束遵守和表达完整性却未必能被一个确定性 verifier 覆盖。如果仍… | 把可验证性从任务级下沉到 rubric 准则级，并通过最小暴露、准则路由和层级聚合，使视觉语言在线 RL 既获得细粒度监督又减少可利用的奖励误判。 | GenRM held-out test set 包含 1,000 个样本、3,148 条 criterion，其中约 60.7% criterion 使用 verifier。base model 虽然 schema 和 criterion-slot accuracy 已接近 98.6%/98.7%，但 execution accuracy 只有 82.0%… |  |
| [2605.30280](2605.30280/report.md) | 视觉-语言-动作 | 现有具身系统几乎都是「窄专家」：操作模型只做桌面/灵巧手控制，导航模型只在室内做 waypoint 预测，第一人称人手数据又是另一套表征。它们在观测格式、控制频率、预测时域、动作维度、评估协议上全都不同，导致能力碎片化、跨任务/环境/本体迁移困难，无法像通用 VLM 预训练那样规模化。 作者的切入点是一个观察：这些任务**表面异构，底层计算结构相同**——… | 把异构具身任务统一为动作-轨迹预测，并先做无视觉的文本到动作（T2A）预训练，把语言指令当作动作轨迹的压缩编码、让随机初始化的 DiT decoder 先建立语言索引的结构化动作先验，再引入视觉 grounding，从而稳定高效地对齐强预训练 VLM 主干与新生动作专家。 | - **T2A 是最大单点收益**：在 Simpler-WidowX 上，无 T2A baseline 60.9%；纯真机 T2A 数据 51.0%、纯合成 64.1%、**~20% 合成 + 80% 真机最优 71.1%（+10.2pp）**。合成数据拓宽语言-动作对应的覆盖，真机数据锚定物理可行的动力学。 - **全序列预测 > chunk 预测**（… |  |
| [2605.30288](2605.30288/report.md) | 大语言模型 | Mid-training 处在 pretraining 和 post-training 之间：训练目标仍接近 language modeling，数据规模接近预训练；但数据选择目标已经是能力导向，例如 coding、math reasoning、long-context、tool use、agentic traces。这样的 corpus 同时包含 web… | 异构 mid-training 语料的质量标准依赖来源格式与训练角色，因此先由 teacher 自发现 source-group rubric、再蒸馏成可扩展 scorer，比固定全局质量分更能在保留能力覆盖的同时提高 token efficiency。 |  | 实验覆盖的强项是端到端训练：不是只报告 scorer agreement，而是把筛选结果用于 25B/50B token mid-training、再统一 SFT 后评测九个 benchmark。这比只做离线 quality correlation 更有说服力。弱项是外推边界：所有主实验都在代码向 mid-training 与 Qwen2.5-Coder-… |
| [2605.31545](2605.31545/report.md) | 大语言模型 — 个性化与评估 | 个性化生成的评估有一个结构性矛盾：传统自动指标默认存在单一客观参考答案，而个性化输出本质上受用户长期历史中隐含的主观偏好控制。ROUGE、BLEU、BERTScore 等指标容易奖励词面或语义相似，却不一定能识别“这是不是这个用户会写/会喜欢的表达”。普通人工评估也有推断缺口，因为外部标注者通常看不到或无法可靠理解目标用户的真实长期偏好。 LLM-as-a… | 个性化评估准则必须同时由用户历史稳定支持并能把真实用户输出与强个性化模型仿写拉开 margin，因此把 rubric induction 训练成带一致性过滤和判别式 RL 目标的学习问题比静态 judge 更可靠。 | > - **Title**: Preference-Aware Rubric Learning for Personalized Evaluation > - **Authors**: Yilun Qiu; Xiaoyan Zhao; Yang Zhang; Yuxin Chen; Cilin Yan; Jiayin Cai; Xiaolong Jiang… | 值得 follow up 的方向包括：冷启动用户的跨用户迁移或 meta-learning；随时间更新的 dynamic rubric；多模态个性化场景；以及把用户显式反馈纳入 rubric 修正。更根本的问题是，用户偏好最终只能由用户本人定义，PARL 是一个以历史行为为证据的代理测量框架，而不是偏好的完美真值。 |
| [2606.01091](2606.01091/report.md) | 大语言模型 — 强化学习与对齐 | 开放式任务的 RL 难点是 reward 不像数学或代码那样可直接验证。一个 research answer 或 long-form answer 是否好，常常取决于是否覆盖了多个事实维度、是否避免了常见误解、是否满足引用和证据约束。单个最终分数太稀疏，人工 rubric 又贵且难扩展；直接 prompt 一个大模型生成 rubric 则容易只得到通用的“… | 把开放式任务的评分标准生成转化为证据驱动的研究过程，可把外部事实蒸馏成原子约束，为GRPO提供比整体评分更密集且任务相关的奖励信号。 | rubric source ablation 控制模型、GRPO 和训练设置，只改变 rubric 来源。Benchmark-native rubric 在 agentic tasks 上已经很强，但不是上界：GPT-5/Gemini/bootstrap 在不同 benchmark 上都能超过它，说明“和测试协议对齐”不等于“对训练最优”。 rubric… |  |
| [2606.02020](2606.02020/report.md) | 推理模型 | CoT 推理的内部机理是个开放问题。已有理解多停留在"局部"——某一步的 representation 转移、某一类 token 的功能、step-level 的 Markov 建模等等——把 CoT 看作离散段拼接，回避了"reasoning 怎样从探索整体演变到收敛"这个 global dynamics 的问题。这个问题的实际意义是：reasoning… | 把 CoT 的 predictive entropy 序列建模为两段式 regime shift，将'是否进入 confidence region'转译成 sequential change-point detection 后用 CUSUM 这一渐近 minimax-optimal 工具实时检测，因此能够在保持准确率的前提下安全早停并按收敛证据加权投票。 | 论文未做模块级 ablation（毕竟方法只有一个 hyperparameter $h$ 和两段分布估计），但有两个"间接消融"性质的分析值得注意： - **变换点位置 vs 难度 / 模型强度**（Table 1）：$\nu_{\text{norm}}$ 在容易题约 30%、难题约 55%；越强模型越早收敛（Qwen3-14B 30%/52% < DS-… | **实验覆盖与回避**。覆盖了三个不同规模/不同训练范式的模型 + 三个高难度推理任务，外加 Pareto 前沿对比，相当扎实。回避或淡化的部分：(1) 没有 instruction-tuned non-reasoning 模型上的对比；(2) 计算开销表只在一个模型一个数据集上做；(3) 没有触及 false-alarm 控制在实际数据上的有效性——理论… |
| [2606.03221](2606.03221/report.md) | 序列推荐 | 序列推荐从 SASRec 演进到 HSTU、Tiger 这一代生成式范式后，结构上的进步依然抹不掉部署到新数据集时人手调参的隐性成本：常常需要几十到几百次 trial 来调 lr、正则化系数和结构选择。传统 HPO（Grid Search、Bayesian Optimization）虽然把搜索流程自动化了，但本质上是一种"盲搜"——它只在预先定义的标量空间… | 把 LLM 显式定位为对 trial 结果做因果归因的推理器，并用层次化 memory 把每个 session 的搜索轨迹蒸馏成可跨数据集迁移的 Cognition Summary，从而把 SR 调参从盲搜变成知识获取过程，实现 cognitive pruning。 | 在 Baby/Beauty 上对 SASRec 和 HSTU 两个 backbone 各做了 w/o Reflection 与 w/o Memory 的消融。两点最值得记： - **Reflection 与 Memory 是大致可加的**：去掉 reflection 跌一档，再去掉 memory 又跌一档。论文据此判断两者互补——reflection 产出… | **实验覆盖与回避。** 覆盖到了：两个有代表性的 backbone、三个数据集、三种 LLM（鲁棒性表）、消融、跨域迁移、收敛曲线。回避了：(a) 大规模工业级数据集；(b) 长序列场景；(c) 对 memory schema 的消融——比如 Long vs Short 哪个更关键、把所有 Long Memory 都关掉会怎样；(d) reflectio… |
| [2606.03239](2606.03239/report.md) | 搜索代理 | 搜索代理通常按 ReAct 式循环工作：理解问题、改写搜索 query、读取检索结果、整合证据、最后回答。现有 RL 训练多数把最终答案 F1/正确性加格式惩罚作为 reward，这会忽略一个常见现象：两条轨迹可能最终答案相同，但一条通过精准查询和充分证据快速到达，另一条靠冗余搜索或偶然命中才得到答案。对于 GRPO 这类组内相对优化，如果同一 query… | ARBOR 将局部对比轨迹中归纳出的搜索过程标准沉淀为可复用且在线更新的 rubric memory，使最终答案分数相同的训练组仍能获得组内过程差异信号。 | Rubric memory 消融表明，性能提升不能只归因于“加了 LLM rubric reward”。RaR-style 用 reference-conditioned query-specific rubrics，效果弱且不稳定：在 8B 上基本持平 GRPO，在 14B 上反而明显低于 GRPO。w/o memory 保留 ARBOR 的 contr… |  |
| [2606.03866](2606.03866/report.md) | 推荐系统 — 强化学习与优化 | LLM4Rec 大致分三条路线：Generative Recommendation、Ranking Model Scaling、LLM-as-Enhancer。工业界最常用第三条，因为它与在线 serving 模型**架构解耦**、成本可控——LLM 离线/近线推理生成语义特征，下游 backbone 照常工作。 但现有 LLM-as-Enhancer 的… | 用 ground-truth 购买项逆向蒸馏 CoT 并以 PPL 拒绝采样保证 SFT 质量，再用 POPO 按梯度对齐度动态加权 LLM 语义奖励与推荐协同奖励，在 GRPO 中收敛到 Pareto 前沿，使 7B 模型超过 32B 教师并在快手广告全量落地。 | - **RUPR 的作用**（表 2）：SFT 后格式正确率已约 99%。w/ RUPR 相比直接蒸馏在细粒度指标提升显著，Category_L3_ACC +32.43%。说明用 ground-truth 反向约束确实改善了 CoT 的语义命中。 - **POPO vs POPO-light 互补**（表 4）：完整 POPO 在 6 项里 5 项最优；P… | **实验回避了什么**。论文几乎没有与同类 RL 对齐方法（Rec-R1、LangPTune、DEEPER 等在 Related Work 提到）做**直接对比实验**——离线主表只比了 backbone 和教师两个 LLM，POPO 的对照仅是 GRPO 固定权重。所以"POPO 优于其它动态/静态加权方案"主要靠理论论证 + GRPO 单点消融支撑，缺… |
| [2606.03968](2606.03968/report.md) | 大语言模型 — 强化学习与对齐 | RLVR 在数学和代码任务上有效，因为答案可以被程序、单元测试或规则直接验证。但许多对齐和通用能力任务没有这种 reward：比如解释复杂概念、处理法律推理、道德判断、长篇叙事推理、购物建议。近期的 rubric-based RL 试图把 reward 拆成多个可判定标准，让 LLM judge 给二值分数；但如果 query 很开放，rubric 会遇到… | QUBRIC 的关键贡献是把开放式 query 先改写成由 teacher key points 锚定的自包含场景，再用 teacher-policy 差距生成 constitutive rubrics，从而让非可验证任务也能产生可区分、可学习的 RL 奖励。 | 论文最有说服力的部分是 matched ablations。QUBRIC 在 ArenaHard hard-prompt 为 76.5；surface rewrite only 只有 67.1，说明不是改写得更清楚就够了；scenario rewrite without key points 为 73.6，说明场景化有帮助但没有 key points 锚定… |  |
| [2606.04536](2606.04536/report.md) | 推荐系统 — 强化学习与优化 | 长程 LLM agent 要在远超单个上下文窗口的经验上运作：多 session 对话、长链 web 搜索、迭代工具调用、不断变化的用户偏好。在这些场景下，记忆应该不只是"保存被压缩的 token 记录"，而应该"改变未来动作如何被产出"。作者用生物记忆做类比：学习和记忆是耦合的，因为经验最终沉淀在执行计算的同一个底物上。当前 LLM agent 打破了这… | 把记忆抽取建模为rollout中可被RL优化的action,将蒸馏出的QA监督通过SVD初始化的在线LoRA写入fast weights,使策略在单个episode内真正改变而非仅查询prompt空间记忆 | 四个消融全在 Qwen3-4B 上做： - **上下文预算 $L_{\max}$**：两个数据集都呈钟形曲线。太小导致触发过频、激进压缩在信息进入 $\Delta_t$ 前就丢细节；太大导致工作上下文臃肿、抽取 prompt 难 grounding、QA 质量下降。最优值 LoCoMo=4096、LongMemEval-S=12288（后者需要更大工作窗口… | **实验覆盖与回避**。覆盖了对话、搜索、context-learning 三类长程任务，两个模型规模，RL 前后都有对比，消融较完整。但回避了几点：模型规模只到 8B，没有验证更大模型上参数化记忆的边际收益是否依然显著（直觉上大模型 in-context 能力更强，fast-weight 的相对优势可能缩小）；CL-Bench 用了过滤集，未过滤结果数值… |
| [2606.04555](2606.04555/report.md) | 对话记忆 | 长程对话 agent 需要在多轮交互中保留并调用历史信息。一个好的记忆系统要同时满足两点：(i) **在线构造**——utterance 到达时能增量更新、不重建整个记忆；(ii) **检索机制**——能定位与当前 query 相关的历史片段。树状结构天然适合，因为它能把对话组织成层次化、多粒度的摘要。 但现有树状记忆几乎都聚焦**主题层次（topical… | 用线段树的连续区间不变式把时序保持变成数据结构的内在属性，仅在最右前沿做对数级增量插入，并将检索形式化为树结构上的相关性分数传播，从而同时利用主题层次与时间顺序。 | **RQ1 受控对比**：固定摘要 prompt 等所有实现细节，只换在线更新算法。三个数据集上线段树变体（Cosine/Pointwise/Batch）一致优于非时序相似度聚类树，且对非时序树套用同样的传播策略也补不上差距——说明**构造时保序本身就产生了更强的记忆表示**，与检索无关。定性分析（附录）发现线段树内部节点因总结连续区间而更连贯流畅，而聚类… |  |
| [2606.05698](2606.05698/report.md) | LoRA | 检索增强生成（RAG）把检索到的文档直接拼进输入上下文，模型能 token 级访问证据，但每个 token 都要付出 prefill 计算并在整个解码过程中占据 KV cache，长文档或反复查询的文档因此非常昂贵。 为减轻这一负担有两条互补的研究线：(1) **KV cache 压缩**（尤其是 eviction，按 attention/leverage… | document LoRA 是与 KV cache 互补的解码期参数记忆通道，其收益只在上下文证据被严重压缩时才浮现，且 QA-style 监督和 MLP-only 适配最有效。 | - **压缩算法鲁棒性**：把 Compactor 换成 Expected Attention，两者绝对退化曲线不同（10% 保留率、LongHealth/Llama 上 base ROUGE-L 分别为 0.157 vs 0.246），但 **LoRA−base 的 margin 模式完全一致**——低压缩小、高压缩拉开。这说明 LoRA 是在补偿“缺失… | **实验覆盖与回避**：覆盖了两个数据集、两个 base model、两种压缩器、三种 target module 与四种监督格式，交叉验证扎实。但回避了几点：只用 ROUGE-L 单一指标（生成式短语答案的合理选择，但没有人工或语义评测做交叉验证）；文档规模仅 11–16K token，未触及更长上下文；adapter 是 per-document 训练… |
| [2606.06036](2606.06036/report.md) | LLM Agent | LLM 有「锯齿状」认知画像：数学推理强，但长程记忆弱，受限于上下文窗口无法保留长交互历史。给 agent 外挂记忆系统是主流解法，但本文指出现有方案——无论是相似度检索（MemoryBank、Mem0）还是图结构记忆（A-Mem、Zep）——本质都是**被动检索策略 $\pi_p$**：检索结果只是 query 的函数 $\{v^{(1)},\dots,… | 把记忆访问从被动的一次性检索改造为 LLM 驱动的多轮主动重构，配合 Cue-Tag-Content 关联图先在便宜的 tag 层剪枝再取贵的内容，使检索方向能随中间证据动态调整。 | 在 LoCoMo multi-hop 上（Claude，Recall+J）拆解两个维度： - **结构维度**（无推理，绿条）：CE（Cue→Episode 直接索引）< CTE（Cue–Tag–Episode）< CTC（完整结构），单调提升，证明 tag 提供了有效的语义路标。 - **推理维度**：所有结构上「带推理」（蓝条）都显著超过「仅结构」（绿… |  |
| [2606.06090](2606.06090/report.md) | LLM Agent | LLM agent 在执行长周期任务时，需要在数百步交互中维持对"当前状态"的连贯理解——每步 action 都会改变后续约束，中间的错误会级联放大。但是现有记忆系统的设计哲学是"按语义相似度组织历史、按相关性检索"，这套逻辑本质上在做 information retrieval，而非 execution management。这带来了两个根本性问题： 1… | 将agent记忆从基于语义的被动档案重构为主动执行状态管理器，用双层层次树维护完整root-to-current路径，实现无碎片的状态读取和结构性错误隔离 | 实验覆盖了 MemoryArena 四个领域，任务都有明确的子目标结构。现实场景中的 agent 执行可能不具备这么清晰的分割。另外 agent 本身的能力制约 Compress 和 Maintain 的触发准确性——如果 agent 评估自己对"现在是否该压缩"或"压缩后的摘要是否准确"的能力有限，MAGE 的价值也会打折。这是 agent capabi… |  |
| [2606.06260](2606.06260/report.md) | 推荐系统 — 生成式推荐 | OneRec V1/V2 已经把 scaling law 在推荐里跑通，但生成式推荐天然只有 itemic token，序列里没有语言学意义上的推理痕迹，因此 reasoning 性质无法被自激发。OneRec-Think 和 OpenOneRec 这两个前置工作尝试用「itemic + text」交错数据把 think-before-answer 引入推… | 通过四粒度对齐预训练强化 itemic token 的语义感知，配合 Persona-Expansion-Inference 三段式 CoT 与 specialize-then-unify 的 RL 路线，让推荐生成模型的 thinking 模式首次稳定超越 non-thinking 模式。 | - **四粒度逐级累加**（Table 1）：Token 一加 R1 I2I 从 0.00 跳到 20.57，但 R2 退化；Item 修复部分 R0 retrieval；Relational 推 R1 到 25.65；User 把 R3 Cross-Live 从 3.25 推到 8.56。结论：token / relational 是「扩能力」型增量，i… | **实验覆盖了什么、回避了什么。** 论文里实验覆盖面在生成式推荐里属于罕见的扎实：四个域 × R0/R1/R2/R3 × thinking/non-thinking × 多个 K，外加 LLM zero-shot 对照、ID-based 对照、LC-Rec PT/SFT 拆分。但有几处主动留白值得追问——文中明确说 "我们只展示了 CoT 监督对 non… |
| [2606.06787](2606.06787/report.md) | LLM Agent | LLM agent 在长链路、多回合任务上的核心瓶颈不在单步推理，而在跨回合、跨任务的信息保持与复用。已有的 textual memory 工作（MemGPT、Mem0、Mem1、MemoryBank、MemAgent、HiAgent 等）大体落在「semantic / episodic」两个抽屉里——要么存事实，要么压缩上下文，对 cognitive a… | 通过显式的 expectation 字段把任务级 sparse reward 拆成 per-step 二元信号，再用 noisy-OR Bernoulli + EM 学每条 procedural memory 的有效性 v_m，使长链路 agent 的 memory 既能记成功也能记失败并被在线评分剪枝。 | Ablation 在 Jericho 上做 1/2/3 epoch streaming（保留 long-term memory 不重置）： | Variant | E1 C | E2 C | E3 C | |---|---|---|---| | ReAct | 40.0 | – | – | | STP（只有 short-term planning） | 4… | **和近期工作的 positioning。** 与 AWM / Mem$^p$ 比，AdMem 的核心差异是 **expectation-driven per-step credit** + **$v_m$ 显式打分**——前两者都没解决「sparse reward 下哪条 memory 真的有用」这个问题。与 MIRIX 等多 agent 记忆框架比，A… |
| [2606.07040](2606.07040/report.md) | 大语言模型 — 强化学习与对齐 | 论文区分了两类 rubric：一类是 benchmark 设计中人工写入的评测规范；另一类是 reward modeling 中在线生成、每个 query 都重新生成的 rubric。作者批评的是后者。在线 rubric 方法形式上是两步：先由 rubric model 从 query 生成标准，再让 judge 在该标准下比较候选回答。这个流程看似更“有… | 把 reward guidance 从逐 query 在线生成 rubric 改为离线探索并选择领域级 evaluation skill，可用候选响应相关的 rollouts 学到更贴合模型能力和任务偏好的评估流程，从而在不增加测试时 rubric 生成成本的情况下稳定提升 judge/RM。 | > - **Title**: Beyond Rubrics: Exploration-Guided Evaluation Skills for Reward Modeling > - **Authors**: Xing Yue, Linjuan Wu, Daoxin Zhang, Yongliang Shen, Weiming Lu > - **Affil… | 另一个值得注意的限制是 evaluation cost 与 selection bias。虽然 online inference 不增加 rubric generation，但离线演化需要模型 rollouts、skill generation、selection，作者报告每个 skill 需 1–2 小时和 1–2 张 GPU。并且 final skil… |
| [2606.07082](2606.07082/report.md) | On-Policy Distillation | OPD 在 LRM 后训练中越来越主流：student 用自己采样的轨迹与教师 token 级分布对齐，结合了 SFT 的密集监督和 RLVR 的 on-policy gradient。但既有参数空间分析只刻画了 SFT 与 RLVR 的二元几何 —— SFT 沿 principal direction 写入密集更新 (Liu et al., 2026)，… | OPD 在参数空间内独占一个 relaxed off-principal regime，并通过早期出现的低维 update channel (subspace locking) 进行学习；该 channel 对 token/rollout 扰动免疫，但对 objective composition 敏感。 | 三类干预共享同一 OPD baseline (Qwen3-8B student, Qwen3-32B teacher, dapo-math-17k, 300 steps, checkpoints 63/127/191/255/299)： | 干预 | 实现 | 对 stable rank 的影响 | |------|------|-------------… | **实验回避了什么**：没有把 OPD 在 instruction following / safety 这类 reward signal 更模糊的场景下复测；teacher / student gap 主要在 ≤4× (Qwen3-8B → Qwen3-32B)，更夸张的 gap (例如 7B → 70B) 没覆盖；没有比较 forward-KL vs… |
| [2606.07299](2606.07299/report.md) | Deep Research | 论文切入的是 Deep Research 系统，而不是传统 RAG。传统 RAG 往往围绕一个输入 query 检索若干 passage，再生成短答案；Deep Research 的输出则是长篇报告，需要反复定义问题边界、分解任务、跨源验证、整合证据并控制写作质量。因此，难点从“检索到相关片段”变成“在长时间跨度内保持研究方向、证据充分性和生成可审计性”。… | 把长程研究过程显式拆成可审计的动态图计划、隔离噪声的两级搜索执行和动态 rubric 推理脚手架，可以在开放式研究任务中同时提升证据召回、分析质量和过程可追溯性。 | 论文只报告了 rubric 与 report-stage model 的消融，没有直接消融图规划或两级搜索。 在 DeepResearch Bench 上，去掉报告阶段 rubric 后 Overall 从 58.03 降到 57.61，下降 0.42；全流程去掉 rubric 后降到 57.53，比仅去掉报告阶段再低 0.08。作者据此认为 rubric… |  |
| [2606.07512](2606.07512/report.md) | 长视频理解 | 现有 VLM 处理长视频采用紧耦合策略:暴力抽帧把视频摊平成超长 token 序列,感知和推理在同一个上下文里完成。这带来两个瓶颈:感知端 2 小时视频 1FPS 就产生 1.62M tokens,远超上下文上限,即便 Gemini-2.5-Pro 的 1M 窗口也只能靠激进降采样硬塞;推理端海量冗余 token 导致注意力稀释和 "lost in the… | 长视频理解的瓶颈是推理被海量噪声token淹没而非感知不足:将视频离线构建为纯文本层级图记忆(层级供全局导航+因果边供逻辑链追踪),让推理模型通过工具循环只消费约6K高信噪比文本,即可把模型原生推理能力直接迁移到长视频任务(AIME相关性0.702→0.897) | - **记忆结构**(LVBench):Flat-Chunk 77.4 → Flat-Graph 84.8(+7.4,图边保住事件连续性)→ Hierarchical-Chunk 86.3(层级防止陷入局部)→ Hierarchical-Graph 90.7,层级与图复合增益。 - **检索策略**:嵌入相似度 70.5;全记忆塞上下文 78.9(摘要题… | **实验覆盖与回避。** 四个 benchmark 全是多选 QA,记忆构建的离线成本(感知模型按 10 分钟窗口跑完整视频的 API 费用与延迟)没有量化报告,与端到端单次推理的成本对比缺失——对一个主打效率的框架,"2% 上下文"只算了推理侧。所有数字依赖闭源 Gemini-3.1-Pro 做感知,虽然感知 backbone 消融显示波动小,但最低端的… |
| [2606.07513](2606.07513/report.md) | Agent Society | LLM-based 角色扮演与 agent society 已有 Generative Agents、Humanoid Agents、Project Sid、Aivilization 等先例,但它们普遍只覆盖"天"级别的时间尺度,且大量 LLM 调用用于诸如"采集 2 把麦子合成 1 包面粉"这种 *low-level operation*,而非真正的长期… | 把社交模拟从天扩到年并定义 social/subjective/economy 三维 life reward，通过 self-baseline advantage 的 rejection sampling 让 LLM 在自身经验中进化，避开了 PPO/GRPO 在 long-horizon 单轨迹下的不可行性。 |  | **实验覆盖了什么、回避了什么?** 系统在三个完全虚构世界做了 30 万 token 量级的扎实工程实验,这件事本身极有价值。但论文有意回避了:(1) 跨模型族迁移(只跑了一种 Qwen),(2) 与人类 ground truth 的对齐(全部由 LLM judge),(3) 更细粒度的 credit assignment(目前是 agent-year… |
| [2606.07546](2606.07546/report.md) | 推荐系统 — 生成式推荐 | 短视频推荐里要同时刻画长期偏好和瞬时意图，序列长度 $L>10^3$ 是必要门槛。但工业系统在 $L$ 增长时会撞到两个独立瓶颈： **表示瓶颈**：传统 hashed/orthogonal Video ID 把每个视频当成正交 token，模型只能靠记忆 ID-交互来工作。后果有二，一是嵌入表随语料无界增长（在十亿级语料下嵌入参数和物理存储都很贵），二是… | 把 RQ-VAE 的层级 SID 截断到 Bi-gram (c1,c2) 让序列侧词表 bounded，再用零参数 Temporal Folding 把 k 个相邻 token 沿 channel 维 concat 成 super-token——既消除嵌入表的语料级膨胀，又把 attention 的 O(L^2) 折成 O((L/k)^2)，让工业级 L=2000 端到端建模可行。 | 容量扩展（$L=800$，Table 2）：$d$ 从 128 拉到 1024，Task 1 AUC $+0.10\%$、Task 2 $+0.15\%$；层数从 2 到 6，Task 1 $+0.23\%$、Task 2 $+0.36\%$。深度收益明显大于宽度收益，提示 ultra-long 序列里建模 long-range 依赖更需要 recepti… | **实验覆盖与回避**。论文把工业系统三大问题（表示、效率、最终业务）都给了数字，且 Pareto 区分得很清楚。但回避了几件事：(1) 没给 SID 与 Video ID 在**相同序列长度**下的 AUC 直接比较，最终 A/B 是「SID + L=2000 + 加大模型」对「Video ID + L=800」的整体差，无法剥离 SID 本身的 AUC… |
| [2606.08480](2606.08480/report.md) | 推荐系统 — 生成式推荐 | 工业推荐通常是多阶段级联：召回阶段追求覆盖，从海量商品中找出上千候选；排序阶段使用更重的特征和模型做精排。生成式推荐把召回改写成自回归生成 Semantic ID 序列：商品共享语义前缀，LLM 式参数共享有利于长尾和语义泛化，但也削弱了商品簇内的细粒度辨别能力。用生产 ranker 作为 reward model 来做 RL 微调，是一个自然补救：让生成… | AdaGRPO 通过策略侧困难度与奖励侧可判别性两个 rollout 排序诊断，只在策略需要帮助且生产排序器局部可信的样本上准入 GRPO，从而避免曝光偏置 reward model 的噪声梯度破坏生成式推荐。 |  | AdaGRPO 的优点是把一个工业常见但常被忽略的问题形式化了：生产 ranker 不是 verifier，它在不同样本/候选区域的可信度不同。相比简单调小 λ 或做固定 NLL+GRPO 混合，样本级 clip 更贴近噪声的异质性，而且保留 NLL 对所有样本的监督锚点，避免把被剪样本直接丢弃。 |
| [2606.09659](2606.09659/report.md) | 长上下文压缩 | KV cache 压缩这两年被研究得很多（SnapKV、KVzip、Expected Attention、Attention Matching 等），但实际部署时痛点很具体：(1) 几乎所有方法都要先把完整 prompt prefill 一遍才能压，这意味着 TTFT 几乎和不压缩一样；(2) prompt-dependent 方法压出来的 cache 跨… | 通过 350B token 大规模端到端训练和交错式压缩数据格式，把 encoder-decoder soft-token compression 重做成一个保留 base model 通用能力的压缩器，在 TTFT 和 peak memory 维度推开 KV cache 压缩方法构成的 Pareto 前沿。 | 架构搜索是这篇 paper 的另一个亮点。From-scratch 跑 38B token 的 controlled sweep 让作者得以在不被 pretrained weight 污染的情况下评估每个 axis。结论： - **Pooling**：mean ≈ concat ≫ EOS-token。Concat 在 4× 略好、16× 略差。 - **… | **实验回避了什么**：作者没有跟 Cartridges（per-corpus distill 出 KV cache）那种 offline-amortized 压缩做正面 wall-clock 比较——后者训练成本巨大但推理时是省 token 的。作者把 Cartridges 归到「需要 30 分钟 8×H100 per corpus」的另一类问题，但严格… |
| [2606.09821](2606.09821/report.md) | LLM强化学习 | LLM RL 的训练实践经常是 off-policy 的：rollout 由高吞吐推理引擎生成，训练端和推理端存在数值差异；同一批 rollout 还会被拆成 mini-batch、多次更新，导致当前被优化的 policy 与生成数据的 behavior policy μ 不一致。在这种情况下，trust region 不是装饰性正则，而是防止 stale… | DRPO 将 DPPO 的 Binary-TV 绝对概率位移边界转化为带优势权重的平滑二次正则，使越界 token 不再被硬屏蔽而是获得有界的反向纠正梯度。 | 去掉 |Â_t| 后，SPO 与 DRPO 都出现性能下降和训练不稳定，支持“正则强度必须跟 token advantage 尺度绑定”的设计。这个结果也反驳了一个看似自然的替代方案：为了让正则更像纯 divergence 而去掉 advantage weight。实践上，稳定的 token-level 边界比形式上更纯的 divergence 更重要。… |  |
| [2606.10078](2606.10078/report.md) | 推荐系统 — 强化学习与优化 | 标准 DPO 的偏好模型是 Bradley–Terry：每条监督是一个 winner 和一个 loser。这个假设适合问答、摘要这类“两个候选回答谁更好”的场景，但与推荐系统的反馈形态不匹配。推荐里一个用户可能点击/喜欢多个物品，同时还有大量未点击或显式拒绝的候选；这些数据只支持“正样本集合整体优于负样本集合”，通常不支持在正样本内部排序。 直接把 set… | Mult-DPO 用同一 reward weight 空间上的 multinomial surrogate 保守近似 set-wise Plackett-Luce 偏好事件，从而把多正多负推荐反馈转化为可计算的 DPO 上界目标。 | 严格意义上，论文没有给出组件去除式消融（例如去掉 multinomial surrogate 或改用不同 target distribution），但有三类相关诊断： 1. 与 DPO-style baselines 的对比：vanilla DPO、DMPO、S-DPO、LiPO(BT) 分别代表 pairwise、single-positive mult… | 未来值得跟进的方向包括：设计比 MN surrogate 更紧但仍可计算的 variational/EM 近似；给同级 positives 引入非均匀权重；把 hard negative sampling 纳入理论和训练闭环；在 retrieval/search/code generation 等多正确答案任务上检验 set-wise preference… |
| [2606.10968](2606.10968/report.md) | 大语言模型 — 强化学习与对齐 | RLVR 的实际训练是 off-policy 的：一批 response 由 rollout policy `μ` 采样，然后 target policy `π` 对同一批数据做多步梯度更新。随着 `π` 远离 `μ`，基于旧数据的 surrogate objective 变得不可靠，训练可能不稳定。PPO/GRPO 用 sampled-token lik… | LLM RLVR 的 token-level trust region 应按自回归位置和已累积 prefix 漂移分配 divergence 预算，早期更严格、prefix 漂移后动态收紧，从而比统一阈值更好地控制 off-policy 误差传播。 | 在 Qwen3-1.7B 上，作者把 CPPO 拆成几个变体： - **去掉 position weight**：保留 prefix constraint 但令 `w_t ≡ 1`，仍优于 DPPO。 - **去掉 prefix budget**：只用 position-dependent threshold，不用累计 prefix constraint，… |  |
| [2606.11926](2606.11926/report.md) | 自动科研 | 论文针对的是比普通代码 agent 更长、更开放的任务：研究者不是执行一个已知 patch，而是在不确定假设、昂贵实验、延迟反馈和失败方向之间持续推进。现有 coding agent 可以连续编辑代码、调用工具和跑实验，但很多系统的“长程性”主要体现在单条执行轨迹变长；一旦尝试失败，失败原因和边界条件很容易只残留在 transcript 中，难以稳定地影响… | Arbor 通过持久化假设树把局部实验、失败证据和可复用洞察转化为全局研究状态，使长程 agent 搜索从线性试错变成可审计、可继承并由 held-out gate 验证的累积式优化过程。 | 论文在 MLE-Bench Lite 上消融两个核心组件：去掉树（flat experiment queue）和去掉 insight feedback（保留树但不向上传播 lessons）。Full Arbor 的 Any Medal 为 81.82%；w/o tree 降到 63.64%；w/o insight feedback 降到 54.54%。所有… | 这篇论文最强的地方是把自动科研的状态管理问题讲清楚了。HTR 的贡献不在于提出一个全新的搜索算法公式，而在于给“多次实验如何变成研究进展”提供了操作层面的 schema：hypothesis 必须可归因，executor 必须局部且隔离，insight 必须可向上传播，合并必须经过 held-out gate。这些约束听起来工程化，但正是长程 agent… |
| [2606.12198](2606.12198/report.md) | 推荐系统 | 传统工业推荐强在效率和规模，但用户表示通常是 ID 序列或 embedding，难以表达“为什么用户喜欢这些内容”，也很难利用 LLM 的世界知识去提出有意义的探索方向。近年的 LLM 推荐工作大多有两个取舍：要么把 LLM 用作离线内容标注器或固定 vocabulary 的 cluster ID 预测器，要么在学术小数据上直接让 LLM 做推荐判断。前者… | 把 LLM 生成的自然语言用户兴趣画像作为异步更新的高层语义策略，而非同步逐条打分器，可以在十亿级推荐系统中低成本地同时改善既有兴趣利用和新主题探索。 | 严格说，论文有多组离线 ablation，但线上 ablation 不够完整。已有诊断包括： - **输入表示 ablation**：title 优于 description / salient terms；clustered input 优于 sequential input；大模型优于小模型，但 Pro 到 Ultra 出现收益饱和。 - **蒸馏 c… | 方法可能 break 的地方有三类。第一，输入噪声：标题党、反讽标题、多语言混杂或视频 metadata 缺失会误导 persona。第二，异步 stale：用户兴趣突变时，后台更新频率不够会保留过时标签。第三，反馈回路并没有消失：LLM exploration 能提出新主题，但如果下游 ranking 仍倾向保守曝光，新探索内容可能长期被压制；论文中 e… |
| [2606.12507](2606.12507/report.md) | 大语言模型 — 强化学习与对齐 | 开放式任务（医学建议、科学解释、长文写作、instruction following 等）通常没有可程序验证的唯一答案。近年的常见做法是为每个 prompt 生成一组加权 rubric criteria，再用 LLM verifier 判断 response 是否满足每条 criteria，聚合成 scalar reward。这个路线确实扩展了 RLVR… | 把 prompt-specific rubric 作为同一 base model 的 privileged teacher context，可将稀疏的 rubric reward 转化为逐 token 蒸馏信号，从而在不调用训练时 verifier 的情况下逼近 judge-based GRPO 的收益。 | **enrichment 信号**：在 Qwen-2.5 medical 上，raw rubric teacher 优于 self-generated reference response teacher。3B/7B 的 rubric-RGSD 峰值为 27.4/36.8，self-golden variant 为 25.3/34.0，差约 2--3pp；… | 从研究图谱看，这篇论文的定位介于 rubric-RL、on-policy distillation 和 self-distillation 之间。它最有价值的不是提出复杂新算法，而是给出一个很实用的替代表述：当 rubric 能显著改变模型输出分布时，不必总把它压成 reward；可以直接把这个分布差异蒸馏进去。后续值得跟进的问题包括：rubric-con… |
| [2606.13392](2606.13392/report.md) | 大语言模型 | 超长上下文已经不是“锦上添花”的能力，而是 agent 工作流、仓库级代码推理、长程记忆、多模态长视频理解的基础能力。但现有 dense softmax attention 即使在 GQA 框架下，随着长度增长仍然要为每个 query 扫过全部可见 token，这让部署成本很快变成主要瓶颈。 已有路线大致有两类：一类是直接替换部分 attention la… | 用一个按 GQA group 独立工作的轻量 Index Branch 在 block 级别预选少量关键 KV 块，再在这些块上执行精确 softmax attention，并用 KL 对齐加 warmup 训练索引器，就能在基本保留 109B 长上下文能力的同时把 attention 成本与全局上下文长度近似解耦。 |  |  |
| [2606.13533](2606.13533/report.md) | 推荐系统 — 检索与重排序 | 工业电商搜索的召回通常由倒排索引、dense retrieval、协同过滤等多分支组成，再用手工规则或调参融合候选。这个架构鲁棒、可解释，但有三个结构性问题：各分支独立训练，无法联合优化；多分支候选冗余且系统复杂；不同分支各自带偏差，倒排分支 lexical faithful 但语义弱，dense 分支泛化好但更新慢，协同分支偏头部、对长尾和新品不友好。… | 将生成式检索的 SID 槽位与可解释属性词对齐并预留可后绑定槽位，使新词干预退化为字典和索引更新，而不是模型参数更新。 | SFT 消融最能说明机制分工：完整 OneRetrieval 在 L6-D3 下 total IHR@350 为 0.1340。去掉 Stage 0 后 HR 基本不降，IHR 降到 0.1020，说明 Stage 0 主要贡献可解释 slot 语义和位置偏置；去掉 Stage 1 后 HR 降到 0.5434/0.5967，但 IHR 反而不受损，说明… | 实验覆盖比较充分，尤其有线上 A/B，这是工业检索论文的强证据。不过仍有一些回避点。第一，OneRetrieval 的 shallow HR 和 MRR 明显弱于 OneSearch，说明如果希望单模型同时承担 pre-ranking/ranking，仍需额外排序优化。第二，intervention probe 中新词由 Qwen3-7B 生成、再构造 q… |
| [2606.13679](2606.13679/report.md) | 多模态生成 | 论文把失败模式归纳成两类。第一类是普通图像生成/编辑器的架构限制：它们可以把一个 prompt 或一张输入图变成一张图，但不能原生输出“文本—图像—文本—图像”的多步序列。第二类是 UMM 的长程问题：UMM 逐步基于前一张图生成下一步，在重复动作、流程图解、具身操作等任务上容易出现 visual over-reliance——模型被当前视觉状态吸引，误以… | 将全局规划与局部视觉反馈解耦，并用 Critic 的单步双奖励 RL 做 prompt 纠错，可以把冻结图像生成器稳定扩展到长程图文交错生成。 | 消融集中在 UEval + FLUX.2-klein-9B。原始 FLUX.2-klein-9B 因输出形态限制，文本序列得分为 0，平均 18.2。用零样本 Qwen3-VL-8B 作为 Planner/Critic 后平均到 48.1；加入 Planner-SFT 后文本分从 33.5 大幅到 58.5，平均 60.5，说明格式化全局计划是主要门槛。F… |  |
| [2606.13680](2606.13680/report.md) | 大语言模型 — 强化学习与对齐 | RLVR 已经证明可以通过 outcome reward 激发语言模型的复杂推理，但它默认模型只能依靠参数中已有的知识和策略。对竞赛数学这类任务，如果某个问题需要模型尚未内化的技巧，仅仅增加采样数量往往不能稳定发现正确轨迹，训练会遇到稀疏奖励瓶颈。 普通 RAG 看起来是自然补充，但在推理任务上“相似问题”经常不是“有用问题”。语义相近的题可能需要完全不同… | 把检索目标从语义相似改为推理效用，并在RLVR训练中让策略在结果奖励下使用结构类比示例，可把外部解题轨迹转化为更密集、更有方向的探索信号。 | SFT vs RA-SFT vs GRPO vs RA-RFT 的消融说明，检索增强并不会自动带来收益。Qwen3-1.7B 上，SFT 为 39.7，RA-SFT 只有 40.5，提升很小；GRPO 为 43.3，而 RA-RFT 达到 47.4。作者的解释是：cross-entropy 训练会让模型拟合固定目标，检索 trace 即使存在也不一定被使用… |  |
| [2606.13681](2606.13681/report.md) | LLM Agent | 当前主流 agent benchmark 通常固定任务环境：SWE-bench 固定 issue snapshot，WebArena 固定网页环境，GAIA 固定工具/网页问题，Terminal-Bench 固定容器任务。这类设置能测量一次性解决能力，但不能测量 agent 在现实部署中面对版本漂移时的能力。实际系统会出现 API 变更、文件路径迁移、权限… | 把 agent memory 建模为当前状态加可检索的 patch 演化轨迹，可以在环境和偏好持续变化时保留旧状态、更新理由与证据，从而减少 stale reuse 和跨版本回归。 | **Terminal-Bench-Evo：关键是 patch 是否被 operationalized。** 论文按四类条件分层：是否检索到 patch example、是否覆盖 evolved requirement、是否在 reasoning/commands 中 uptake patch term、是否在 command-level uptake。结果… | 这篇论文的定位很清晰：它把 agent evaluation 从 static snapshot 推向 versioned environment chain，并把 memory design 从 latest-state store 推向 update-history store。对于长期 agent 系统，这个问题非常实际，尤其和我们日常使用工具/技能… |
| [2606.14142](2606.14142/report.md) | 推荐系统 — 生成式推荐 | LLM-based generative recommendation 的吸引力在于：LLM 预训练包含大量商品、类别、用途、用户意图等世界知识；如果能调动这些知识，模型不应只靠交互共现做 next-item prediction。然而近年的 GR 系统通常把 item 表示为 Semantic ID，即新加入词表的一串特殊 token。SID 使 ite… | SID 生成式推荐中，自然语言 rationale 与 SID token 空间弱耦合会削弱显式 CoT，而经过 CPT 预训练的 token 能把推理变成直接服务 SID 预测的 latent computation。 | **1. CPT 只恢复粗粒度语义。** SID metadata recovery 显示：1-level category accuracy 在 Beauty/Sports/Toys 分别为 98.00、97.83、99.56；但 full category 只有 7.19、1.30、6.74，title recovery 近乎为 0（0.00、0.06… | 这篇论文最有价值的部分不是提出“加几个 pause token”，而是把推荐里的 CoT failure 拆成可诊断的接口问题。很多 LLM 推荐论文默认“显式思考 trace + RL”就是 reasoning，但这篇指出在 SID 输出设置下，自然语言 trace 和最终目标 token 空间可能严重错配：模型说出一个看似合理的理由，未必能稳定提高正确… |
| [2606.14260](2606.14260/report.md) | 推荐系统 — 生成式推荐 | 生成式推荐（如 TIGER、OneRec、MiniOneRec、TokenRec）把推荐问题转成离散 token 序列生成：物品先被表示为 Semantic IDs，模型学习根据历史 SID 序列生成下一个 SID。这种范式的瓶颈在于 SID 的学习通常是静态的：给定物品文本 embedding，量化器输出固定 ID，不区分交互发生的时间。 论文指出，现有… | 将相对时间显式注入 Semantic ID 学习并用并行量化解耦时间-文本 facet，使生成式推荐的离散目标 token 本身携带动态交互语义。 | 论文做了三个有用的 sanity check： 1. **不是 ID 容量变大带来的收益**：Industrial 上 3-digit text-only SID 的 HR@3 为 8.64，4-digit text-only 反而降到 8.02；ChronoID 3-digit parallel-relative 达到 12.60。这说明提升来自有意义的… | 实验覆盖了推荐领域常见的 top-K next-item 指标和多个数据集，也特别强调避免未来信息泄漏，这是该工作的优点。不过，论文仍主要停留在离线评估；没有展示线上延迟、码本更新成本、冷启动新物品在生产系统中的 SID 生成策略，以及时间粒度选择对大规模服务的影响。尤其是如果 SID 随 interaction time 变化，同一物品可能对应多个时间相… |
| [2606.14997](2606.14997/report.md) | 机器遗忘 | 现有神经网络把知识分布式编码在大量参数里，同一权重矩阵往往服务多个行为。因此，想“只删除猫类别”“只忘掉 TOFU 中 10% 作者事实”通常会破坏无关能力，或者需要多轮 fine-tuning / preference optimization。论文的目标是找到某个概念在训练后模型中的功能性因果载体：注入它能恢复该概念，移除它能删除该概念，同时参考概念尽… | 用目标与参考激活协方差构造的谱滤波器可以从训练后权重中分离功能性概念分量，从而以单次统计和闭式伪逆实现组合式遗忘。 | 最重要的消融有两个： - **层类型消融**：Q/K + Gate alone 的 Overall=0.819，等于 all linear projections；Q/K only 为 0.510；No Q/K/Gate 为 0.238。这说明 W-Norm 热图不是纯统计现象，而有因果意义：记忆定位确实集中在 Q/K 和 gate。 - **tabula… |  |
| [2606.16707](2606.16707/report.md) | 智能体记忆 | 现有 agent memory 多数采用向量库、JSON/fact store、knowledge graph 或文本页：它们擅长从历史中找相似事实，但“存储事实”和“对事实执行规则”分离。这样的 bag-of-facts memory 有三个典型问题：一是相互矛盾或更新过的事实容易并存而没有可执行规则来裁决；二是 top-k retrieval 无法保证… | 把用户记忆表示为 append-only 事实日志周期性 checkpoint 成 typed Python 状态和约束函数，使记忆不仅能被检索，还能由解释器精确聚合和主动触发安全/日程/财务提醒。 | 标准 benchmark 结果有参考价值，但 SOTA baseline 是 same-backbone lite reimplementation，作者也承认它们替换了原系统更强的 backbone 和检索基础设施，因此绝对分数不能直接拿来否定 MemMachine、Hindsight、EverMemOS 的 published numbers。Acti… |  |
| [2606.17024](2606.17024/report.md) | 大语言模型强化学习 | 当前 LLM reasoning 的 RL 常用 final-answer correctness 作为 reward：答案对就是 1，错就是 0。这个设定在可验证任务上很干净，但对高难题有一个硬伤：base model 如果在有限采样里很少生成正确完整解法，RL 看到的大多是 0 reward，无法区分“完全走偏的轨迹”和“已经完成关键中间化简但最后算错… | ExpRL 将参考解答从离线模仿目标改为 on-policy 轨迹的 dense reward scaffold，因此能在困难推理题上强化 partial progress、扩大 productive reasoning path 覆盖率，并为后续 sparse-reward RL 提供更好的初始化。 | - **Process advantage normalization**：附录比较 EndNorm、DeltaNorm、GroupNorm，Stage-I pass@k 曲线总体接近，说明方法不依赖某个脆弱的 advantage 公式。 - **Judge/reference calibration**：在 math、SciKnow-MCQ、SciKno… | 实验覆盖较强的是 answer-based math reasoning 和一部分 science/coding 混合域，但还没有充分覆盖开放式证明、需要外部工具交互的任务、长程规划任务或多参考解答场景。另一个尚未彻底解决的问题是 process reward 与长度/格式的耦合：论文观察到 ExpRL-Process 在有 length clipping… |
| [2606.17107](2606.17107/report.md) | 大语言模型 | LLM agent 经常每轮都要读同一份长上下文：系统政策、工具规范、用户记忆、RAG 文档、历史轨迹摘要等。KV cache 让 exact-prefix reuse 变得便宜，但 exact-prefix reuse 的局限也很硬：只要复用区域中间某个字段改变，后续所有 token 曾经 attend 过旧字段，理论上都要重算。常见工程 workaro… | Transformer 在 prefill 阶段会把字段条件化结论写入下游 KV notes，因此可通过 append-only erratum 编辑这些 notes、通过 RoPE 重定位组合预编译 KV，从而在保持决策一致性的同时降低长上下文 agent 的预填充成本。 | - **CoT vs direct**：同一字段刷新在 CoT 下可 work，在 direct 下被忽略。这是本文最重要的交互效应之一，说明“模型是否重新读字段”比模型大小更关键。 - **RoPE re-rotation 必要性**：memory transplant 中 no-rotation control 崩溃，late decision agr… |  |
| [2606.17250](2606.17250/report.md) | 大语言模型 — 强化学习与对齐 | critic-free RLVR 的吸引力在于不需要额外 critic/value model，计算和显存都比 PPO 轻。但现有主流方法通常仍要对同一个 prompt 生成多条 rollout：GRPO/RLOO/ReMax 等都依赖 group 来估计相对 advantage。这个设计有三个现实成本： - **数据效率低**：同组 rollout re… | critic-free RLVR 中 group 的关键稳定作用是让同一 prompt 的正负轨迹在共享 supporting tokens 上抵消有害负梯度；显式屏蔽负样本高概率 token 可在单 rollout 下复现这种保护。 | 论文对 `tau` 做了敏感性实验。小 `tau` 意味着保留更多高概率 token 的负梯度，训练仍容易退化；`tau=0.8/0.9` 更稳定，默认 `tau=0.9` reward 更高、response 更短。但 `tau=1`（等价 positive-only，不惩罚任何负 token）也会出现另一种崩溃：response length 快速下降… |  |
| [2606.17539](2606.17539/report.md) | 空间VLM | 现有 VLM 即使在视觉问答上很强，也常在 3D layout、depth、occlusion、viewpoint-dependent relation 上失败；空间 VLM 通过深度和几何编码改善了空间感知，但复杂问题往往需要多步推理，例如跨视角对齐、比较对象中心距离、根据障碍物规划路径。这类任务的瓶颈不是“看见对象”，而是把多个局部几何线索组合成可验证… | SR-ReaL 通过把空间问题拆成语言推理和先 3D 检测再几何推理两条互补路径，使 RL 可以同时优化最终答案和可验证的中间空间 grounding。 | 双路径联合训练是有效的，而不是简单多任务堆叠。只训练 LOR 时，SPAR-Bench LOR 为 58.0；Full 后 LOR 为 58.7。只训练 DTR 时，SPAR-Bench DTR 为 57.2；Full 后 DTR 为 60.8。这说明两条路径存在正迁移。 DTR 的中间机制也确实重要。去掉 detection reward，SPAR-De… |  |
| [2606.17929](2606.17929/report.md) | 计算机使用智能体 | 现有 computer-using agents 通常沿 observe–reason–act 循环工作：读屏幕、推理下一步、点击/输入，再重复。这个机制适合陌生任务，但在重复任务上极其低效；用户第二天再次要求“添加联系人”时，屏幕结构和动作序列大多相同，agent 却仍然重新读取每个截图、重新让 LLM 推理每一步。主流基准又主要看 success ra… | PreAct 将成功轨迹编译成带屏幕谓词的可执行状态机，并只在独立重放验证通过后入库，因此重复任务可无逐步 LLM 调用地快速重放，同时避免错误程序在长期记忆中累积。 | - **编译 LLM 不是核心解释**：把 compile-step LLM 从 Claude 换成 Gemini 3 Flash 后，WebArena gate rejection rate 仍在同一量级（约 83% vs 89%），机制不变；差别主要是 Gemini 更常在第一步就 cov=0%，Claude 更常跑完但 score=0%，二者都被 g… | PreAct 的贡献可以拆成“可执行记忆”和“拒绝未验证记忆”两部分。前者带来速度：如果任务确实重复且 UI 稳定，replay 避免了逐步 LLM 调用。后者带来长期可用性：如果编译器输出了看似完整但实际无效的程序，gate 会把它挡在 corpus 外。论文最有价值的证据不是单个平台的成功率，而是 gate-off 在三个平台上都导致 corpus 退… |
| [2606.19172](2606.19172/report.md) | 个性化记忆 | 个性化助手需要长期记住“用户事实”，例如医生是谁、过敏史、偏好、联系人，并且在间接问题中使用这些事实。论文指出这不是单一问题，而是两个子问题： 1. **content**：某个用户的具体事实，私有、快速变化、用户之间不同； 2. **reasoning skill**：把事实组合成答案的能力，跨用户共享、应当被摊销学习。 现有系统多把事实放在模型外部：p… | 把用户事实写入 Engram 模型中由 suffix N-gram 触发的局部 memory rows，并把推理技能放进跨用户共享 LoRA，可以避免 per-user LoRA 的全局污染，同时保留零上下文的事实调用能力。 | 1. **密度瓶颈不是模型容量，也不是 hash slot 不够。** 固定 Engram capacity 扩大 dense backbone 并不能提升 1000 facts recall；per-fact independent OPT 私有 rows 到 1000 facts 仍 ≥0.98 top-1；因此瓶颈是同一用户表内 co-active… | 这篇论文的位置比较特殊：它不是把 RAG 做得更好，也不是常规 knowledge editing，而是在问“如果我们真的要把 per-user facts 写入模型，什么架构才不会污染共享能力”。在这个问题上，它给出的答案是有说服力的：必须有地址化、稀疏、局部触发的写入位置；否则 per-user adapter 天然会变成全局函数扰动。 |
| [2606.19327](2606.19327/report.md) | 大语言模型 | 论文的出发点是 credit assignment。数学、代码等可验证任务可以靠 final answer、unit test 或 verifier 给 outcome reward，但这类 reward 对“哪里错了、哪一步仍然合理、哪些维度没满足”几乎没有直接信息。在科学问答、开放式 reasoning 或 rubric-based evaluatio… | 将 rubric 作为 teacher 侧的结构化特权上下文，而不是压缩为标量奖励或绑定到单一参考轨迹，可在学生 on-policy 推理轨迹上产生 criterion-aware 的 token-level 监督。 | 实验覆盖了科学推理、rubric-based open-ended benchmarks 和医学 OOD，能支持“rubric-conditioned dense supervision 对多维评价任务有帮助”。但仍有几个缺口： - 没有充分报告统计显著性或多次训练 seed 的方差；0.9～1.4 平均分增益虽然方向一致，但需要误差条判断稳健性。 - o… |  |
| [2606.19635](2606.19635/report.md) | 推荐系统 — 生成式推荐 | LRM/生成式推荐路线（例如 PLUM）通常把用户历史、候选视频、文本和 Semantic ID（SID）放进 Transformer prompt，让模型做 next-video prediction、CTR prediction 或生成式检索。这个方向的难点在于，工业推荐系统真正有用的信息并不只有文本和 item ID，还包括 watch comple… | Token Factory 将传统推荐特征直接投影为 LRM embedding space 中的 soft tokens，从而在固定 token budget 内保留异构信号并避免文本化 prompt 膨胀。 | 论文把 watch history 从 200 扩展到 500，并将新增 300 条历史以 10% 压缩比压成 30 个 soft tokens。结果 AUC 提升 +0.08%。这个数值看似不大，但在工业 CTR 模型里通常是有意义的增量；更重要的是，它证明 Token Factory 可以把原本无法放进 prompt 的长历史用少量 token bud… | 局限也很明确。第一，论文主要报告生产内部数据和 PLUM / YouTube 场景，外部复现难度高，公开 benchmark 证据不足。第二，Token Maker 引入随机初始化参数，早期训练会落后文本 baseline；如果数据量、训练步数或 feature logging 质量不足，soft-token 对齐可能失败。第三，soft tokens 不… |
| [2606.20002](2606.20002/report.md) | 大语言模型 — 强化学习与对齐 | 现有 LLM agent 多依赖人工设计的 scaffold、memory、skills 或反思循环，但模型本身很少被端到端训练成会管理长期上下文的策略。标准任务级 RL 也存在目标错配：它鼓励模型每次从零解题，而长期部署中的 agent 更像是在一个部分未知环境中持续试错、积累线索、复用线索。 论文把目标能力称为 CoD meta-capability：… | 通过把 RL rollout 从单任务提升为同一环境中的任务序列，并让上下文更新 episode 的质量由未来任务奖励归因，LLM 可以被端到端训练成会探索、记录并复用环境线索的长期 agent。 |  | 这篇论文最有价值的定位，是把 lifelong agent 的 memory/context 管理从工程 scaffold 问题推进到后训练目标设计问题。它不是简单提出一个 agent 框架，而是在问：LLM 是否应该通过 RL 直接学会“什么经验该写入上下文、如何在未来调用这些经验”。这和现有 RLVR、agent benchmark、Ralph loo… |
| [2606.20554](2606.20554/report.md) | 推荐系统 — 生成式推荐 | 生成式推荐把 next-item recommendation 看成自回归生成问题，常见做法是把用户历史中的 item 编码为 token/embedding 交给 Transformer 或 LLM backbone。这个范式的关键在于 item tokenization：token 既要能表达 item 自身语义，也要能表达 item 在用户行为中的协… | G2Rec 将全局 item-item co-engagement 图离线压缩为可软分配的兴趣原型和连续 profile token，使生成式推荐模型在接近 item-only 的在线成本下获得全局协同行为上下文。 | 论文做了两类消融。第一，soft graph clustering 相比 hard Leiden clustering 在 modularity 上全面更高：Beauty 0.499 vs 0.419，Sports 0.452 vs 0.365，Toys 0.550 vs 0.437，Yelp 0.757 vs 0.691；其中 Sports 提升约 23… | 这篇论文最有价值的部分在于把推荐系统中的 graph signal 重新表述为生成式模型可消费的 tokenization 问题。它没有要求生成模型理解大图，也没有把用户节点长期嵌入作为在线依赖，而是将全局 co-engagement 结构离线压缩成 item-level interest profile。这对工业系统尤其合理：item 相对用户更稳定，用… |
| [2606.21262](2606.21262/report.md) | 大语言模型 — 强化学习与对齐 | 这篇论文提出 **ARCO**：把自然语言 rubric 生成器和逐步打分器放进一个可训练、同尺度的开源模型 $\mu$，并让它与策略 $\pi$ 在 on-policy 轨迹上共同更新；这样可在只有终局 EM 奖励的多步 Agent 任务中，把稀疏结果信号转成可解释的 step-level process reward。 一句话贡献：**ARCO 用“逐… | 把可读的逐步 rubric 生成器和打分器做成随策略共同更新的同尺度模型，可在只有终局奖励的多步 Agent 任务中同时改善信用分配与可解释性。 | 消融去掉三类关键设计：去掉 rubric 文本、用固定 dataset-level rubric 代替自适应逐步 rubric、去掉 trajectory prefix。结果显示三者都贡献性能；例如 HotpotQA/Qwen 上 full ARCO 的 EM 为 42.80，而 w/o Rubric 为 39.80，w/o Adaptive 为 38.0… |  |
| [2606.21649](2606.21649/report.md) | 长上下文检索 | 标准 RAG 往往把长历史切成 chunk，然后独立编码。这个做法在百科式静态事实检索中可用，但在长期对话、personalization、记忆更新、时间顺序推理里会出问题：后来的信息可能覆盖早先信息，代词/省略依赖前文，query 里的 “firstly / lastly / in the middle” 也要求模型知道事件位置而不仅是语义相似。 已有… | 把滚动 latent memory 内化到 embedding 生成过程，使每个 segment/query 的检索表示随历史上下文演化，从表示层解决静态 chunk 编码丢失时间状态的问题。 | 消融结果支持论文的核心机制：去掉 memory queue 后，LoCoMo 从 69.9 降到 17.0、LongMemEval 从 76.6 降到 10.0；去掉 memory loss 也出现类似崩塌。这说明 latent memory 不是边际优化，而是模型能否形成上下文相关表示的关键。相比之下，去掉 length-weighting 只造成约 1… |  |
| [2606.22844](2606.22844/report.md) | 大语言模型 | 长期对话和 agent 轨迹里，同一个用户、地点、计划或偏好会在多个会话中反复出现。传统 memory 系统通常把过去经历压缩成可复用片段，然后依靠语义相似、关键词、symbolic metadata 或 intent-aware retrieval 找回这些片段。这解决的是 memory availability：该存什么、怎么找回来。但它没有保证 re… | RaMem把记忆片段重新绑定到会话时间、参与者、实体等情境坐标，并只在可可靠落地的召回条件下优先检索情境兼容证据，从而降低语义相关但情境无效的记忆干扰。 | context-confusable 子集显示，SimpleMem 的 top-1 证据经常是 context distractor：GPT-4.1-mini 为 43.66%，Qwen3-8B 为 45.88%，Qwen2.5-3B 为 54.14%。RaMem 将 D@1 分别降到 34.95%、38.46%、47.96%，并把 RankGap 大幅降… | 一个值得 follow up 的方向是把 contextual reinstatement 做成可学习的 validity model，而不是主要依赖规则式 session overlap 和 LLM query analysis；另一个方向是将 context uncertainty 显式建模，给每条 memory 的 context fields 加置… |
| [2606.22877](2606.22877/report.md) | 大语言模型 |  | DynamicMem 用因果驱动的 15 个月多应用合成用户轨迹，把长期个性化记忆拆成属性、习惯、偏好三类状态，并显示现有记忆系统的主要瓶颈在检索/记忆交付而非答案模型。 | 论文评测了五类代表性 memory 系统： - Vanilla RAG - HippoRAG2 - MemoryOS - A-Mem - SimpleMem 同时报告 Oracle 上界。所有 baseline 使用 `gpt-5-mini` 作为答案生成 LLM，检索使用 `text-embedding-3-large`。论文重点评测 query-agn… |  |
| [2606.23038](2606.23038/report.md) | LLM强化学习 | Rubrics-as-rewards 的吸引力在于可解释、细粒度：一个回答不是被压成一个黑盒分数，而是逐条检查“事实准确性”“是否覆盖关键医学风险”“是否出现 reward hacking 模式”等标准，并把满足项的权重相加。但论文指出，这套做法如果是静态的，会天然错配 RL 训练动态：早期模型太弱时，严格 rubric 可能给所有回答很低分；后期模型变强… | 让评价标准与策略在训练步内共同进化，可以持续产生不过早饱和且贴合当前能力边界的细粒度奖励信号。 | Qwen3-4B 消融显示，四项 rubric reward 去掉任何一项都会降级。完整模型在 HealthBench/RaR/MT/Follow 的代表指标为 36.64/60.50/7.74/53.92；去掉 alignment 后降为 34.45/50.26/7.46/47.31，去掉 constructiveness 为 31.86/46.64/7… |  |
| [2606.23283](2606.23283/report.md) | 大语言模型 | 论文对现有 benchmark 和 retrieval 方法的批评是成立的，而且击中了要害。 现有个性化/长期记忆 benchmark 多数只考察： - 能不能从长上下文里找到显式相关信息； - 能不能维持对话连贯性； - 能不能利用 persona 或 preference； - 能不能避免 hallucination。 但它们很少系统评估下面两类真实错… | 个性化记忆系统的主要短板不只是语义召回不足，而是 semantic relevance 与 logical relevance 错位；因此需要把原始历史压缩成可执行的决策逻辑表示，而不是继续堆更多相似文本。 | 消融结果： - RootMem：55.23 - w/o Root Memory Router：50.90 - w/o Execution Rules：50.95 - w/o Personalized Logical Evidence：53.34 - Semantic Only：33.98 这里最值得注意的是两点： 1. 去掉 router 降幅最大之一，说… | **第一，它把“隐含逻辑记忆检索”从模糊抱怨变成了可评测问题。** 很多个性化系统都在吃这个亏，但过去大家通常把失败归因于检索弱、上下文长、模型不够聪明；这篇文章更精确地指出，失败往往来自 semantic relevance 与 logical relevance 的错位。 |
| [2606.23459](2606.23459/report.md) | 大语言模型评测 | 传统长上下文评测大多在测 RM：上下文里有一个事实，最后显式问“它是什么”。这和真实助手需要的能力不等价。现实中很多风险来自隐含状态或临时约束，例如“我把琴放在后备箱了”之后到达目的地，模型应该主动提醒“别忘了后备箱里的琴”，即使用户没有问。 论文把这个能力对齐到认知心理学中的 Prospective Memory：记住未来要做的事，并在合适线索出现时执行… | TriggerBench 将隐含约束、未来触发和主动干预拆开评测，证明模型常能在显式询问时回忆事实，却缺少在长上下文和干扰下自动连接约束与触发的主动工作记忆。 | **显式 vs 隐式约束。** 把隐含约束改成显式委托会显著提升性能。以 GPT-4.1 为例，State-Tracking 的 Pos-Clean 在 Base Context 中从 57.4% 升到 100.0%，在 40K 中从 31.5% 升到 80.6%。这说明模型对“被明确标记为未来任务”的信息能维护得更好，但缺少对普通叙述中潜在风险的自主标注… | 方法层面，论文并没有提出一个新的 PM 系统，而是提出评测和诊断框架。这是优点也是边界：它清楚指出 RAG、Mem0、A-MEM 这类被动检索式记忆的盲区，但没有完全解决如何构造可靠 active working memory。Letta-Sim 的结果暗示 always-visible core memory 有帮助，但这又带来容量、更新策略和误报控制问… |
| [2606.24143](2606.24143/report.md) | 大语言模型 | OPD 和 RL 都有 on-policy 瓶颈：每次 learner update 都要等当前模型生成新 rollout。对数学/代码推理这类长输出任务，生成时间会主导训练时间，导致训练 GPU 等 rollout。异步 RL 已经通过 decouple rollout 和 update 提高硬件利用率，但会引入 policy lag；本文问的是：这些异… | 异步 OPD 的 stale 数据问题由 KL 方向和 teacher-score cache 的 support 覆盖共同决定；reverse KL 需在 learner 端重算当前 advantage 并用多样本 MC 降低可校正 estimator 的方差。 | - **Advantage vs clipping。** Clipping 对 A_old 有帮助，因为它限制 stale large-ratio update；但对 A_theta 有害，因为 learner-time 重算 advantage 已经缓解高分位 rho tail，clipping 会删掉有用梯度。 - **M2PO/DecPPO。** 这… | 这篇论文的价值在于把“异步 OPD 是否可行”拆成 estimator 可识别的问题：prefix-level staleness 由系统调度决定，action-level staleness 则由 teacher-score cache 决定。这个视角比简单说“异步提高吞吐但会 stale”更有研究价值，因为它解释了为什么 forward/reverse… |
| [2606.24597](2606.24597/report.md) | 大语言模型 — 强化学习与对齐 | 这篇论文把“世界模型”推进到 LLM agent 的语言交互环境：给定历史 observation 和当前 action，模型预测下一步环境 observation，即近似学习 $p(o_{t+1}\mid o_{\le t}, a_{\le t})$。作者发布 Qwen-AgentWorld-35B-A3B 与 397B-A17B，覆盖 MCP、Sear… | 把 agent 交互轨迹训练成语言世界模型，让模型预测环境下一状态；它既能作为可控环境模拟器扩展 agent RL，也能作为 warm-up 让工具 agent 内化行动前的后果模拟。 |  |  |
| [2606.24775](2606.24775/report.md) | agent memory | 现有 memory 评测大多沿用 NLP 问答指标，例如 F1、BLEU、Exact Match，把 memory 当作端到端黑盒。论文认为这会遮蔽三个系统问题：第一，memory 并不是静态 RAG corpus，而是可写、可更新、可维护的长期状态；第二，agent memory query 往往是语义化、模糊和跨时间的，需要同时处理实体、事件、工具轨迹… | 把 agent memory 拆成表示存储、抽取、检索路由和维护四个数据管理模块后，可以解释不同架构在证据保真、动态更新、长程稳定性和成本上的取舍。 | - **M1 表示与存储**：LightMem raw > compressed > summary，说明信息保真比压缩/层级更重要；MemTree deeper tree 只有小幅增益，无法恢复已经被抽象掉的事实。 - **M2 抽取**：coverage-preserving extraction 更稳。MemOS Fast Memorize 在 Lo… |  |
| [2606.25147](2606.25147/report.md) | 推荐系统 — 生成式推荐 | 工业推荐里最主流的用户表示仍然是 dense embedding，但这类表示有两个老问题。第一，它把一个用户复杂、动态、可能多峰的兴趣压缩到一个固定维度向量里，表达能力受限；第二，它高度依赖大规模 ID embedding table，在 vocabulary churn、尾部泛化和跨场景迁移上都不理想。论文认为，这些限制在长序列、多场景推荐里会更明显。… | 通过共享 SID 词表的 encoder-decoder 同时生成离散 user tokens 和 dense embedding，可以在保持工业系统兼容性的同时提升用户表示的结构化表达能力，并把跨长短视频场景的联合建模转化为可部署的效率收益。 | 作者专门检查了 beam search 会不会 collapse 成重复 token。图中用 SID Prefix Duplication Rate 和 SID Token Collision Rate 对比生成 token 与真实 future watches 的分布，结论是生成的 beam 多样性与真实分布相当。这点很重要，因为如果 40 个 beam… |  |
| [2606.25361](2606.25361/report.md) | 对话RAG | 已有 conversational RAG 研究通常关注如何存储、压缩、检索或更新记忆，评估时也多看整体回答是否命中 reference answer。这个设定隐含了一个粗糙假设：检索越相关、上下文越多，回答就越好。但在长期对话里，同样“语义相关”的历史可能发挥完全不同的作用：有的帮助消歧和个性化，有的只是补充细节，有的则因为相似但错误而把模型带偏。 论文… | 长期对话 RAG 的收益来自按功能角色选择记忆：answer 和 clarifying memory 提供答案与消歧信号，而 distracting/irrelevant memory 会稀释约束理解并误导生成。 | 数据集包括： | 数据集 | conversations | queries | 特点 | |---|---:|---:|---| | LongMemEval-m | 500 | 500 | synthetic conversations + human-designed queries；每个 conversation 平均约 501.9 sessions… |  |
| [2606.25450](2606.25450/report.md) | 大语言模型 — 强化学习与对齐 | 传统 benchmark 常把学习算法压缩成最终 test performance。这样会混淆三件事：训练样本是否被记住、轻微表面变化是否能迁移、以及更远的结构变化是否仍受益。尤其在 post-training 场景里，ICL、SFT、RL 可能在 aggregate score 上接近，但内部 profile 完全不同。 本文抓住一个重要控制变量：更强训… | 把每个训练样本的迁移距离拆成 D0--D4 后，能区分记忆、近迁移和远迁移：RL 更能把同等 seed 记忆转为近迁移并保留远迁移尾部，而 ICL/SFT 的收益更依赖实例级对应或题面表面形式。 | 主实验使用 Qwen3-4B-Thinking，比较三类学习： 1. **ICL**：1-shot demonstration，主要报告 oracle-paired seed，并用 random demo 作下界。 2. **SFT**：在 reference reasoning traces + code 上监督微调。 3. **RL/GRPO**：ou… | **何时会 break。** 竞技编程的优势是可执行判定与可控变体，但它也让“正确性”偏向全程序 pass/fail。对开放式生成、科学解释、创意任务，D2/D3 的等价性和距离定义会难很多；Generalization Spectrum 可迁移，具体层级设计不一定能直接复用。 |
| [2606.25451](2606.25451/report.md) | 大语言模型 — 强化学习与对齐 | 本文抓住了两个现实约束： 1. **采样成本高**：长数学推理、工具调用或 agent workflow 中，多采几条 rollout 很贵。 2. **同题多轨迹不可比**：不同采样可能走完全不同的 reasoning prefix，导致组内 reward normalization 很难把 credit 准确归到具体 token。 因此，作者并不是要在… | Pass@k 前缀价值比 Pass@1 更强调“困难但仍可达”的 prefix，并在 $k\to\infty$ 时逼近 reachability；因此用它做单 rollout credit assignment，能减少对已易解状态的过度更新并提升训练稳定性。 |  |  |
| [2606.25496](2606.25496/report.md) | 推荐系统 — 强化学习与优化 | 传统短视频推荐系统以内容池为前提：人或 AIGC 工具先生产视频，推荐系统再从现有池中 retrieval/ranking。即便引入 generative recommendation models (GRMs)，它们通常也只是把推荐改写成 Semantic IDs 的 next-token prediction，最终仍然要将预测 SID 映射回已有视频。… | 把推荐预测的离散语义 ID 从检索键改造成可生成的兴趣蓝图，并将内容语义与创意风格解耦，才能在工业推荐中按需扩充个性化视频供给。 | 强项是工业线上 A/B 与大规模部署细节，尤其收入指标比离线 benchmark 更能说明商业系统价值。弱项也很明显： - 大部分数据、reward model、工具和视频生成链路是内部系统，外部无法复现；没有开源代码、模型或数据。 - 线上收益是在广告推荐场景验证，不等价于一般短视频、内容推荐或非商业内容生成都成立。 - VGA 质量评估虽然使用多评审器… |  |
| [2606.25632](2606.25632/report.md) | 大语言模型 — 角色扮演与记忆 | 这篇论文研究“从小说构建角色扮演 LLM agent”时的两个出戏问题：角色说出自己不可能知道的事实（**Factual Overreach**），以及角色被静态 profile 压扁成单一语气（**Stylistic Monotony**）。作者提出 **ReverieMem**：把角色记忆拆成第一人称场景记忆、带角色可见性标注的语义事实图、以及情境化人… | 用角色视角约束的三层记忆（情节、可见性标注语义事实、情境化人格模式）同时抑制角色越界知道事实和固定化说话风格，在八部小说上显著提升知识边界保真与叙事质量。 | | Variant | KRf | KR | KBF | |---|---:|---:|---:| | ReverieMem | 68.1 | 81.2 | **73.3** | | w/o Episodic Layer | 79.6 | 47.0 | 60.9 | | w/o Semantic Layer | 10.8 | 93.1 | 17.8 | 去… |  |
| [2606.25996](2606.25996/report.md) | 大语言模型 — 强化学习与对齐 | Self-Instruct、Grounded Self-Instruct、CoT Self-Instruct 等方法已经能批量生成 synthetic instruction / reasoning data，但它们通常把生成过程视为固定 pipeline：给 prompt、生成候选、过滤或打分。这种范式有两个弱点。第一，它很少直接优化“这条样本对目标模型… | Autodata 把合成数据创建变成带反馈的数据科学家循环，通过弱/强 solver 与 judge 直接优化样本的学习信号，而不是只最大化表面难度或数量。 | 论文没有传统意义上逐组件删减的消融，但提供了三类机制分析。第一，CS loop 的 before/after 统计证明 agentic loop 改变了样本相对于弱/强模型的判别性：弱分下降 22 个百分点，强分上升 8 个百分点，gap 从 0.019 到 0.314。第二，法律 loop 统计证明“好数据”不等于更难：弱均分从 0.159 到 0.28… |  |
| [2606.26300](2606.26300/report.md) | 代码智能体 | 传统直觉认为“验证一个解答比生成一个解答容易”。作者认为，在今天的 coding agent 上，这个不再成立。原因不是验证绝对更难，而是生成器的能力增长速度已经超过很多既有 verifier 的有效范围：更强的 base model、更长链路的 harness、更复杂的 agent scaffold，让候选解变得廉价，但判断它是否真的满足用户意图却越来越… | 本文的关键洞见是：对代码智能体来说，不存在能长期有效的固定 reward，真正需要持续升级的是与生成器共演化的 verification system。 | 有两个消融特别值得记住。 第一，RW-SFT 对负样本权重非常敏感。把负 token 权重降得过低，甚至直接丢弃负样本，性能反而会显著下降。这说明负反馈里仍然含有大量语言建模与上下文信息，不能粗暴视为“脏数据”。 第二，长程 evaluator 的 prompt 并非越细越好。作者在 v1 到 v5 的 prompt 迭代里观察到：从 v1 到 v4，Bo… | 第三，长程 evaluator 一节本质上仍把 unit test 当近似真值来对齐 evaluator，而作者自己也承认这只是开发阶段的代理。换句话说，这一节已经触碰到论文最深的张力：如果 ground truth 本身也不够 faithful，那么“让 evaluator 更接近 unit test”未必等于“让 evaluator 更接近真实意图”。… |
| [2606.26350](2606.26350/report.md) | 金融智能体评测 | 量化金融是一个天然 multi-stage workflow：预测可以驱动交易，生成式市场模拟可以做 stress test，异常检测可以服务风控。但现有 benchmark 往往把这些能力拆开来测。像 FinRL-Meta、TradeMaster 主要覆盖 trading；像 FinBen、FinanceBench 更偏静态金融 reasoning；而容… | OpenFinGym 的关键价值在于把量化金融论文中的实验协议编译成可执行任务包，并通过 verifier 隔离把 forecasting、generation、trading 与 fraud detection 统一到同一个可防泄漏的 agent 评测与后训练环境中。 | 这篇论文没有做那种经典“删模块 1/2/3”的消融，但有几个很值得注意的细节： - 论文明确说 generation 是更难的任务族，因为它不只是代码执行，还要生成 realistic financial time series / scenarios；这与其 success rate 更低是一致的。 - 对 trading，作者没有夸大“自动化 pipe… |  |
| [2606.26387](2606.26387/report.md) | 多模态对齐 | 作者把问题定位得很清楚：现有多模态偏好优化方法，尤其是 DPO 这一类 outcome-based alignment，大多只关心最终文本输出是否更像 preferred answer，却不关心这个答案是怎么来的。于是只要模型靠语言统计规律“猜对”了，目标函数也会给正反馈，反而进一步强化不看图也能蒙对的 shortcut。 论文把这种现象称为 **visu… | 通过对同一回答在可见与反事实致盲状态下的似然差施加约束，VIGIL 直接惩罚不依赖视觉证据的 blind confidence，从而把多模态对齐从结果奖励改成依赖路径约束。 | **Visual Anchor 是最关键的组件。** 在 Qwen2.5-VL-7B 的组件消融中，从完整 VIGIL 去掉 Visual Anchor，POPE$_\text{Rand}$ 从 88.5 掉到 85.3（-3.2），去掉 Hard Negatives 掉到 86.5（-2.0），去掉 Dynamic Gating 掉到 87.4（-1.1… | 这篇论文最有价值的地方，不是又提出了一个新的 hallucination benchmark 分数，而是把问题从“输出错了”推进到“输出为什么错”：如果模型在 blind state 下仍然高度确信，那说明它并没有把图像当成决定性证据。VIGIL 通过 matched seeing/blind 对照，把这种因果依赖差异直接塞进训练目标里，这比一般 samp… |
| [2606.26429](2606.26429/report.md) | 大语言模型评测 | 当前 LLM 评测有两个互补但长期分裂的世界。一个是静态 benchmark：有客观标签、便于标准化比较，但容易被刷榜、饱和或污染；另一个是 arena 式评测：更贴近真实用户开放交互，却依赖偏好标注或 reward model，主观性更强，也更难解释。作者认为，问题不只是“该信哪个 leaderboard”，而是这两种信号其实都只提供了 **对模型能力的… | 通过让静态正确性标签与 arena 偏好共享同一模型-题目潜变量坐标系，DualEval 能同时给出更平衡的模型排序与可操作的题目级诊断。 | > - **Title**: DualEval: Joint Model-Item Calibration for Unified LLM Evaluation > - **Authors**: Aaron J. Li, Hao Huang, Youngmin Park, Yitong Ma, Wei-Lin Chiang, Li Chen, Cho-Ju… |  |
| [2606.26654](2606.26654/report.md) | 多模态用户建模与评测 | 现有个性化 benchmark 大多沿着“记忆”路线设计：给模型一段对话历史或结构化行为日志，再看它能否复述用户说过的话、调用显式偏好，或者用这些信息生成更个性化的回复。这种设定当然重要，但它绕开了一个更困难、也更接近真实助手场景的问题：很多用户并不会直接说“我喜欢什么”，而是通过自己发过的图文、去过的地方、重复出现的话题和时间上的兴趣变化，把偏好隐含地暴… | 该基准把个性化从对话记忆转成跨文本、图像与时间线的长期偏好推断问题，并用画像恢复与个性化回复双任务暴露当前模型在细粒度和近期兴趣建模上的能力缺口。 | 论文最重要的消融不是删模块，而是比较不同 profile construction 策略。 - **Hierarchical** 对强模型更友好：GPT-5.4 的 Interest F1 从 Direct 的 0.3338 升到 0.4144，Travel 和 Sports 这类需要跨帖子聚合的领域尤其受益。 - **Extractive-abstrac… | 这篇论文最值得肯定的地方，是它把个性化问题从“对话记忆”推进到“长期用户建模”。从研究图谱上看，它更接近 long-horizon user modeling、profile-as-memory 和 multimodal personalization 的交叉点，而不是传统的 persona-chat 或 preference recall benchma… |
| [2606.26787](2606.26787/report.md) | 电子商务 — LLM动态定价与长期价值对齐 | 电商动态定价的传统 Price-Sales/弹性模型通常依赖结构化历史数据，容易优化短期销量而牺牲长期利润；黑盒 RL 可以建模长期回报，但仍难以利用商品描述、用户评论、季节性语义等非结构化信息，也难给运营方可审计解释。新品、长尾 SKU 和低历史曝光商品尤其困难：历史曲线稀疏，纯统计模型方差大，RL 离线策略又面临分布外动作与 reward sparsi… | AIGP 将 LLM 的可解释多源信息整合与离线 RL 训练的长期价值估计器解耦，用 LTVE 在业务安全动作集合内筛选 DPO 偏好对，从而把长期 GMV/ROI/MAR 目标对齐到可部署的 30B 定价模型。 | 最关键的消融是 `[ACT_ONLY]`：FullSeq-DPO 的 Q-score 只有 2.591、EAMA 71.32%，接近 SFT-only 而远低于完整 AIGP 的 2.836/82.51%。这说明如果把偏好学习施加在完整 CoT 序列上，决策动作的梯度信号会被解释文本稀释；把 DPO 聚焦在动作 token 上才真正优化了长期价值。 未结构… | 另一个边界是解释性：LLM 输出 CoT 让运营可审计，但 CoT 并不等于真实因果解释。本文通过 LLM-as-Judge 与案例证明解释质量，但没有直接评估商家/运营人员是否能基于解释发现错误、阻止风险动作或提升信任。后续如果把“可审计解释”作为贡献，应加入人类审计任务或异常决策诊断评估。 |
| [2606.26859](2606.26859/report.md) | 推荐系统 |  | 把工业推荐系统的想法生成、生产代码实现、安全上线、在线 A/B 评估和轨迹反哺串成可并行的多智能体闭环，使迭代瓶颈从工程师线性人力转向可复利改进的 agent 系统能力。 | Evaluation Agent 负责安全部署、流量分配、A/B 判定和失败资产化。它将 KEEP / EXTEND / DISCARD 判定结构化保存，包括主指标、guardrail 状态、统计方法、观察窗口和 caveat。失败实验不是丢弃，而是按根因、业务域、pipeline 阶段、用户 / 内容段、策略 lever 入库，供下一轮 Brainsto… |  |
| [2606.26917](2606.26917/report.md) | 大模型强化学习 | 现有 RLHF / RLVR 稳定化方法大多把 reward 当成标量可靠性信号：clip reward、reshape reward、按 reward 分布筛样本，或按不确定性调权。这类方法控制的是“某个 rollout 贡献多少”，但没有检查“它把 policy 往哪个方向推”。论文的观察是：两个 rollout 可以有相近甚至同样高的 reward，… | 同一批次中 reward-ordered hidden-state 位移的方向共识可作为独立于标量奖励的可靠性信号，筛掉少数高奖励但方向冲突的 rollout 能降低在线 LLM RL 的更新方差。 | **投影器必要性。** 附录显示 2-5 层 MLP 的验证准确率都较稳定；默认 3-layer 在 HH-RLHF 上约 86.98% / 87.92%，Math 上约 97.04% / 98.13%，时间开销约 4-8 秒量级（按表中设置）。这支持“方向共识不是 batch 内随机 artifact”的说法，但仍是间接证据。 **异常样本确实有害。**… | 这篇论文的优点是把 LLM RL 稳定性问题具体化到“方向”层面，而不是泛泛说 reward noisy。它提供了一个 forward-only 信号：不需要 per-rollout gradient，也不需要额外 reward labeling，就能在更新前筛掉一小批几何冲突样本。对在线 RLHF/RLVR 这种 rollout generation 和… |
| [2606.27025](2606.27025/report.md) | 大语言模型 — 强化学习与对齐 |  | 角色扮演 RL 的关键不只是奖励设计，而是区分 role-specific 与 generic token 的训练信号；Psy-CoT 提供角色化思维脚手架，RAPO 通过 $I_t=H(y_t\mid x)-H(y_t\mid P,x)$ 的逐 token 重加权把正优势更多分配给角色相关表达，并在负优势时保留探索。 |  |  |
| [2606.27058](2606.27058/report.md) | 推荐系统 — 排序与架构 | 工业短视频推荐模型要同时利用终身行为历史、用户画像、item 元信息、上下文、搜索/召回行为以及多种反馈目标，例如 Effective-view、Long-view、Like、Follow、Comment 和 Watch Time。历史上这些需求通常由不同模块处理：DIN/SIM 之类模块处理行为序列，DCN/DeepFM/RankMixer 处理特征交叉… | UniFormer 将工业推荐的序列行为、非序列特征和多任务目标拆入 feature space 与 task space 两个统一 attention/FFN 交互路径，使扩容参数既能覆盖全模型瓶颈又能通过语义 tokenization 维持请求级推理效率。 | 消融包含去掉 multi-sequence cross-attention、interaction enhancement、TIM、S-FFN、NS-FFN 等变体。论文给出的图和文字显示，UniFormer 在 Effective-view 与 Like 上均优于所有消融版本。其中去掉 Multi-seq CA 对 Like 等互动相关目标影响明显，支持… |  |
| [2606.27243](2606.27243/report.md) | 推荐系统 — 排序与架构 | 工业推荐模型的收益越来越依赖架构级改造，而不是单一超参调节。论文列举的生产修改包括 RankMixer/TokenMixer-Large/MixFormer 式 token interaction、feature routing、logit fusion、AttentionRes 等跨模块结构变化。这类修改既要提升 AUC/GMV，也要满足 tensor… | NOVA 将生产推荐架构修改中的验证诊断、离线/线上指标变化和历史失败轨迹组织成 architecture gradient，从而让 agent 搜索持续避开 runnable-but-negative 的 silent failures。 |  | 证据强度方面，这篇论文的价值在于真实工业系统结果，而非公开可复现实验。它和 AutoML/NAS/HPO 的区别是搜索对象更大：不是预定义超参空间，而是跨 feature、graph、interaction module 和生产代码的架构修改；和 OpenHands/SWE-agent 等 coding agent 的区别是评价标准从软件可执行性扩展到 r… |
| [2606.27483](2606.27483/report.md) | 大语言模型 — 强化学习与对齐 |  | 通过 WM-AMT、FE-SFT、FC-RL 三阶段把未来 rollout 与可校准的 Q-like 置信度内化到单一自回归 LLM agent 中，缓解仅后训练 look-ahead 格式导致的 format-capability gap。 | 基础模型是 Youtu-LLM-2B 的一个中间 checkpoint，称为 Youtu-LLM-2B-Init。比较两个 mid-training 变体： - **Youtu-LLM-2B-Base**：标准 agentic mid-training，使用 200B tokens 轨迹但不改变结构； - **Youtu-LLM-2B-Base (WM-A… |  |
| [2606.27608](2606.27608/report.md) | 图像生成 | 监督训练的 diffusion/flow-matching 图像模型优化的是 denoising 或 velocity matching 目标，这并不直接等价于人类对构图、纹理、审美、prompt adherence、编辑保真度的偏好。RLHF 对齐思路在 LLM 中已经成熟，但迁移到图像生成会遇到三个更具体的问题：reward 要覆盖不同任务维度；ful… | 将文本生成与图像编辑的奖励优化先拆给任务专属 RL teacher，再用 on-policy distillation 在学生自身轨迹上合并能力，可避免混合 RL 的跨任务冲突并保留部署时的统一模型。 | 严格说，论文没有给出一张完整数值 ablation 表来逐项量化 pointwise reward、hybrid CFG、prompt filtering、per-category reward calibration、OPD 各自贡献。pointwise vs pairwise、CFG 策略、Mix-RL vs OPD 主要以定性图和 arena/ben… | 本文最有价值的地方在于把 diffusion RLHF 的几个常见痛点组合成一套可部署后训练 recipe：reward 不只做单一审美分数，而是按任务和类别分解；RL 不盲目全 timestep/full CFG 优化，而是保留 CFG 的采样优势、避开训练不稳定；多任务统一不靠混合 reward，而靠 OPD 合并 teacher 行为。这些判断都偏工… |
| [2606.27681](2606.27681/report.md) | 文本世界模型 | 在部分可观测环境中，world model 必须把历史 $h_t=(o_0,a_0,\ldots,o_t)$ 压缩成某种 belief state；这个 state 是 rollout、反事实分支与长期规划的基础。但许多 LLM-based world model 依赖长上下文或 hybrid conditioning：即使引入 latent state，… | 通过强制未来预测只能经由文本 belief state，strict mediation 消除了 history bypass，使预测准确性重新约束 state 的充分性；fGRPO 则在离散文本 state 上训练这种信息流。 | reward ablation 显示，只用 $R_{\text{obs}}$ 虽然短 horizon obs.F1 高，但 latent state 大量无效；加入 $R_{\text{fmt}}$ 后结构可控但 obs.F1 降低，因为模型被迫通过结构化 bottleneck 传信息；加入 $R_{\text{sup}}$ 把 TextWorld Qwe… | 这篇论文最强的地方在于把“world model 表示是否可识别”从一个经验调参问题提升为架构约束问题。它没有声称 strict mediation 自动带来好 state；相反，它说只有在信息流严格中介时，预测损失才会对 state 施加压力。这个观点对 LLM agent memory、文本环境模型、long-context planning 都有启发… |
| [2606.27684](2606.27684/report.md) | 推荐系统 — 生成式推荐 | LLM-based recommendation 这两年开始从“直接生成下一个物品”转向“先推理、再推荐”。其中 latent reasoning 的优点是：它不需要把中间推理步骤显式写成 token，而是在连续隐空间里做多步状态演化，因此理论上更高效，也更接近 test-time scaling 的思路。 但本文指出，现有 latent reasonin… | 与其盲目增加latent reasoning步数，不如先用候选集构造与目标物品对齐的intuition embedding来重写初始latent state；更好的起点比更长的无约束推理链更关键。 | 论文在 Amazon Reviews 的三个子集上做主实验：CDs、Toys、Games。数据在 5-core 过滤后，采用动态时间窗切分，训练/验证/测试比为 8:1:1，用户历史截断到长度 10。作者使用 Qwen2.5-1.5B 作为 LLM backbone，并和传统推荐器、直接 LLM 推荐器、CoT 推荐器、latent reasoning 推… | 这篇论文最有价值的地方，是它把 latent reasoning 推荐里的一个常见模糊想法——“让模型多想一点”——具体化成了一个更可操作的问题：**模型应该从哪里开始想？** |
| [2606.27739](2606.27739/report.md) | 过程奖励模型 | PRM 的实际用途是给复杂推理提供细粒度反馈：哪里开始错、哪条候选链更可信、test-time scaling 时该选哪条解。人工 step-level 标注昂贵，Math-Shepherd 等 MC pseudo-label 又要为每一步做 rollout，计算成本高且标签受 rollout policy 影响。只用最终答案对错做 outcome sup… | 把 outcome-supervised PRM 改写为符合 weakest-link 假设的 Multiple Instance Learning 问题，并用 SWS pooling 在只看最终答案对错时仍给每个推理 prefix 分配可学习 credit。 | 温度实验支持论文的 trade-off 解释：随着 `alpha` 增大，GSM8K 上性能下降，而 OlympiadBench 和 Omni-MATH 上性能提升。作者解释为：复杂数据集错误更多、更长，较均匀的 credit 有助于覆盖多个错误 prefix；简单数据集里正确 prefix 经常出现在最终错误轨迹之前，太均匀会把这些负实例误推高。 Poo… | 实验覆盖了 error localization 和 best-of-N 两个 PRM 常见用途，但仍主要局限在数学推理。它没有展示代码生成、工具使用、多轮 agent 任务或 RLHF/RLVR 训练中的 reward hacking 行为。论文也指出，LCA 仍落后于人类 step-level labels 训练的 PRM；所以它不是“无需过程监督即可… |
| [2606.27743](2606.27743/report.md) | 大语言模型 | 传统 LLM 推理默认所有请求都走同一张静态计算图：每层都算、每个头都开、思维链长度也大致固定。这在离线 benchmark 上没问题，但在线部署里资源条件是波动的：GPU 显存可能因为多租户竞争瞬时收缩，spot instance 可能随时收到中断预警，不同用户层级也会要求不同的 latency/quality trade-off。静态模型在这里非常脆弱… | 把运行时预算显式作为条件信号注入层、头和思维长度三类门控后，同一模型就能按输入难度与系统预算动态重分配计算，从而比静态剪枝更接近最优性能-成本前沿。 | 最重要的消融不是去掉某个小模块，而是去掉目标函数里的关键项。`w/o KD` 会导致近乎灾难性的推理退化：OWT PPL 从 \(12.6\) 升到 \(21.9\)，GSM8K 从 \(35.8\%\) 降到 \(14.4\%\)。`w/o budget loss` 则几乎不再产生稀疏（\(0.2\%/0.5\%\)），说明如果没有显式预算约束，模型会自… | 从 positioning 看，L2A 比很多 adaptive inference 论文更进一步的地方在于明确把系统预算条件化，而不只是把 skipping 当成输入难度检测器；但它依然没有真正证明自己是一个成熟 serving system。论文的“资源自适应”证据主要来自离线 benchmark 中的显存和总时间统计，而非真实多租户环境、spot 中… |
| [2606.28059](2606.28059/report.md) | 推荐系统 — 检索与重排序 | 工业搜索排序通常已经是多阶段 pipeline：召回大量候选，再用更重的 ranking 模型得到前 N 个结果。电商平台还想优化收入，例如提高 paid promotion 商品的曝光/点击/联系机会；但单纯最大化收入会把低相关或高风险 item 推到前面，伤害用户体验和平台质量。因此本文选择 constrained optimization：最大化主指… | 从已满足业务约束的生产排序出发，PermR 用收入改进与约束修复交替的相邻交换，在不训练新模型和不在线求解 ILP 的情况下逼近 revenue-aware constrained reranking 的主要收益。 |  | 这篇论文的强项是把一个很真实的工业问题拆成“可解释 formulation + 可上线 approximation”。相比训练 revenue-aware reranker，PermR 更像 ranking pipeline 顶部的安全阀：从生产可行解出发，只做 bounded local modifications，所以业务方更容易指定 guardrai… |
| [2606.28182](2606.28182/report.md) | 具身智能 — 多智能体协作 | 现有 LLM-based communicative agents 往往用 prompt 或手工流程组织合作，但它们缺少一种机制来把与伙伴、任务和环境相关的长期规律内化到 planner 中。典型失败包括：双方重复探索同一区域、等待对方而不行动、发出与当前状态不一致的消息、在动作失败后继续循环尝试等。这类问题不是单纯扩大模型或增加对话轮数就能稳定解决，因为… | 从失败交互中归纳可编辑的合作法则，并用这些法则筛选成功轨迹、生成显式 law-grounded 监督来微调 planner，使 embodied agents 将伙伴/任务约束内化为可控的通信与行动策略。 | Qwen-3-14B 在 PARTNR-Dialog 上的 full LLawCo 为 0.84 Comp. / 0.74 Succ.。去掉 SFT 后 success 降到 0.69；“w/o SFT + RAG” 只恢复到 0.70，说明单纯推理时检索示例/法则不足以替代参数更新。去掉 laws 后 success 降到 0.67；去掉 filteri… | 实验覆盖了多个 backbone 和两个 benchmark，这是优点；但它仍主要是双 agent、模拟环境、有限任务类型。论文没有充分回答更大团队、长对话历史、非平稳伙伴、人类真实偏好、多轮在线更新时的 credit assignment 和 context management 问题。另一个实践成本是需要先跑 base agent 收集失败/成功轨迹，… |
| [2606.28186](2606.28186/report.md) | 教育测量 |  | LRM推理轨迹中的认知episode动态能把题目诱发的问题求解负担结构化为规模、分配与流动三类过程特征，从而补充文本语义并提升可解释难度预测。 | 论文在四个真实教育评测数据集上评估： - **SAT Math**：三分类难度预测，报告 Accuracy 与 macro-F1； - **SAT Reading & Writing**：三分类难度预测，报告 Accuracy 与 macro-F1； - **Cambridge English Qualifications**：连续难度回归，报告 RMSE… |  |
| [2606.30406](2606.30406/report.md) | 大语言模型 — 强化学习与对齐 | 现代 LLM 后训练已经明显走向“任务域专用 RL recipe”分化：数学推理依赖可验证答案奖励，软件工程依赖可执行 sandbox agent RL，指令跟随和创作更适合 rubric-based RL，搜索型 agent 又需要 web 环境交互 RL。单域上这些 recipe 都有效，但真正落地时，团队需要的是一个统一模型，而不是一堆分散专家。 现… | 先并行训练同源的域专用 RL 老师，再在学生自身 rollout 上按领域路由做 token 级 on-policy 蒸馏，可以比联合 RL、串行 RL、离线蒸馏和参数合并更稳定地整合多域能力。 | 论文最有价值的分析，不是 PG 和 top-$k$ 谁稍强，而是**same-origin teacher 假设到底有多关键**。 - 当老师来自同一个 SFT 起点时： - policy-gradient 版本归一化分数 **0.9373**； - top-$k$ 版本 **0.9093**； - 两者训练曲线都比较平滑，reverse KL 从很低初值… | MOPD 最有说服力的地方，在于它把“多域后训练”从一个容易互相牵制的联合优化问题，改造成“并行生产专家 + 统一整合学生”的工程流水线。对大团队尤其重要：不同领域可以各自改 reward、调超参、重跑训练，失败只局限于单个 domain，不会拖垮整条 multi-domain RL 链路。 |
| [2606.31693](2606.31693/report.md) | 推荐系统 — 生成式推荐 | 作者抓住的问题非常实际：在 AI-native 购物里，用户会说“我想买适合通勤、不要太正式、能搭配我之前看过那双鞋的外套”，甚至会在下一轮继续补充“不要黑色，预算再低一点”。如果系统仍然把这一切压缩成关键词、价格筛选和候选重排，信息在每一次 hand-off 中都会掉。 因此，本文并不是想证明“LLM 可以替代推荐系统的一切基础设施”。恰恰相反，论文明确… | 把语义ID从候选召回标签提升为模型可操作的商品语言，使同一个基础模型能在多轮购物场景中直接完成计划、商品空间执行、解释与状态更新，从而减少工具接口造成的信息损失。 | 1. **SID 设计消融**：\(G_2+L_4\) 不是最强的纯 SID recovery 配置，但在 item specificity 与 language-item grounding 上最平衡。 2. **CPT 配比消融**：最终选择 70B shopping + 35B replay 的 2:1 token ratio，因为它在 retrie… |  |
| [2606.31984](2606.31984/report.md) | 推荐系统 — 检索与重排序 | 推荐系统里真正决定用户最终看到什么的，往往不是 retrieval 或 early ranking，而是最后一层 re-ranking。论文的动机很明确：现有 LLM-for-Rec 工作大多把重点放在检索、粗排或统一生成框架，而工业系统里离曝光最近、位置偏置最强、最直接影响 engagement 的 re-ranking 反而缺少 LLM 化设计。作者认… | 核心在于先用语义ID和教师推理把商品语义与排序思维装进学生LLM，再用面向多正例重排序的可验证奖励与OPD/二次RL把这套推理压缩成可部署的高ROI策略。 | 论文对比了至少两类训练配方：RL-only 与 RL-OPD。作者的结论是，RL-only 在排序指标上可以接近 RL-OPD，但 reasoning quality 在五个 rubric 上明显更差，尤其 Depth 几乎掉到评分下限附近。这说明仅靠 reward-driven RL，模型可以学会“怎样输出高分排序”，却不一定学会“怎样形成高质量推理过程… | 这篇论文最值得肯定的地方，是它没有把“LLM 做推荐”停留在一个抽象叙事上，而是把问题收缩到工业 re-ranking，并围绕这个具体场景重写了表示、训练、奖励和部署链路。对同行来说，最大的启发不是某个单独模块，而是作者对系统瓶颈的拆分：语义可表示性、reasoning activation、reward anti-hacking、以及服务成本控制，缺一不… |
| [2607.07508](2607.07508/report.md) | 大语言模型 — 强化学习与对齐 | 作者抓住的是一个很具体、但在 agentic RL 里越来越痛的问题：同步 RL 或 batch-interleaved RL 的 wall-clock 浪费。长轨迹 agent 任务里，不同样本的 rollout 长度差异很大；短样本很快结束，但训练必须等最慢的那条轨迹，GPU 集群会出现大量 idle。异步 RL 的自然想法是“谁先生成完就先训练谁”，… | SAO 用单条 rollout 取代 group-wise 采样以减少异步训练中的 stale/off-policy 问题，并用 DIS + 更强的 value model 训练把这种单轨迹优化稳定下来。 | 单看消融，作者最有说服力的证据来自“critic 必须跟得上”的命题。把 critic update frequency 从 2 降到 1，AIME2025 从 97.3 降到 95.0，BeyondAIME 从 74.8 降到 69.8；说明单 rollout 的主要风险确实是 value estimate 滞后。 另一个关键信号是 DIS 不是装饰项。… |  |
| [2607.12281](2607.12281/report.md) | 推荐系统 |  | 推荐任务只需判别式预测而非逐token生成，将个性化排序重构为对固定大小知识库的迭代精炼，每层以O(N)成本选择性查询用户侧token并更新知识库，从而将模型深度与序列长度解耦，实现更深层相关性理解而无需计算和内存的比例增长 | **上下文编码效果**：引入周围事件信息带来约 -0.15% NE 改进，主要来自编码事件类型（动作模式），内容信息增益边际（<0.02% NE）。这表明用户的**行为模式**比具体交互内容更有信息量，区别于语言建模。 **知识库大小与模型深度**： - \(K\)=64 提供良好的质量-效率平衡；降到 \(K\)=4 虽提升 +23.2% QPS 但 N… |  |