# By Track

Generated: 2026-07-20

## Agent Society

| Paper | Year | Key Insight |
|---|---:|---|
| [2606.07513](2606.07513/report.md) Agentopia: Long-Term Life Simulation and Learning in Agent Societies | 2026 | 把社交模拟从天扩到年并定义 social/subjective/economy 三维 life reward，通过 self-baseline advantage 的 rejection sampling 让 LLM 在自身经验中进化，避开了 PPO/GRPO 在 long-horizon 单轨迹下的不可行性。 |

## Deep Research

| Paper | Year | Key Insight |
|---|---:|---|
| [2606.07299](2606.07299/report.md) DuMate-DeepResearch: An Auditable Multi-Agent System with Recursive Search and Rubric-Grounded Reasoning | 2026 | 把长程研究过程显式拆成可审计的动态图计划、隔离噪声的两级搜索执行和动态 rubric 推理脚手架，可以在开放式研究任务中同时提升证据召回、分析质量和过程可追溯性。 |

## LLM Agent

| Paper | Year | Key Insight |
|---|---:|---|
| [2606.06036](2606.06036/report.md) Memory is Reconstructed, Not Retrieved: Graph Memory for LLM Agents | 2026 | 把记忆访问从被动的一次性检索改造为 LLM 驱动的多轮主动重构，配合 Cue-Tag-Content 关联图先在便宜的 tag 层剪枝再取贵的内容，使检索方向能随中间证据动态调整。 |
| [2606.06090](2606.06090/report.md) Beyond Semantic Organization: Memory as Execution State Management for Long-Horizon Agents | 2026 | 将agent记忆从基于语义的被动档案重构为主动执行状态管理器，用双层层次树维护完整root-to-current路径，实现无碎片的状态读取和结构性错误隔离 |
| [2606.06787](2606.06787/report.md) AdMem: Advanced Memory for Task-solving Agents | 2026 | 通过显式的 expectation 字段把任务级 sparse reward 拆成 per-step 二元信号，再用 noisy-OR Bernoulli + EM 学每条 procedural memory 的有效性 v_m，使长链路 agent 的 memory 既能记成功也能记失败并被在线评分剪枝。 |
| [2606.13681](2606.13681/report.md) EvoArena: Tracking Memory Evolution for Robust LLM Agents in Dynamic Environments | 2026 | 把 agent memory 建模为当前状态加可检索的 patch 演化轨迹，可以在环境和偏好持续变化时保留旧状态、更新理由与证据，从而减少 stale reuse 和跨版本回归。 |

## LLM post-training

| Paper | Year | Key Insight |
|---|---:|---|
| [2604.14258](2604.14258/report.md) GFT: From Imitation to Reward Fine-Tuning with Unbiased Group Advantages and Dynamic Coefficient Rectification | 2026 | 把 SFT 重写为带稀疏指示奖励和 1/pi 重要性权重的退化 RL，再用 group-normalized advantage 替代稀疏奖励、用阈值触发的 stop-gradient 抑制低概率 token 的爆炸权重，从而在单阶段同时缓解 single-path dependency 和 gradient explosion。 |

## LLM 推理

| Paper | Year | Key Insight |
|---|---:|---|
| [2605.28742](2605.28742/report.md) CORE: Contrastive Reflection Enables Rapid Improvements in Reasoning | 2026 | 通过对比成功与失败 trace 抽取一句话级别的可复用 insight，并用 verifier-based admission test 与 utility-aware retrieval 控制入库与复用，使 frozen LLM 以极少 rollout 和极小 context 开销实现自我改进。 |

## LLM-agent

| Paper | Year | Key Insight |
|---|---:|---|
| [2605.27141](2605.27141/report.md) VitaBench 2.0: Evaluating Personalized and Proactive Agents in Long-Term User Interactions | 2026 | 把隐式、演化、带噪声的长期用户偏好显式化为可控的 agentic 评测协议，并通过可插拔 memory 接口隔离记忆作用，从而暴露出个性化（而非工具/推理）已成为前沿 agent 的新瓶颈。 |

## LLM强化学习

| Paper | Year | Key Insight |
|---|---:|---|
| [2606.09821](2606.09821/report.md) Rethinking the Divergence Regularization in LLM RL | 2026 | DRPO 将 DPPO 的 Binary-TV 绝对概率位移边界转化为带优势权重的平滑二次正则，使越界 token 不再被硬屏蔽而是获得有界的反向纠正梯度。 |
| [2606.23038](2606.23038/report.md) EvoRubrics: Dynamic Rubrics as Rewards via Adversarial Co-Evolution for LLM Reinforcement Learning | 2026 | 让评价标准与策略在训练步内共同进化，可以持续产生不过早饱和且贴合当前能力边界的细粒度奖励信号。 |

## LoRA

| Paper | Year | Key Insight |
|---|---:|---|
| [2606.05698](2606.05698/report.md) Rethinking LoRA Memory Through the Lens of KV Cache Compression | 2026 | document LoRA 是与 KV cache 互补的解码期参数记忆通道，其收益只在上下文证据被严重压缩时才浮现，且 QA-style 监督和 MLP-only 适配最有效。 |

## On-Policy Distillation

| Paper | Year | Key Insight |
|---|---:|---|
| [2606.07082](2606.07082/report.md) On the Geometry of On-Policy Distillation | 2026 | OPD 在参数空间内独占一个 relaxed off-principal regime，并通过早期出现的低维 update channel (subspace locking) 进行学习；该 channel 对 token/rollout 扰动免疫，但对 objective composition 敏感。 |

## agent memory

| Paper | Year | Key Insight |
|---|---:|---|
| [2606.24775](2606.24775/report.md) Are We Ready For An Agent-Native Memory System? | 2026 | 把 agent memory 拆成表示存储、抽取、检索路由和维护四个数据管理模块后，可以解释不同架构在证据保真、动态更新、长程稳定性和成本上的取舍。 |

## 个性化记忆

| Paper | Year | Key Insight |
|---|---:|---|
| [2606.19172](2606.19172/report.md) User as Engram: Internalizing Per-User Memory as Local Parametric Edits | 2026 | 把用户事实写入 Engram 模型中由 suffix N-gram 触发的局部 memory rows，并把推理技能放进跨用户共享 LoRA，可以避免 per-user LoRA 的全局污染，同时保留零上下文的事实调用能力。 |

## 代码智能体

| Paper | Year | Key Insight |
|---|---:|---|
| [2606.26300](2606.26300/report.md) The Verification Horizon: No Silver Bullet for Coding Agent Rewards | 2026 | 本文的关键洞见是：对代码智能体来说，不存在能长期有效的固定 reward，真正需要持续升级的是与生成器共演化的 verification system。 |

## 具身智能 — 多智能体协作

| Paper | Year | Key Insight |
|---|---:|---|
| [2606.28182](2606.28182/report.md) LLawCo: Learning Laws of Cooperation for Modeling Embodied Multi-Agent Behavior | 2026 | 从失败交互中归纳可编辑的合作法则，并用这些法则筛选成功轨迹、生成显式 law-grounded 监督来微调 planner，使 embodied agents 将伙伴/任务约束内化为可控的通信与行动策略。 |

## 图像生成

| Paper | Year | Key Insight |
|---|---:|---|
| [2606.27608](2606.27608/report.md) Qwen-Image-2.0-RL Technical Report | 2026 | 将文本生成与图像编辑的奖励优化先拆给任务专属 RL teacher，再用 on-policy distillation 在学生自身轨迹上合并能力，可避免混合 RL 的跨任务冲突并保留部署时的统一模型。 |

## 多模态对齐

| Paper | Year | Key Insight |
|---|---:|---|
| [2606.26387](2606.26387/report.md) Staying VIGILant: Mitigating Visual Laziness via Counterfactual Visual Alignment in MLLMs | 2026 | 通过对同一回答在可见与反事实致盲状态下的似然差施加约束，VIGIL 直接惩罚不依赖视觉证据的 blind confidence，从而把多模态对齐从结果奖励改成依赖路径约束。 |

## 多模态生成

| Paper | Year | Key Insight |
|---|---:|---|
| [2605.08354](2605.08354/report.md) Auto-Rubric as Reward: From Implicit Preferences to Explicit Multimodal Generative Criteria | 2026 | 将 VLM 的隐式偏好先外显为可验证的 prompt-specific rubric，再用 rubric-conditioned 二元偏好作为奖励，可降低位置偏差和 reward hacking，并把评测可靠性转化为多模态生成质量提升。 |
| [2606.13679](2606.13679/report.md) InterleaveThinker: Reinforcing Agentic Interleaved Generation | 2026 | 将全局规划与局部视觉反馈解耦，并用 Critic 的单步双奖励 RL 做 prompt 纠错，可以把冻结图像生成器稳定扩展到长程图文交错生成。 |

## 多模态用户建模与评测

| Paper | Year | Key Insight |
|---|---:|---|
| [2606.26654](2606.26654/report.md) SocialPersona: Benchmarking Personalized Profiling and Response with Multimodal Social-Media Context | 2026 | 该基准把个性化从对话记忆转成跨文本、图像与时间线的长期偏好推断问题，并用画像恢复与个性化回复双任务暴露当前模型在细粒度和近期兴趣建模上的能力缺口。 |

## 多轮对话

| Paper | Year | Key Insight |
|---|---:|---|
| [2505.06120](2505.06120/report.md) LLMs Get Lost In Multi-Turn Conversation | 2025 | 当指令信息被拆散到多轮逐步给出时，LLM性能崩塌主要源于不可靠性翻倍(+112%)而非能力下降(-16%)：模型早期擅自假设并过度依赖错误的中间答案，一旦拐错弯就无法恢复。 |

## 大模型强化学习

| Paper | Year | Key Insight |
|---|---:|---|
| [2606.26917](2606.26917/report.md) GEOALIGN: Geometric Rollout Curation for Robust LLM Reinforcement Learning | 2026 | 同一批次中 reward-ordered hidden-state 位移的方向共识可作为独立于标量奖励的可靠性信号，筛掉少数高奖励但方向冲突的 rollout 能降低在线 LLM RL 的更新方差。 |

## 大模型推理

| Paper | Year | Key Insight |
|---|---:|---|
| [2605.17291](2605.17291/report.md) Step-wise Rubric Rewards for LLM Reasoning | 2026 | SRaR 将 rubric item 归因到具体推理步骤并跨 rollout 做 step-level 归一化，使 reward 信号只强化相对更好的中间步骤，同时用解耦 advantage 保持 outcome baseline 稳定。 |

## 大语言模型

| Paper | Year | Key Insight |
|---|---:|---|
| [2505.16142](2505.16142/report.md) RLKD: Distilling LLMs' Reasoning via Reinforcement Learning | 2025 | 教师推理路径背后存在隐式多分支结构（meta-reasoning 选子问题 + solving 解子问题），SFT 把这种结构压成了线性 token 序列；要把结构搬过去，奖励必须落在『meta-reasoning 步是否对齐』这种语义粒度，必须用 RL 而非 SFT。 |
| [2506.02208](2506.02208/report.md) KDRL: Post-Training Reasoning LLMs via Unified Knowledge Distillation and Reinforcement Learning | 2025 | 最小化 reverse KL 在数学上等价于以 log-likelihood ratio 为 token reward 的 REINFORCE——KD 因此可以与 GRPO 拼成单一 policy gradient joint loss，再配 k2 估计、β annealing、response-level reward 屏蔽即可同时超越纯 RL 与纯 KD |
| [2508.12387](2508.12387/report.md) ReaLM: Reflection-Enhanced Autonomous Reasoning with Small Language Models | 2025 | 把 LLM 的正反 CoT 都喂给 SLM 并用两阶段 gating 奖励让模型评判 CoT 效用——错误 CoT 不是噪声而是对比信号；再用 cosine 衰减抽走外部 CoT 实现独立推理 |
| [2510.18866](2510.18866/report.md) LightMem: Lightweight and Efficient Memory-Augmented Generation | 2025 | LightMem 通过先压缩和按主题组织对话，再将长期记忆更新从在线推理中解耦为离线并行 sleep-time consolidation，在保持长程问答准确率的同时显著降低记忆构建的 token、API 调用和运行时间。 |
| [2601.07372](2601.07372/report.md) Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models | 2026 | Hashed N-gram embedding table 作为与 MoE 正交的第二条稀疏轴（conditional memory），固定预算下 20-25% 参数从 experts 挪给 memory 可严格优于 Pure MoE |
| [2601.22311](2601.22311/report.md) Why Reasoning Fails to Plan: A Planning-Centric Analysis of Long-Horizon Decision Making in LLM Agents | 2026 | 论文将LLM逐步推理形式化为局部贪心策略，证明并实证说明其在长程任务中会因早期短视承诺而失败；FLARE通过显式前瞻、回传价值和滚动重规划把下游结果反馈到早期动作选择。 |
| [2603.19220](2603.19220/report.md) Nemotron-Cascade 2: Post-Training LLMs with Cascade RL and Multi-Domain On-Policy Distillation | 2026 | Cascade RL 链路越长越逃不掉 residual capability drift——把上游每一阶段最强 checkpoint 留作 domain teacher，沿用 on-policy 采样做 token-level reverse-KL 蒸馏（MOPD），用稠密蒸馏信号替代稀疏 outcome reward 把退化的能力高效拉回，是 30B MoE 撑起 IMO/IOI/ICPC 三金的关键稳定器 |
| [2604.02368](2604.02368/report.md) Xpertbench: Expert Level Tasks with Rubrics-Based Evaluation | 2026 | XpertBench 将真实专家工作流拆解为专家设计的原子化加权 rubrics，并用专家样例校准 ShotJudge，使开放式专业任务能够被规模化且可解释地评测。 |
| [2604.15804](2604.15804/report.md) Qwen3.5-Omni Technical Report | 2026 | Thinker-Talker 分离架构 + ARIA 自适应速率交织对齐解决文本与语音 token 编码效率不匹配，首次展示 Audio-Visual Vibe Coding |
| [2604.21590](2604.21590/report.md) AgenticQwen: 用双数据飞轮把小模型练成工业级 Agent | 2026 | 每轮 RL 后把线性轨迹展开成多分支 behavior tree 反演为新任务，突破合成数据同质化导致的奖励信号饱和 |
| [2605.05242](2605.05242/report.md) Beyond Semantic Similarity: Rethinking Retrieval for Agentic Search via Direct Corpus Interaction | 2026 | 当 LLM 足够强时，retriever 的 top-k similarity 接口本身才是瓶颈——直接让 agent 用 grep/bash 操作原始 corpus，把语义理解从 index 下沉到模型，能在没有任何 embedding 的情况下大幅超越 retrieval-augmented agent。 |
| [2605.30288](2605.30288/report.md) MIRA: Mid-training Rubric Anchoring for Source-Aware Data Selection | 2026 | 异构 mid-training 语料的质量标准依赖来源格式与训练角色，因此先由 teacher 自发现 source-group rubric、再蒸馏成可扩展 scorer，比固定全局质量分更能在保留能力覆盖的同时提高 token efficiency。 |
| [2606.13392](2606.13392/report.md) MiniMax Sparse Attention | 2026 | 用一个按 GQA group 独立工作的轻量 Index Branch 在 block 级别预选少量关键 KV 块，再在这些块上执行精确 softmax attention，并用 KL 对齐加 warmup 训练索引器，就能在基本保留 109B 长上下文能力的同时把 attention 成本与全局上下文长度近似解耦。 |
| [2606.17107](2606.17107/report.md) Models Take Notes at Prefill: KV Cache Can Be Editable and Composable | 2026 | Transformer 在 prefill 阶段会把字段条件化结论写入下游 KV notes，因此可通过 append-only erratum 编辑这些 notes、通过 RoPE 重定位组合预编译 KV，从而在保持决策一致性的同时降低长上下文 agent 的预填充成本。 |
| [2606.19327](2606.19327/report.md) Rethinking Reward Supervision: Rubric-Conditioned Self-Distillation | 2026 | 将 rubric 作为 teacher 侧的结构化特权上下文，而不是压缩为标量奖励或绑定到单一参考轨迹，可在学生 on-policy 推理轨迹上产生 criterion-aware 的 token-level 监督。 |
| [2606.22844](2606.22844/report.md) RaMem: Contextual Reinstatement for Long-term Agentic Memory | 2026 | RaMem把记忆片段重新绑定到会话时间、参与者、实体等情境坐标，并只在可可靠落地的召回条件下优先检索情境兼容证据，从而降低语义相关但情境无效的记忆干扰。 |
| [2606.22877](2606.22877/report.md) DynamicMem: A Long-Horizon Memory Benchmark in Real-World Settings | 2026 | DynamicMem 用因果驱动的 15 个月多应用合成用户轨迹，把长期个性化记忆拆成属性、习惯、偏好三类状态，并显示现有记忆系统的主要瓶颈在检索/记忆交付而非答案模型。 |
| [2606.23283](2606.23283/report.md) Towards Root Memories: Benchmarking and Enhancing Implicit Logical Memory Retrieval for Personalized LLMs | 2026 | 个性化记忆系统的主要短板不只是语义召回不足，而是 semantic relevance 与 logical relevance 错位；因此需要把原始历史压缩成可执行的决策逻辑表示，而不是继续堆更多相似文本。 |
| [2606.24143](2606.24143/report.md) AsyncOPD: How Stale Can On-Policy Distillation Be? | 2026 | 异步 OPD 的 stale 数据问题由 KL 方向和 teacher-score cache 的 support 覆盖共同决定；reverse KL 需在 learner 端重算当前 advantage 并用多样本 MC 降低可校正 estimator 的方差。 |
| [2606.27743](2606.27743/report.md) End-to-End Dynamic Sparsity for Resource-Adaptive LLM Inference | 2026 | 把运行时预算显式作为条件信号注入层、头和思维长度三类门控后，同一模型就能按输入难度与系统预算动态重分配计算，从而比静态剪枝更接近最优性能-成本前沿。 |

## 大语言模型 — 个性化与评估

| Paper | Year | Key Insight |
|---|---:|---|
| [2605.31545](2605.31545/report.md) Preference-Aware Rubric Learning for Personalized Evaluation | 2026 | 个性化评估准则必须同时由用户历史稳定支持并能把真实用户输出与强个性化模型仿写拉开 margin，因此把 rubric induction 训练成带一致性过滤和判别式 RL 目标的学习问题比静态 judge 更可靠。 |

## 大语言模型 — 强化学习与对齐

| Paper | Year | Key Insight |
|---|---:|---|
| [2505.21493](2505.21493/report.md) Reinforcing General Reasoning without Verifiers | 2025 | VeriFree 将二值答案验证的条件期望解析化为模型对参考答案的条件概率，从而在省去外部 verifier 的同时为 reasoning trace 提供低方差连续 reward。 |
| [2509.22637](2509.22637/report.md) Variational Reasoning for Language Models | 2025 | 把思考轨迹建模为潜变量并近似“给定答对”的 posterior，可用 variational posterior 采样更有用的 reasoning trace，同时揭示 RFT/RL/GRPO 中 accuracy weighting 会偏向容易题。 |
| [2602.04879](2602.04879/report.md) Rethinking the Trust Region in LLM Reinforcement Learning | 2026 | LLM RL 的 trust region 应该约束 rollout policy 与 trainer policy 的整体 token 分布散度，而不是 sampled token 的概率比，这样才能同时放开低概率探索 token 并阻断高概率 token 的危险概率质量迁移。 |
| [2604.02795](2604.02795/report.md) Rubrics to Tokens: Bridging Response-level Rubrics and Token-level Rewards in Instruction Following Tasks | 2026 | 把 response-level rubric 分数通过 token relevance discriminator 投影到约束相关 token，并在单个 response 内归一化 token advantage，可同时缓解 AON 奖励稀疏与 CSR 奖励歧义。 |
| [2604.13828](2604.13828/report.md) MUSE: Multi-Domain Chinese User Simulation via Self-Evolving Profiles and Rubric-Guided Alignment | 2026 | MUSE 将用户模拟拆成可执行画像演化、反向角色监督微调和 rubric 引导的多轮强化学习，使模拟器既能生成自然用户话语，又能在长对话中维持 persona 与约束一致性。 |
| [2604.16335](2604.16335/report.md) Beyond Verifiable Rewards: Rubric-Based GRM for Reinforced Fine-Tuning SWE Agents | 2026 | 在 SWE agent 的长时程轨迹生成中，用人工 rubric 驱动的 GRM 在候选步骤或片段间选择更好的中间行为，再用最终单测 reward 保证正确性，可以把 RFT 数据从“只看最终通过”转向“最终正确且过程更优”。 |
| [2605.03871](2605.03871/report.md) EvoLM: Self-Evolving Language Models through Co-Evolved Discriminative Rubrics | 2026 | 把模型隐含的评估能力训练成随 policy co-evolve 的显式判别式 rubrics，可让冻结小 judge 持续产生适配当前策略分布的 reward，从而避免静态 reward model 或固定 prompted rubric 的上限。 |
| [2605.07396](2605.07396/report.md) Rubric-based On-policy Distillation | 2026 | 把教师文本回答转化为针对当前学生 rollout 的共享语义 rubric，比匹配 token logits 更直接对齐推理正确性，因此能在黑盒教师和跨架构场景中高效蒸馏。 |
| [2605.12474](2605.12474/report.md) Reward Hacking in Rubric-Based Reinforcement Learning | 2026 | Rubric-based RL 的失败不只来自弱 verifier 误判；静态且偏 presence-based 的 rubric 会把优化压力导向更长、更会覆盖表面 criteria 但事实性、简洁性和整体质量更差的回答。 |
| [2605.20164](2605.20164/report.md) Not Every Rubric Teaches Equally: Policy-Aware Rubric Rewards for RLVR | 2026 | POW3R 将 rubric 的最终评价权重与训练时可学习信号分离，按当前 rollout 的 criterion-level 方差在类别内动态路由 reward pressure，从同一 rubric、judge 和 GRPO 中提取更有效的 advantage 信号。 |
| [2605.23454](2605.23454/report.md) ARES: Automated Rubric Synthesis for Scalable LLM Reinforcement Learning | 2026 | ARES 将原始预训练文档转成自包含问答和逐题加权 rubric，使开放式任务也能获得比二值验证更密集、更诊断性的 RL reward。 |
| [2605.26579](2605.26579/report.md) Focal Reward: Balanced Reinforcement Learning under Rubric-Based Rewards | 2026 | Focal Reward 通过反投影当前强 rollout 的 criterion 饱和度，把 reward 权重从已饱和维度转移到仍有 headroom 的 rubric 维度，从而缓解静态 scalarizer 的优化偏置。 |
| [2605.29847](2605.29847/report.md) EvoRubric: Self-Evolving Rubric-Driven RL for Open-Ended Generation | 2026 | 开放式任务的奖励可通过单策略自生成 rubric 的可区分性与同伴一致性来近似验证，从而让回答能力和评价标准在同一个 RL 闭环中共同演化。 |
| [2605.30244](2605.30244/report.md) Reinforcement Learning with Robust Rubric Rewards | 2026 | 把可验证性从任务级下沉到 rubric 准则级，并通过最小暴露、准则路由和层级聚合，使视觉语言在线 RL 既获得细粒度监督又减少可利用的奖励误判。 |
| [2606.01091](2606.01091/report.md) Deep Research as Rubric for Reinforcement Learning | 2026 | 把开放式任务的评分标准生成转化为证据驱动的研究过程，可把外部事实蒸馏成原子约束，为GRPO提供比整体评分更密集且任务相关的奖励信号。 |
| [2606.03968](2606.03968/report.md) QUBRIC: Co-Designing Queries and Rubrics for RL Beyond Verifiable Rewards | 2026 | QUBRIC 的关键贡献是把开放式 query 先改写成由 teacher key points 锚定的自包含场景，再用 teacher-policy 差距生成 constitutive rubrics，从而让非可验证任务也能产生可区分、可学习的 RL 奖励。 |
| [2606.07040](2606.07040/report.md) Beyond Rubrics: Exploration-Guided Evaluation Skills for Reward Modeling | 2026 | 把 reward guidance 从逐 query 在线生成 rubric 改为离线探索并选择领域级 evaluation skill，可用候选响应相关的 rollouts 学到更贴合模型能力和任务偏好的评估流程，从而在不增加测试时 rubric 生成成本的情况下稳定提升 judge/RM。 |
| [2606.10968](2606.10968/report.md) Beyond Uniform Token-Level Trust Region in LLM Reinforcement Learning | 2026 | LLM RLVR 的 token-level trust region 应按自回归位置和已累积 prefix 漂移分配 divergence 预算，早期更严格、prefix 漂移后动态收紧，从而比统一阈值更好地控制 off-policy 误差传播。 |
| [2606.12507](2606.12507/report.md) Rubric-Guided Self-Distillation: Post-Training Without Rubric Verifiers | 2026 | 把 prompt-specific rubric 作为同一 base model 的 privileged teacher context，可将稀疏的 rubric reward 转化为逐 token 蒸馏信号，从而在不调用训练时 verifier 的情况下逼近 judge-based GRPO 的收益。 |
| [2606.13680](2606.13680/report.md) Learning to Reason by Analogy via Retrieval-Augmented Reinforcement Fine-Tuning | 2026 | 把检索目标从语义相似改为推理效用，并在RLVR训练中让策略在结果奖励下使用结构类比示例，可把外部解题轨迹转化为更密集、更有方向的探索信号。 |
| [2606.17250](2606.17250/report.md) Rethinking Groups in Critic-Free RLVR | 2026 | critic-free RLVR 中 group 的关键稳定作用是让同一 prompt 的正负轨迹在共享 supporting tokens 上抵消有害负梯度；显式屏蔽负样本高概率 token 可在单 rollout 下复现这种保护。 |
| [2606.20002](2606.20002/report.md) Connect the Dots: Training LLMs for Long-Lifecycle Agents with Cross-Domain Generalization Via Reinforcement Learning | 2026 | 通过把 RL rollout 从单任务提升为同一环境中的任务序列，并让上下文更新 episode 的质量由未来任务奖励归因，LLM 可以被端到端训练成会探索、记录并复用环境线索的长期 agent。 |
| [2606.21262](2606.21262/report.md) ARCO: Adaptive Rubric with Co-Evolution for Multi-Step LLM-Based Agents | 2026 | 把可读的逐步 rubric 生成器和打分器做成随策略共同更新的同尺度模型，可在只有终局奖励的多步 Agent 任务中同时改善信用分配与可解释性。 |
| [2606.24597](2606.24597/report.md) Qwen-AgentWorld: Language World Models for General Agents | 2026 | 把 agent 交互轨迹训练成语言世界模型，让模型预测环境下一状态；它既能作为可控环境模拟器扩展 agent RL，也能作为 warm-up 让工具 agent 内化行动前的后果模拟。 |
| [2606.25450](2606.25450/report.md) The Generalization Spectrum: A Chromatographic Approach to Evaluating Learning Algorithms | 2026 | 把每个训练样本的迁移距离拆成 D0--D4 后，能区分记忆、近迁移和远迁移：RL 更能把同等 seed 记忆转为近迁移并保留远迁移尾部，而 ICL/SFT 的收益更依赖实例级对应或题面表面形式。 |
| [2606.25451](2606.25451/report.md) Learning with a Single Rollout via Monte Carlo Pass@k Critic | 2026 | Pass@k 前缀价值比 Pass@1 更强调“困难但仍可达”的 prefix，并在 $k\to\infty$ 时逼近 reachability；因此用它做单 rollout credit assignment，能减少对已易解状态的过度更新并提升训练稳定性。 |
| [2606.25996](2606.25996/report.md) Autodata: An agentic data scientist to create high quality synthetic data | 2026 | Autodata 把合成数据创建变成带反馈的数据科学家循环，通过弱/强 solver 与 judge 直接优化样本的学习信号，而不是只最大化表面难度或数量。 |
| [2606.27025](2606.27025/report.md) Improving General Role-Playing Agents via Psychology-Grounded Reasoning and Role-Aware Policy Optimization | 2026 | 角色扮演 RL 的关键不只是奖励设计，而是区分 role-specific 与 generic token 的训练信号；Psy-CoT 提供角色化思维脚手架，RAPO 通过 $I_t=H(y_t\mid x)-H(y_t\mid P,x)$ 的逐 token 重加权把正优势更多分配给角色相关表达，并在负优势时保留探索。 |
| [2606.27483](2606.27483/report.md) Internalizing the Future: A Unified Agentic Training Paradigm for World Model Planning | 2026 | 通过 WM-AMT、FE-SFT、FC-RL 三阶段把未来 rollout 与可校准的 Q-like 置信度内化到单一自回归 LLM agent 中，缓解仅后训练 look-ahead 格式导致的 format-capability gap。 |
| [2606.30406](2606.30406/report.md) MOPD: Multi-Teacher On-Policy Distillation for Capability Integration in LLM Post-Training | 2026 | 先并行训练同源的域专用 RL 老师，再在学生自身 rollout 上按领域路由做 token 级 on-policy 蒸馏，可以比联合 RL、串行 RL、离线蒸馏和参数合并更稳定地整合多域能力。 |
| [2607.07508](2607.07508/report.md) Single-Rollout Asynchronous Optimization for Agentic Reinforcement Learning | 2026 | SAO 用单条 rollout 取代 group-wise 采样以减少异步训练中的 stale/off-policy 问题，并用 DIS + 更强的 value model 训练把这种单轨迹优化稳定下来。 |

## 大语言模型 — 强化学习与推理优化

| Paper | Year | Key Insight |
|---|---:|---|
| [2603.26535](2603.26535/report.md) PAPO: Stabilizing Rubric Integration Training via Decoupled Advantage Normalization | 2026 | 不要把 ORM 与 PRM 先混成单一 reward 再做一次归一化；应让 $A_{\text{out}}$ 负责“答对/答错”，让 $A_{\text{proc}}$ 只在正确样本之间区分推理质量，这样 all-correct group 里仍有非零训练信号，而且错误样本不会因为表面上“推理像样”而被奖励。 |

## 大语言模型 — 强化学习与测试时搜索

| Paper | Year | Key Insight |
|---|---:|---|
| [2605.22817](2605.22817/report.md) Vector Policy Optimization: Training for Diversity Improves Test-Time Search | 2026 | VPO 通过把一次 rollout 训练成覆盖不同向量奖励权衡的候选集，而不是优化单一标量最优解，从而把测试时搜索真正需要的多样性直接编码进后训练目标。 |

## 大语言模型 — 角色扮演与记忆

| Paper | Year | Key Insight |
|---|---:|---|
| [2606.25632](2606.25632/report.md) Staying In Character: Perspective-Bounded Memory For Book-Based Role-Playing Agents | 2026 | 用角色视角约束的三层记忆（情节、可见性标注语义事实、情境化人格模式）同时抑制角色越界知道事实和固定化说话风格，在八部小说上显著提升知识边界保真与叙事质量。 |

## 大语言模型后训练

| Paper | Year | Key Insight |
|---|---:|---|
| [2604.20051](2604.20051/report.md) Bootstrapping Post-training Signals for Open-ended Tasks via Rubric-based Self-play on Pre-training Text | 2026 | 用预训练文本为同一模型的rubric生成和评分提供特权上下文，可在开放式任务中制造足够的generation-verification gap，再通过高低分极端响应对为DPO抽取低成本偏好信号。 |

## 大语言模型强化学习

| Paper | Year | Key Insight |
|---|---:|---|
| [2606.17024](2606.17024/report.md) ExpRL: Exploratory RL for LLM Mid-Training | 2026 | ExpRL 将参考解答从离线模仿目标改为 on-policy 轨迹的 dense reward scaffold，因此能在困难推理题上强化 partial progress、扩大 productive reasoning path 覆盖率，并为后续 sparse-reward RL 提供更好的初始化。 |

## 大语言模型评测

| Paper | Year | Key Insight |
|---|---:|---|
| [2606.23459](2606.23459/report.md) TriggerBench: Investigating Prospective Memory for Large Language Models | 2026 | TriggerBench 将隐含约束、未来触发和主动干预拆开评测，证明模型常能在显式询问时回忆事实，却缺少在长上下文和干扰下自动连接约束与触发的主动工作记忆。 |
| [2606.26429](2606.26429/report.md) DualEval: Joint Model-Item Calibration for Unified LLM Evaluation | 2026 | 通过让静态正确性标签与 arena 偏好共享同一模型-题目潜变量坐标系，DualEval 能同时给出更平衡的模型排序与可操作的题目级诊断。 |

## 奖励建模

| Paper | Year | Key Insight |
|---|---:|---|
| [2605.29156](2605.29156/report.md) RUBRIC-ARROW: Alternating Pointwise Rubric Reward Modeling for LLM Post-training in Non-verifiable Domains | 2026 | 把 pairwise preference 转换成 generator 与 judge 两个阶段的偏好一致性奖励，并用概率式 rubric 打分减少 ties，使 pointwise rubric reward model 能在非可验证任务中独立部署并稳定服务于 DPO/GRPO。 |

## 学习动力学

| Paper | Year | Key Insight |
|---|---:|---|
| [2407.10490](2407.10490/report.md) Learning Dynamics of LLM Finetuning | 2024 | 把单步梯度更新的影响分解为 A-K-G 三项,揭示对低概率token施加大负梯度会触发挤压效应,统一解释SFT幻觉放大与DPO置信度齐跌等反直觉现象 |

## 对话RAG

| Paper | Year | Key Insight |
|---|---:|---|
| [2606.25361](2606.25361/report.md) Memory Makes the Difference: Evaluating How Different Memory Roles Shape Conversational Agents | 2026 | 长期对话 RAG 的收益来自按功能角色选择记忆：answer 和 clarifying memory 提供答案与消歧信号，而 distracting/irrelevant memory 会稀释约束理解并误导生成。 |

## 对话记忆

| Paper | Year | Key Insight |
|---|---:|---|
| [2606.04555](2606.04555/report.md) Temporal Order Matters for Agentic Memory: Segment Trees for Memory Construction and Retrieval | 2026 | 用线段树的连续区间不变式把时序保持变成数据结构的内在属性，仅在最右前沿做对数级增量插入，并将检索形式化为树结构上的相关性分数传播，从而同时利用主题层次与时间顺序。 |

## 小模型推理

| Paper | Year | Key Insight |
|---|---:|---|
| [2511.16886](2511.16886/report.md) Latent Reasoning in TRMs is Secretly a Policy Improvement Operator | 2025 | TRM 的一次 latent recursion 可被看作把递归前 reference policy 乘性重加权为递归后 improved policy；DIS 通过单调中间目标显式训练这个 advantage-like residual，从而减少 dead compute。 |

## 序列推荐

| Paper | Year | Key Insight |
|---|---:|---|
| [2606.03221](2606.03221/report.md) VirtualMLE: A Virtual ML Engineer that Optimizes Sequential Recommenders | 2026 | 把 LLM 显式定位为对 trial 结果做因果归因的推理器，并用层次化 memory 把每个 session 的搜索轨迹蒸馏成可跨数据集迁移的 Cognition Summary，从而把 SR 调参从盲搜变成知识获取过程，实现 cognitive pruning。 |

## 强化学习

| Paper | Year | Key Insight |
|---|---:|---|
| [2605.18592](2605.18592/report.md) AMARIS: A Memory-Augmented Rubric Improvement System for Rubric-Based Reinforcement Learning | 2026 | 把 rollout 诊断、step summary 和 rubric update record 持久化为可检索 evaluation memory，可让 rubric 更新从局部反应转为基于历史证据的防御、课程推进与维护，从而减少振荡并提高训练信号质量。 |

## 推理模型

| Paper | Year | Key Insight |
|---|---:|---|
| [2504.09858](2504.09858/report.md) Reasoning Models Can Be Effective Without Thinking | 2025 | 在 R1-Distill 风格的 reasoning model 上，用 prefill 直接跳过 thinking box 让模型出答案，相同 token 预算下 pass@k 全面优于显式长 CoT，叠加并行采样能拿到 7–9× 延迟下降，说明推理能力来自训练分布而非推理时的显式 CoT 展开。 |
| [2606.02020](2606.02020/report.md) Unveiling the Entropy Dynamics of Chain-of-Thought Reasoning | 2026 | 把 CoT 的 predictive entropy 序列建模为两段式 regime shift，将'是否进入 confidence region'转译成 sequential change-point detection 后用 CUSUM 这一渐近 minimax-optimal 工具实时检测，因此能够在保持准确率的前提下安全早停并按收敛证据加权投票。 |

## 推荐系统

| Paper | Year | Key Insight |
|---|---:|---|
| [2604.26969](2604.26969/report.md) AgenticRecTune: Multi-Agent with Self-Evolving Skillhub for Recommendation System Optimization | 2026 | 把推荐系统非可导的系统级配置优化重新表述为 LLM 推理+线上A/B搜索问题，用 Actor-Critic 抑制幻觉、用 Insight/Skill 自进化 Skillhub 把历史实验沉淀为可执行领域知识，直接闭环优化线上 north star 指标。 |
| [2605.14401](2605.14401/report.md) Agentic Recommender System with Hierarchical Belief-State Memory | 2026 | 把推荐建模成 POMDP，用三层记忆（事件/偏好/画像）做层次化状态抽象——其中中间的偏好层不直接喂给 ranker，而是作为生命周期操作的'手术台'，让画像层的合成质量更高。 |
| [2605.18805](2605.18805/report.md) RecoAtlas: From Semantic Plausibility to Set-Level Utility in LLM Recommendation Agents | 2026 | 通过把 LLM 购物 Agent 评测转为大目录集合级报告生成，并用行为级 SetHit@K、学习型 reward model 与 LLM-judge 三套独立指标对照，揭示语义合理性并不能预测行为级效用。 |
| [2605.21969](2605.21969/report.md) LLM Retrieval for Stable and Predictable Ad Recommendations | 2026 | 用 LLM 抽取的离散语义 token 做图遍历召回，使语义等价的广告落到同一邻域，从而把广告主感知的稳定性（A/A' StatSigDiff）从工程问题转化为可量化、可优化的指标。 |
| [2605.24051](2605.24051/report.md) Memento: Personalized RAG-Style Long-Retention Data Scaling for Online Ads Recommendation | 2026 | 把超长用户历史扩展重新定义为信息检索问题，用改进MMR个性化检索既相关又多样的历史片段，从而绕开长上下文attention稀释、O(n^2)系统开销和滚动训练的灾难性遗忘三重瓶颈。 |
| [2605.25749](2605.25749/report.md) DeGRe: Dense-supervised Generative Reranking for Recommendation | 2026 | 用累积回归评估器对任意子序列打分,离线 beam search 挖掘高价值前瞻序列并转成 step-wise 稠密监督蒸馏进轻量生成器,从而把排列空间探索移到离线、在线只需单次贪心解码。 |
| [2605.29755](2605.29755/report.md) Rec-Distill: An Industrial Distillation Pipeline for Large-Scale Recommendation Models | 2026 | 把蒸馏增益分解为 teacher scaling 增益与迁移率的乘积，通过解耦式异步流水线、双塔 student、跨采样空间 debias 与 batch-streaming 混合训练，在不增加线上成本的前提下把超大 teacher 的增益迁移给轻量 student。 |
| [2606.12198](2606.12198/report.md) LLM-Based User Personas for Recommendations at Scale | 2026 | 把 LLM 生成的自然语言用户兴趣画像作为异步更新的高层语义策略，而非同步逐条打分器，可以在十亿级推荐系统中低成本地同时改善既有兴趣利用和新主题探索。 |
| [2606.26859](2606.26859/report.md) AgentX: Towards Agent-Driven Self-Iteration of Industrial Recommender Systems | 2026 | 把工业推荐系统的想法生成、生产代码实现、安全上线、在线 A/B 评估和轨迹反哺串成可并行的多智能体闭环，使迭代瓶颈从工程师线性人力转向可复利改进的 agent 系统能力。 |
| [2607.12281](2607.12281/report.md) SlimPer: Make Personalization Model Slim and Smart | 2026 | 推荐任务只需判别式预测而非逐token生成，将个性化排序重构为对固定大小知识库的迭代精炼，每层以O(N)成本选择性查询用户侧token并更新知识库，从而将模型深度与序列长度解耦，实现更深层相关性理解而无需计算和内存的比例增长 |

## 推荐系统 — 序列与特征

| Paper | Year | Key Insight |
|---|---:|---|
| [2602.20723](2602.20723/report.md) Modality-Guided Mixture of Graph Experts with Entropy-Triggered Routing for Multimodal Recommendation | 2025 | 按模态组×融合模式显式结构化 MoE experts，用 entropy-trigger 自动控制从探索到专精的训练过渡 |
| [2604.08933](2604.08933/report.md) IAT: Instance-As-Token Compression for Historical User Sequence Modeling in Industrial Recommender Systems | 2026 | 把序列建模的最小单元从 hand-crafted sparse ID 升级为整条样本压缩成的 64 维稠密 embedding，消除信息密度不对称 |
| [2604.20858](2604.20858/report.md) Mixture of Sequence: Theme-Aware Mixture-of-Experts for Long-Sequence Recommendation | 2026 | VQ-VAE codebook router 按主题自动分解长序列为子序列分别让不同 expert 处理，从根上规避 session hopping 带来的无关信息干扰 |
| [2605.29280](2605.29280/report.md) LoopFM: Learning frOm HistOrical RePresentations of Foundation Model for Recommendation | 2026 | 把FM的历史中间层embedding压缩量化后作为VM的时序输入特征,开辟一条高带宽迁移通道,绕过标量KD的带宽瓶颈且serving无需实时FM推理 |

## 推荐系统 — 强化学习与优化

| Paper | Year | Key Insight |
|---|---:|---|
| [2504.13837](2504.13837/report.md) Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model? | 2025 | RLVR 只是把采样分布偏置到基座模型已有的正确推理路径上以提升采样效率，并不会引入基座模型不具备的新推理能力，因此 RLVR 模型的能力被基座模型界定（大 k 下 pass@k 反被基座超越），而蒸馏才能真正注入新先验、扩展推理边界。 |
| [2505.12929](2505.12929/report.md) Do Not Let Low-Probability Tokens Over-Dominate in RL for LLMs | 2025 | 单个 token 的梯度范数正比于 (1-π)，导致低概率 token 主导 RL 更新；通过 advantage 按概率线性缩放或先低后高分离更新，可把更新话语权还给被压制的高概率 token。 |
| [2505.18830](2505.18830/report.md) On the Effect of Negative Gradient in Group Relative Deep Reinforcement Optimization | 2025 | GRPO对错误回答里与正确回答共享的正确token施加均匀负梯度，会通过共享表征拖低正确回答的似然(LLD)；NTHR用组内正确回答作锚点给负token打伤害分，只对高分token削弱惩罚。 |
| [2602.22495](2602.22495/report.md) Reinforcement-aware Knowledge Distillation for LLM Reasoning | 2026 | 把 teacher 织进 GRPO importance ratio 的分母（old-student 与 teacher 的几何混合），让蒸馏共享 advantage 加权与 trust-region clipping——selective imitation 由结构涌现而非 KL 权重手调，Pass@1 比 KDRL 显著更强 |
| [2604.13902](2604.13902/report.md) DiPO: Disentangled Perplexity Policy Optimization for Fine-grained Exploration-Exploitation Trade-Off | 2026 | RLVR 中 hard/easy 极端组损失梯度的真正解法不是直接拿 PPL 当奖励——而是先用 PPL 把样本空间按「应探索/应利用」分区（PSD），再只对零方差的极端组里「走错方向」的样本做最小扰动的奖励翻转（BRR），让 PPL 信号进来但不破坏 verification reward 的分布形状 |
| [2604.22504](2604.22504/report.md) Objective Shaping with Hard Negatives: Windowed Partial AUC Optimization for RL-based LLM Recommenders | 2026 | GRPO 等价于优化 AUC，beam search 负样本等价于把目标滑向 Partial AUC——用滑动窗口 partial AUC 给出更紧的 Top-K 界并嵌入 GRPO rollout reweight |
| [2605.07129](2605.07129/report.md) RRCM: Ranking-Driven Retrieval over Collaborative and Meta Memories for LLM Recommendation | 2026 | 将协同过滤历史与物品元数据统一为自然语言检索记忆，通过GRPO以排序质量奖赏端到端学习自适应的检索-推理策略，替代手工设计的静态检索规则 |
| [2605.10207](2605.10207/report.md) LASAR: Latent Adaptive Semantic Aligned Reasoning for Generative Recommendation | 2026 | 隐式推理在推荐中不work的根因是SID zero-prior导致semantic grounding失败和representation drift——用两阶段解耦先建语义再推理、用bidirectional KL把隐式hidden state锚定到显式CoT轨迹、再用REINFORCE让模型自适应学习每样本的推理步数，三者缺一不可 |
| [2605.11874](2605.11874/report.md) RecRM-Bench: Benchmarking Multidimensional Reward Modeling for Agentic Recommender Systems | 2026 | 将 agentic 推荐的 reward 拆解为四条正交维度并以层级门控串联——先过格式与幻觉门，不通过则行为奖励直接归零，从而在 RL 训练的优化空间中物理性剪除不可靠路径 |
| [2605.17648](2605.17648/report.md) SAPO: Step-Aligned Policy Optimization for Reasoning-Based Generative Recommendation | 2026 | 把『一段 thinking + 一个 SID token』当成 RL 的 action unit，让 reward、advantage、token aggregation 都在这个粒度上对齐，从而修复 outcome-reward GRPO 对结构化输出的信用分配错配。 |
| [2605.21967](2605.21967/report.md) Reinforced Preference Optimization for Reasoning-Augmented Recommendations | 2026 | 用纯文本（CoT+answer）作为冻结 LLM 与独立 Rechead 之间的接口，两阶段交替冻结训练，使 RLVR 直接在文本层用 NDCG、语义相似度、压缩率与熵奖励对推理本身做对齐，避免 hidden-state 耦合导致的推理退化与文本-item ID 的语义鸿沟。 |
| [2605.28293](2605.28293/report.md) ProRL: Effective Reinforcement Learning for Proactive Recommendation via Rectified Policy Gradient Estimation | 2026 | PRS 中路径奖励分解出的逐步奖励均值为正会导致长度捷径,通过逐步奖励中心化(使延长路径零期望收益)和逐位置 advantage 估计(免 critic 降方差)修正 policy gradient 即可有效优化。 |
| [2606.03866](2606.03866/report.md) Taiji: Pareto Optimal Policy Optimization with Semantics-IDs Trade-off for Industrial LLM-Enhanced Recommendation | 2026 | 用 ground-truth 购买项逆向蒸馏 CoT 并以 PPL 拒绝采样保证 SFT 质量，再用 POPO 按梯度对齐度动态加权 LLM 语义奖励与推荐协同奖励，在 GRPO 中收敛到 Pareto 前沿，使 7B 模型超过 32B 教师并在快手广告全量落地。 |
| [2606.04536](2606.04536/report.md) Scaling Self-Evolving Agents via Parametric Memory | 2026 | 把记忆抽取建模为rollout中可被RL优化的action,将蒸馏出的QA监督通过SVD初始化的在线LoRA写入fast weights,使策略在单个episode内真正改变而非仅查询prompt空间记忆 |
| [2606.10078](2606.10078/report.md) Mult-DPO: Multinomial Direct Preference Optimization for Recommender Systems | 2026 | Mult-DPO 用同一 reward weight 空间上的 multinomial surrogate 保守近似 set-wise Plackett-Luce 偏好事件，从而把多正多负推荐反馈转化为可计算的 DPO 上界目标。 |
| [2606.25496](2606.25496/report.md) Recommendation as Generation: Unifying Personalized Video Generation and Recommendation at Industrial Scale | 2026 | 把推荐预测的离散语义 ID 从检索键改造成可生成的兴趣蓝图，并将内容语义与创意风格解耦，才能在工业推荐中按需扩充个性化视频供给。 |

## 推荐系统 — 排序与架构

| Paper | Year | Key Insight |
|---|---:|---|
| [2506.03699](2506.03699/report.md) Scaling Transformers for Discriminative Recommendation via Generative Pretraining | 2025 | 判别式推荐中 sparse embedding 是过拟合源头——冻结迁移过来的 sparse embedding 只训练 dense 参数，才让 Transformer 的 scaling law 在推荐里成立 |
| [2507.15551](2507.15551/report.md) RankMixer: Scaling Up Ranking Models in Industrial Recommenders | 2025 | 推荐模型做不大不是参数不够，是架构不匹配 GPU——用 parameter-free token mixing 替代 self-attention 把 MFU 从 4.5% 拉到 45% |
| [2602.06563](2602.06563/report.md) TokenMixer-Large: Scaling Up Large Ranking Models in Industrial Recommenders | 2026 | RankMixer 的 token mixing 破坏了 token 语义对齐（TSA），加一个反向 mix-revert 操作恢复形状让 residual 可跨深层连接，推到 7B/15B 参数在线部署 |
| [2604.17878](2604.17878/report.md) RankUp: Towards High-rank Representations for Large Scale Advertising Recommender Systems | 2026 | 瓶颈不在 token mixer 形式而在输入自由度——通过随机置换切分、多 embedding table 等五种机制从输入端增加几何多样性推迟 rank collapse |
| [2604.19550](2604.19550/report.md) LoopCTR: Unlocking the Loop Scaling Power for Click-Through Rate Prediction | 2026 | loop scaling 把堆参数改为堆计算——process supervision 在每个 loop 深度上监督使多 loop 红利被蒸馏进共享参数，实现 train-multi-loop / infer-zero-loop |
| [2605.23191](2605.23191/report.md) Expand More, Shrink Less: Shaping Effective-Rank Dynamics for Dense Scaling in Recommendation | 2026 | 用 effective rank 分析 RankMixer 的层间锯齿动力学，通过参数化全粒度 mixing 和 GLU 门控 P-FFN 实现『多扩张少收缩』，缓解 embedding collapse 并改善 dense scaling。 |
| [2606.27058](2606.27058/report.md) UniFormer: Efficient and Unified Model-Centric Scaling for Industrial Recommendation | 2026 | UniFormer 将工业推荐的序列行为、非序列特征和多任务目标拆入 feature space 与 task space 两个统一 attention/FFN 交互路径，使扩容参数既能覆盖全模型瓶颈又能通过语义 tokenization 维持请求级推理效率。 |
| [2606.27243](2606.27243/report.md) NOVA: A Verification-Aware Agent Harness for Architecture Evolution in Industrial Recommender Systems | 2026 | NOVA 将生产推荐架构修改中的验证诊断、离线/线上指标变化和历史失败轨迹组织成 architecture gradient，从而让 agent 搜索持续避开 runnable-but-negative 的 silent failures。 |

## 推荐系统 — 检索与重排序

| Paper | Year | Key Insight |
|---|---:|---|
| [2604.12965](2604.12965/report.md) Efficient Retrieval Scaling with Hierarchical Indexing for Large Scale Recommendation | 2026 | 联合训练层级索引树而非后置聚类，intermediate nodes 意外成为高质量数据可反哺原模型 fine-tune |
| [2604.14878](2604.14878/report.md) GenRec: A Preference-Oriented Generative Framework for Large-Scale Recommendation | 2026 | 训练推理不对称设计——训练时 page-wise NTP 一次预测整页 item，推理时回退 point-wise beam search 兼容线上管线 |
| [2604.25291](2604.25291/report.md) From Local Indices to Global Identifiers: Generative Reranking for Recommender Systems via Global Action Space | 2026 | 将重排序从选择局部索引重新定义为生成全局 Semantic ID 序列，消除位置-物品耦合导致的语义不一致 |
| [2606.13533](2606.13533/report.md) OneRetrieval: Unifying Multi-Branch E-commerce Retrieval with an Editable Generative Model | 2026 | 将生成式检索的 SID 槽位与可解释属性词对齐并预留可后绑定槽位，使新词干预退化为字典和索引更新，而不是模型参数更新。 |
| [2606.28059](2606.28059/report.md) Fast and Feasible: Permutation-based Constrained Reranking for Revenue Maximization | 2026 | 从已满足业务约束的生产排序出发，PermR 用收入改进与约束修复交替的相邻交换，在不训练新模型和不在线求解 ILP 的情况下逼近 revenue-aware constrained reranking 的主要收益。 |
| [2606.31984](2606.31984/report.md) GR2 Technical Report | 2026 | 核心在于先用语义ID和教师推理把商品语义与排序思维装进学生LLM，再用面向多正例重排序的可验证奖励与OPD/二次RL把这套推理压缩成可部署的高ROI策略。 |

## 推荐系统 — 生成式推荐

| Paper | Year | Key Insight |
|---|---:|---|
| [2510.11639](2510.11639/report.md) OneRec-Think: In-Text Reasoning for Generative Recommendation | 2025 | 通过先对齐再激活再强化的课程化训练把 itemic token 嵌入到 LLM 语义空间,使 LLM 能在一个自回归路径里同时生成可读 CoT 与目标 item token,并以 Rollout-Beam reward 解决 GRPO 中的稀疏命中问题。 |
| [2605.06331](2605.06331/report.md) Expressiveness Limits of Autoregressive Semantic ID Generation in Generative Recommendation | 2026 | 生成式推荐的自回归 SID 概率连乘等价于在固定解码树上 traversal，共享前缀 → 共享乘积项 → 树邻近 item 概率高度相关，结构性禁止 rank reversal 与非传递相似度；在每条 SID 前 prepend 一个随机采样的 latent token 即可把单棵树扩成森林，让 item 间有效距离随用户动态变化，平均 NDCG@10 提升 3.45% |
| [2605.11447](2605.11447/report.md) Conditional Memory Enhanced Item Representation for Generative Recommendation | 2026 | 把 GR 的『压缩输入』和『token-level 解码』绑定到同一份稀疏 Engram 记忆上——压缩时丢掉的 SID 结构，解码时能从同一张哈希表里取回来。 |
| [2605.11553](2605.11553/report.md) TwiSTAR: Think Fast, Think Slow, Then Act, Generative Recommendation with Adaptive Reasoning | 2026 | 将协同过滤中的 I2I 共现模式转化为自然语言解释注入 LLM，训练出具有 collaborative commonsense 的慢推理模型，并通过 supervised warm-up + RL 训练一个 agent planner 动态决定每条用户序列该用 fast retrieval、ranking 还是 slow reasoning，从而在保持准确率的同时大幅降低平均推理延迟。 |
| [2605.12617](2605.12617/report.md) MLPs are Efficient Distilled Generative Recommenders | 2026 | SID 生成的难点几乎都集中在前几个 token；一旦前缀确定，后续分支空间迅速塌缩，因此没必要在每个 beam、每个位置反复跑完整 Transformer decoder，只需一次性读出 user context，再用按位置拆分的 MLP head 蒸馏教师的逐位决策即可。 |
| [2605.18771](2605.18771/report.md) LWGR: Lagrangian-Constrained Personalized World Knowledge for Generative Recommendation | 2026 | 通过平行码本生成用户个性化软指令驱动LLM抽取世界知识,并用Lagrangian primal-dual约束相对reference GR的退化,把不可控的知识融合变成有界优化 |
| [2605.23310](2605.23310/report.md) From Head to Tail: Asymmetric Knowledge Transfer in Long-tail Recommendation with Generative Semantic IDs | 2026 | 用高碰撞率RQ-VAE构造语义簇作为head-tail桥梁，配合stop-gradient非对称InfoNCE让知识只从head流向tail而不让tail噪声污染head表示。 |
| [2605.23312](2605.23312/report.md) Towards Generalizable and Efficient Large-Scale Generative Recommenders | 2026 | scaling 的收益高度任务相关，需用 offset scaling law 诊断剩余空间，并分别用高效解码、MTP 和语义塔解决重复训练成本、缓存服务标签陈旧和冷启动三大生产瓶颈，才能让预训练增益真正 transfer 到下游 |
| [2605.25330](2605.25330/report.md) How Reliable Are Semantic-ID Tokenizer Comparisons in Generative Recommendation? | 2026 | SID级匹配只在零碰撞时等价于item级推荐；tokenizer压缩使相似item共享SID（碰撞率达30.5%），令标准Hit@K系统性虚高并翻转tokenizer排名，需用碰撞折算指标CCE或零碰撞重分配ZCR来忠实评测。 |
| [2606.06260](2606.06260/report.md) OneReason Technical Report | 2026 | 通过四粒度对齐预训练强化 itemic token 的语义感知，配合 Persona-Expansion-Inference 三段式 CoT 与 specialize-then-unify 的 RL 路线，让推荐生成模型的 thinking 模式首次稳定超越 non-thinking 模式。 |
| [2606.07546](2606.07546/report.md) Beyond Item IDs: Scaling Short-Form-Video Recommendation via Semantic-Native Long Sequence Modeling | 2026 | 把 RQ-VAE 的层级 SID 截断到 Bi-gram (c1,c2) 让序列侧词表 bounded，再用零参数 Temporal Folding 把 k 个相邻 token 沿 channel 维 concat 成 super-token——既消除嵌入表的语料级膨胀，又把 attention 的 O(L^2) 折成 O((L/k)^2)，让工业级 L=2000 端到端建模可行。 |
| [2606.08480](2606.08480/report.md) Adaptive Loss Balancing for Noise-Robust GRPO in Generative Recommendation | 2026 | AdaGRPO 通过策略侧困难度与奖励侧可判别性两个 rollout 排序诊断，只在策略需要帮助且生产排序器局部可信的样本上准入 GRPO，从而避免曝光偏置 reward model 的噪声梯度破坏生成式推荐。 |
| [2606.14142](2606.14142/report.md) Implicit Reasoning for Large Language Model-based Generative Recommendation | 2026 | SID 生成式推荐中，自然语言 rationale 与 SID token 空间弱耦合会削弱显式 CoT，而经过 CPT 预训练的 <pause> token 能把推理变成直接服务 SID 预测的 latent computation。 |
| [2606.14260](2606.14260/report.md) ChronoID: Infusing Explicit Temporal Signals into Semantic IDs for Generative Recommendation | 2026 | 将相对时间显式注入 Semantic ID 学习并用并行量化解耦时间-文本 facet，使生成式推荐的离散目标 token 本身携带动态交互语义。 |
| [2606.19635](2606.19635/report.md) Token Factory: Efficiently Integrating Diverse Signals into Large Recommendation Models | 2026 | Token Factory 将传统推荐特征直接投影为 LRM embedding space 中的 soft tokens，从而在固定 token budget 内保留异构信号并避免文本化 prompt 膨胀。 |
| [2606.20554](2606.20554/report.md) Structuring and Tokenizing Distributed User Interest Context for Generative Recommendation | 2026 | G2Rec 将全局 item-item co-engagement 图离线压缩为可软分配的兴趣原型和连续 profile token，使生成式推荐模型在接近 item-only 的在线成本下获得全局协同行为上下文。 |
| [2606.25147](2606.25147/report.md) TokenMinds: Pretrained User Tokens and Embeddings for User Understanding in Large Recommender Systems | 2026 | 通过共享 SID 词表的 encoder-decoder 同时生成离散 user tokens 和 dense embedding，可以在保持工业系统兼容性的同时提升用户表示的结构化表达能力，并把跨长短视频场景的联合建模转化为可部署的效率收益。 |
| [2606.27684](2606.27684/report.md) Intuition-Guided Latent Reasoning for LLM-Based Recommendation | 2026 | 与其盲目增加latent reasoning步数，不如先用候选集构造与目标物品对齐的intuition embedding来重写初始latent state；更好的起点比更长的无约束推理链更关键。 |
| [2606.31693](2606.31693/report.md) ShopX: A Foundation Model for Intent-to-Item Fulfillment in Agentic Shopping | 2026 | 把语义ID从候选召回标签提升为模型可操作的商品语言，使同一个基础模型能在多轮购物场景中直接完成计划、商品空间执行、解释与状态更新，从而减少工具接口造成的信息损失。 |

## 搜索代理

| Paper | Year | Key Insight |
|---|---:|---|
| [2606.03239](2606.03239/report.md) ARBOR: Online Process Rewards via a Reusable Rubric Buffer for Search Agents | 2026 | ARBOR 将局部对比轨迹中归纳出的搜索过程标准沉淀为可复用且在线更新的 rubric memory，使最终答案分数相同的训练组仍能获得组内过程差异信号。 |

## 教育测量

| Paper | Year | Key Insight |
|---|---:|---|
| [2606.28186](2606.28186/report.md) Cognitive Episodes in LLM Reasoning Traces Enable Interpretable Human Item Difficulty Prediction | 2026 | LRM推理轨迹中的认知episode动态能把题目诱发的问题求解负担结构化为规模、分配与流动三类过程特征，从而补充文本语义并提升可解释难度预测。 |

## 数据配比

| Paper | Year | Key Insight |
|---|---:|---|
| [2605.26121](2605.26121/report.md) GEM: Geometric Entropy Mixing for Optimal LLM Data Curation | 2026 | 把数据分类放到超球面上的 vMF 混合模型上做，并对经验分配 mass 而非生成 prior 加均衡正则项，再用 MM 算法保证单调收敛，从而在不破坏 likelihood 几何含义的前提下显式抑制各向异性 embedding 引发的 cluster collapse。 |

## 文本世界模型

| Paper | Year | Key Insight |
|---|---:|---|
| [2606.27681](2606.27681/report.md) Textual Belief States for World Models: Identifiable Representation Learning Under Strict Mediation | 2026 | 通过强制未来预测只能经由文本 belief state，strict mediation 消除了 history bypass，使预测准确性重新约束 state 的充分性；fGRPO 则在离散文本 state 上训练这种信息流。 |

## 智能体

| Paper | Year | Key Insight |
|---|---:|---|
| [2605.23590](2605.23590/report.md) Co-ReAct: Rubrics as Step-Level Collaborators for ReAct Agents | 2026 | 把 rubric 训练成轨迹条件化的下一步动作排序信号，并在推理时注入与验证，可把 ReAct 的局部搜索决策从自我直觉变成可检查的专家偏好对齐过程。 |

## 智能体记忆

| Paper | Year | Key Insight |
|---|---:|---|
| [2606.16707](2606.16707/report.md) User as Code: Executable Memory for Personalized Agents | 2026 | 把用户记忆表示为 append-only 事实日志周期性 checkpoint 成 typed Python 状态和约束函数，使记忆不仅能被检索，还能由解释器精确聚合和主动触发安全/日程/财务提醒。 |

## 机制可解释性

| Paper | Year | Key Insight |
|---|---:|---|
| [2604.06005](2604.06005/report.md) Disentangling MLP Neuron Weights in Vocabulary Space | 2026 | MLP 神经元在词表空间的高 kurtosis 投影对应单义概念方向，在权重的旋转轨道上最大化 kurtosis 即可 data-free 地把多义神经元分解成可读的 vocabulary channels |

## 机器遗忘

| Paper | Year | Key Insight |
|---|---:|---|
| [2606.14997](2606.14997/report.md) AI Engram: In Search of Memory Traces in Artificial Intelligence | 2026 | 用目标与参考激活协方差构造的谱滤波器可以从训练后权重中分离功能性概念分量，从而以单次统计和闭式伪逆实现组合式遗忘。 |

## 用户中心智能体

| Paper | Year | Key Insight |
|---|---:|---|
| [2509.19736](2509.19736/report.md) UserRL: Training Interactive User-Centric Agent via Reinforcement Learning | 2025 | 在用户中心的多轮交互中，先用轨迹级 R2G 识别更早取得有效进展的 rollout，再用 SFT cold start 提供基本交互能力，比复杂逐 turn 启发式更稳定地提升 agent 的用户协作表现。 |

## 电子商务 — LLM动态定价与长期价值对齐

| Paper | Year | Key Insight |
|---|---:|---|
| [2606.26787](2606.26787/report.md) AIGP: An LLM-Based Framework for Long-Term Value Alignment in E-Commerce Pricing | 2026 | AIGP 将 LLM 的可解释多源信息整合与离线 RL 训练的长期价值估计器解耦，用 LTVE 在业务安全动作集合内筛选 DPO 偏好对，从而把长期 GMV/ROI/MAR 目标对齐到可部署的 30B 定价模型。 |

## 直播推荐

| Paper | Year | Key Insight |
|---|---:|---|
| [2605.21832](2605.21832/report.md) FLUID: From Ephemeral IDs to Multimodal Semantic Codes for Industrial-Scale Livestreaming Recommendation | 2026 | 当 item lifetime 极短（直播间约 45 分钟）使 item ID 永远处于冷启动时，正确的做法不是给 ID 旁边加多模态信号，而是用跨域训练得到的层次化离散语义码 LUCID（slice + room）通过 late-fusion + 三阶段 warmup 彻底取代候选侧 item ID。 |

## 空间VLM

| Paper | Year | Key Insight |
|---|---:|---|
| [2606.17539](2606.17539/report.md) Reinforcing Dual-Path Reasoning in Spatial Vision Language Models | 2026 | SR-ReaL 通过把空间问题拆成语言推理和先 3D 检测再几何推理两条互补路径，使 RL 可以同时优化最终答案和可验证的中间空间 grounding。 |

## 自动科研

| Paper | Year | Key Insight |
|---|---:|---|
| [2606.11926](2606.11926/report.md) Toward Generalist Autonomous Research via Hypothesis-Tree Refinement | 2026 | Arbor 通过持久化假设树把局部实验、失败证据和可复用洞察转化为全局研究状态，使长程 agent 搜索从线性试错变成可审计、可继承并由 held-out gate 验证的累积式优化过程。 |

## 自蒸馏

| Paper | Year | Key Insight |
|---|---:|---|
| [2604.12002](2604.12002/report.md) Self-Distillation Zero: Self-Revision Turns Binary Rewards into Dense Supervision | 2026 | 通过 SRT 唤起模型的 outcome-conditioned 自我修订能力，再以同一模型作为 teacher 把 binary reward 转成 token 级 KL 监督，从而在没有外部 teacher 或 gold CoT 的条件下实现 dense self-supervision。 |

## 表征几何

| Paper | Year | Key Insight |
|---|---:|---|
| [2509.23024](2509.23024/report.md) Tracing the Representation Geometry of Language Models from Pretraining to Post-training | 2025 | 在偏斜token频率与维度瓶颈(d<<|V|)下，cross-entropy梯度下降必然产生扩张(entropy)到压缩(compression)的非单调表征几何演化，并把短上下文记忆与长上下文泛化分离到不同谱阶段。 |

## 视觉-语言-动作

| Paper | Year | Key Insight |
|---|---:|---|
| [2605.30280](2605.30280/report.md) Qwen-VLA: Unifying Vision-Language-Action Modeling across Tasks, Environments, and Robot Embodiments | 2026 | 把异构具身任务统一为动作-轨迹预测，并先做无视觉的文本到动作（T2A）预训练，把语言指令当作动作轨迹的压缩编码、让随机初始化的 DiT decoder 先建立语言索引的结构化动作先验，再引入视觉 grounding，从而稳定高效地对齐强预训练 VLM 主干与新生动作专家。 |

## 计算机使用智能体

| Paper | Year | Key Insight |
|---|---:|---|
| [2606.17929](2606.17929/report.md) PreAct: Computer-Using Agents that Get Faster on Repeated Tasks | 2026 | PreAct 将成功轨迹编译成带屏幕谓词的可执行状态机，并只在独立重放验证通过后入库，因此重复任务可无逐步 LLM 调用地快速重放，同时避免错误程序在长期记忆中累积。 |

## 语言生成

| Paper | Year | Key Insight |
|---|---:|---|
| [2204.01171](2204.01171/report.md) Why Exposure Bias Matters: An Imitation Learning Perspective of Error Accumulation in Language Generation | 2022 | 将 teacher forcing 形式化为 behavior cloning，从而借用模仿学习的 regret 上界把 exposure bias 量化为两种上文分布下损失之差，证明误差随序列长度近二次累积且 perplexity 无法捕捉。 |

## 软件工程智能体

| Paper | Year | Key Insight |
|---|---:|---|
| [2604.14820](2604.14820/report.md) SWE-TRACE: Optimizing Long-Horizon SWE Agents Through Rubric Process Reward Models and Heuristic Test-Time Scaling | 2026 | 长程 SWE agent 的性能瓶颈来自冗长轨迹、稀疏最终奖励和昂贵全轨迹搜索；用测试锚定短路径监督、rubric-conditioned 过程奖励和动作级早剪枝共同约束过程质量，可以同时提升 resolve rate、token 效率和推理延迟。 |

## 过程奖励模型

| Paper | Year | Key Insight |
|---|---:|---|
| [2606.27739](2606.27739/report.md) The Weakest Link Tells It All: Outcome-Supervised Process Reward Modeling via Learnable Credit Assignment | 2026 | 把 outcome-supervised PRM 改写为符合 weakest-link 假设的 Multiple Instance Learning 问题，并用 SWS pooling 在只看最终答案对错时仍给每个推理 prefix 分配可学习 credit。 |

## 金融智能体评测

| Paper | Year | Key Insight |
|---|---:|---|
| [2606.26350](2606.26350/report.md) OpenFinGym: A Verifiable Multi-Task Gym Environment for Evaluating Quant Agents | 2026 | OpenFinGym 的关键价值在于把量化金融论文中的实验协议编译成可执行任务包，并通过 verifier 隔离把 forecasting、generation、trading 与 fraud detection 统一到同一个可防泄漏的 agent 评测与后训练环境中。 |

## 长上下文压缩

| Paper | Year | Key Insight |
|---|---:|---|
| [2606.09659](2606.09659/report.md) End-to-End Context Compression at Scale | 2026 | 通过 350B token 大规模端到端训练和交错式压缩数据格式，把 encoder-decoder soft-token compression 重做成一个保留 base model 通用能力的压缩器，在 TTFT 和 peak memory 维度推开 KV cache 压缩方法构成的 Pareto 前沿。 |

## 长上下文检索

| Paper | Year | Key Insight |
|---|---:|---|
| [2606.21649](2606.21649/report.md) EvoEmbedding: Evolvable Representations for Long-Context Retrieval and Agentic Memory | 2026 | 把滚动 latent memory 内化到 embedding 生成过程，使每个 segment/query 的检索表示随历史上下文演化，从表示层解决静态 chunk 编码丢失时间状态的问题。 |

## 长视频理解

| Paper | Year | Key Insight |
|---|---:|---|
| [2606.07512](2606.07512/report.md) MemDreamer: Decoupling Perception and Reasoning for Long Video Understanding via Hierarchical Graph Memory and Agentic Retrieval Mechanism | 2026 | 长视频理解的瓶颈是推理被海量噪声token淹没而非感知不足:将视频离线构建为纯文本层级图记忆(层级供全局导航+因果边供逻辑链追踪),让推理模型通过工具循环只消费约6K高信噪比文本,即可把模型原生推理能力直接迁移到长视频任务(AIME相关性0.702→0.897) |