8 月 18 日到 25 日，AIGC 论文里最值得关注的变化，是推理优化正在从“把某一个算子做快”转向“管理一段执行过程中的状态”：MoE 专家什么时候驻留 GPU、KV Cache 以什么粒度压缩、draft token 如何恢复联合结构、Agent 的 rollout 如何在异步到达时保持统计一致，以及 CPU/边缘设备怎样围绕内存带宽重写执行顺序。
这些工作表面上分属模型、系统、硬件和后训练，实际上都在回答同一个问题：当推理不再是一次静态矩阵乘法，而是一个持续变化的状态机时，系统应该把什么保留下来、什么时候搬运、何时重算，以及如何证明这样做没有破坏质量。
本文依据 arXiv 在 2026 年 8 月 18 日 00:00 至 8 月 25 日 23:59（UTC） 首次提交的论文整理，筛选计算机视觉、机器学习、自然语言处理和人工智能类别中与推理优化、KV Cache、MoE、Kernel、视频生成、Agent 和 Serving 相关的工作。论文中的性能、准确率、压缩比例和延迟均为作者报告，不代表 AIGCage 独立复现。
一、本周主线：推理系统开始管理“状态”
过去的推理优化通常可以写成一个局部目标：减少 FLOPs、降低 dtype、融合 Kernel 或缩短序列。但本周论文反复出现的关键词是 驻留、迁移、恢复、回放和预算。
- MoE 推理要管理专家权重的驻留和 CPU/GPU 搬运；
- KV Cache 要在压缩率、页粒度和 attention 误差之间做选择；
- speculative decoding 要让并行 draft 不只是逐位置合理，还要保持候选之间的联合一致性；
- Agent RL 要处理长短不一的异步轨迹，避免 learner 的接收顺序改变训练语义；
- CPU、ANE 和芯片级 serving 则把“计算表达方式”和“数据搬运路径”视为模型设计的一部分。
这条线索说明，下一阶段的推理 runtime 可能不再只有一个 cache manager，而会同时拥有预算、放置、迁移、恢复和一致性接口。
二、MoE：稀疏路由之后，真正困难的是专家状态放在哪里
SAEM：CoT 阶段的专家局部性可以转化为缓存策略
SAEM: Stage-Aware Expert Management for Memory-Efficient MoE Inference in Chain-of-Thought Reasoning 观察到，Chain-of-Thought 推理虽然 token 逐步生成，但相邻推理阶段往往会出现相对稳定的专家激活模式。传统 MoE runtime 把所有 token 当作同一种请求，因而会产生不必要的 GPU-CPU 传输和 Kernel 碎片化。
SAEM 的做法包括阶段边界检测、stage-aware cache、专家对齐的 token repacking，以及在 CPU 上原位执行部分专家。论文作者在数学和科学推理负载上报告，相比其对比的缓存和 offloading 基线，平均吞吐提升 1.33 倍；当校准数据与工作负载匹配时，最高为 1.54 倍。这些数字来自论文设定，重点不在某个固定加速比，而在于“路由预测”开始被用来决定权重的未来驻留位置。
HYDRA：混合 Transformer-Mamba 的 serving 需要硬件与调度一起搜索
HYDRA: A Heterogeneous Chiplet DSE Framework for Serving Dynamic Hybrid LLM Workloads 面向 Transformer-Mamba 混合 LLM 的芯粒系统设计。混合架构同时带来不同的计算、内存和通信模式，仅搜索静态硬件配置，无法解释多租户动态 batching 和 runtime scheduling 的影响。
HYDRA 联合搜索芯粒组成、放置、片间带宽、动态 batching 和弹性任务调度，并使用 Markov-based 性能估计器建模运行时变化。作者报告平均吞吐提升 1.55 倍、TTFT 降低 43.7%，峰值吞吐增益达到 2.3 倍。这类工作对 serving 团队的启示是：当模型包含异构层时，硬件 topology、batch 形成和任务调度不应再分开调参。
三、Speculative Decoding：并行 draft 的下一个瓶颈是“联合结构”
LiLiCorr：让逐位置概率重新拥有候选之间的相关性
LiLiCorr: Lightweight Likelihood Correlation of Parallel Drafts for Speculative Decoding 针对 DFlash 一类一次预测一段未来 token 的 draft head。问题在于，逐位置训练得到的 marginal distribution 可以让每个 token 单独看起来合理，但整段 token 组合起来并不连贯，导致 target model 接受长度受限。
LiLiCorr 保留每个位置的 top-k 候选，用轻量网络为候选产生 in/out vector，再用相邻候选向量的 cosine similarity 建立匹配关系；一轮前向得到全部向量，批量矩阵运算计算 pairwise score，最后只保留一个便宜的 greedy walk。作者报告，相比 vanilla DFlash，接受长度在所有 benchmark 上提升 9%—19%，scoring head 只占每个 block 延迟约 2.8%；在 72 个设置中，LiLiCorr 有 70 个设置取得最高吞吐。
这个结果把 speculative decoding 的优化目标从“draft 得多快”推进到“draft 的候选之间是否具有可验证的联合结构”。对 runtime 来说，draft、candidate selection、verification 和 acceptance cache 需要被当作一条流水线观察。
四、KV Cache：压缩率之外，页面结构和恢复路径决定可用性
PuzzleKV：把每个 KV page 当作独立的低秩压缩单元
PuzzleKV: Page-Wise Low-Rank Decomposition for KV Cache Compression 认为，长上下文的 KV Cache 并不一定要在整个序列上使用一个共享低秩空间。论文把每个 layer、KV head 的 cache 切成固定长度 page，观察到单个 page 内存在较强低秩结构，于是让已经完成的 page 独立做分解，并在自回归生成过程中增量压缩新完成的页面。
在约为原始 KV Cache 60% 的存储预算下，作者报告 PuzzleKV 在两个模型和全部评测设置中都保持 Full KV 性能的 96% 以上；结合量化后，存储量可以降到原始的 18.7%，性能仍超过 Full KV 的 93%。论文方法无需训练和校准数据。工程上要关注的是，page size、分解开销、dense/factorized attention 两条访问路径，以及新 page 何时从“热”状态转为可压缩状态。
What actually runs：ANE 上的瓶颈是表达方式和字节流
What actually runs: a measurement study of language model placement and decode speed on the Apple Neural Engine 对 Apple Neural Engine 的模型部署做了三组测量：改变算子表达但保持计算等价，测量设备支持；比较结构一致的不同精度模型；读取 ANE memory-controller byte counter 验证真正执行的位置。
作者发现，算子能否驻留 ANE 取决于表达方式，而不只是计算语义：融合 RMSNorm 可以完整进入 ANE，等价拆解却可能退回 CPU。一个 25.85M 参数的卷积型 FP16 模型完全落在 CPU，而 int8 或 2-bit 表达可以恢复约 83% 的 ANE residency，速度提升 1.8—2.2 倍。在匹配规模的 ternary 模型中，作者测得每 token 约 10.0—10.8 MB、0.62—0.64 ms。这些测量再次提醒我们：端侧推理优化首先是字节和算子落点问题，其次才是 FLOPs 问题。
五、训练和后训练：异步轨迹让“样本顺序”变成系统语义
OraRL：把视频标注从评分器变成 oracle rollout
Annotations as Rollouts: Efficient and Scalable Reinforcement Learning for Video MLLMs 提出 OraRL，研究视频 MLLM 后训练中的 rollout 效率。论文指出，标注不应只用来给 rollout 打分，也可以直接作为 on-policy group 中的 oracle rollout；但一个高 reward oracle 会抬高 group baseline，甚至让原本正向的 policy advantage 反转，论文将其称为 advantage inversion。
OraRL 用 policy rollout 计算不包含 oracle 的 baseline，再由 oracle-policy gap 同时调节方向增益和 detached oracle advantage，并通过 sign-balanced pruning 保留每个符号中最强的 rollout。作者报告，OraRL 的 step time 约为 SFT 的 2.2 倍，低于带 CoT 的 GRPO 的 4.9 倍；Video-ORA-9B 在不生成 CoT 时解码 130 ms，对比生成 CoT 的 4,780 ms。在其视频任务中，temporal mIoU 从 62.5 提升到 66.0，tracking AO 从 73.0 提升到 78.2，segmentation 从 64.3 提升到 70.4。
工程上，OraRL 的意义不只是节约 rollout：它要求系统明确区分“样本产生时间、baseline 归属、优势计算和 learner 接收时间”，否则并发流水线会改变算法本身。
SPO++：异步 Agent RL 要按 action-token measure 归一化
SPO++: Stream-Aligned Policy Optimization for Asynchronous Agentic RL 处理工具调用轨迹长度差异很大的 Agent RL。传统 group-relative RL 要等同一 prompt 的 sibling rollout，长工具轨迹会拖慢更新；SPO 用持续的 prompt-level value estimate 去掉这个等待，但原始 recipe 的 trajectory-level whitening 与 actor 实际消耗的 token-mean loss 并不一致。
SPO++ 将 terminal-outcome advantage 按 action-token measure 做标准化，并按产生证据的 policy event 组织 prompt evidence，而不是按 learner 收到的顺序组织。在 ALFWorld 两个模型规模和 Math-TIR 的匹配实验中，作者报告相对 SPO 提升 online learning efficiency，并通过 paired ablation 指出 action-token-measure normalization 是最强的单项组件。
这类工作对训练基础设施的要求很具体：消息队列的到达顺序、轨迹的终止信号、token mask、优势缓存和 replay 语义必须能够被单独审计。
六、从 CPU 到推理编译器：模型结构开始主动配合数据搬运
Pipeline-Native Transformers：把 CPU decode 改写成带宽调度问题
Pipeline-Native Transformers: Co-Designing Model Architecture and CPU Inference for Bandwidth-Efficient Autoregressive Decode 以 CPU 单 token decode 为对象，指出现代 CPU 的问题不是算力不足，而是每生成一个 token 都要从内存流式读取 active weights。论文同时提出 cflow streaming engine 和 pipeline-native Transformer 架构，让层间依赖图适合 stage-major 执行，权重按 L2-sized tile 和消费顺序布局，只读取 MoE top-k experts，并融合 projection。
在 TinyStories 上训练的五个候选架构中，作者报告一个候选将关键路径带宽从 9.00 MB/token 降到 4.50 MB/token，同时保持与最佳候选相差 0.24 perplexity；tile layout 的 L1 data read miss 比 row-major baseline 少 7.29 倍。在 32-vCPU Ice Lake 上，一个 30.9B 参数的 pipeline-native MoE 达到 5.94 tok/s，对比 llama.cpp 的 4.75 tok/s 和 vLLM CPU backend 的 1.65 tok/s。作者同时披露，有一项设计假设被测量推翻，另一项尚不能确认。
这篇工作特别适合作为工程判断的提醒：当推理受带宽限制时，换一个更快的 GEMM Kernel 可能不如重新安排权重流和层间依赖。
七、本周判断
- MoE 稀疏性必须和驻留策略一起评估。 SAEM 的阶段局部性、HYDRA 的异构调度和 CPU/Chiplet 路线都说明，少算专家只是第一步，关键还在于减少无效搬运和碎片化执行。
- KV Cache 的核心指标会从压缩率扩展到可恢复性。 PuzzleKV 展示了 page-wise 压缩的收益，但真正进入服务还要回答压缩何时发生、页面如何访问、分解是否阻塞 decode，以及质量退化能否被检测。
- Speculative decoding 已经进入候选结构优化。 LiLiCorr 说明并行 draft 的 token 相关性会直接决定 acceptance length；未来的 drafter 训练和 serving scheduler 很可能共同优化这个指标。
- 异步训练系统必须显式管理时间语义。 OraRL 和 SPO++ 都把“谁在什么时候产生了什么 evidence”变成算法输入，消息顺序不再只是实现细节。
- 端侧与 CPU 推理会继续反向影响模型架构。 ANE 测量和 pipeline-native Transformer 都把算子表达、权重布局和字节预算提升到模型设计层。
对工程团队而言，本周留下的实践清单是：先为请求、专家、KV page 和 rollout 建立可观测状态图；再把驻留、压缩、迁移、重算、提交和回滚定义成显式动作。只有这样，论文中的“平均加速”和“压缩后精度”才有机会转成可回归的服务指标。
本期论文
整理说明：本文依据 arXiv 公开版本与论文摘要整理；性能、准确率、压缩比例、复杂度和服务指标均为论文作者自报，不代表 AIGCage 独立复现。不同模型、硬件、数据集、任务和基线之间不能直接横向比较。