本期覆盖 2026/10/14—10/20（UTC），按论文首次提交日期选取。代码和框架更新另见同期《AIGC 开源一周》。

这周值得一起读的是几组“组合问题”：MoE 的路由负载怎样变成显存峰值；稀疏 attention 的近似误差如何进入下一步缓存；蒸馏模型减少去噪步数之后，为什么仍要多跑一次 clean KV。它们都提醒我们，单个算子省下的工作，可能在转换、刷新或调度环节重新付出去。

下文区分实机结果、原型和实验假设。涉及质量比较的“接近原模型”，指论文给定的测试集与指标，不代表逐像素一致；没有完整硬件或精度条件的结果，不在这里单独摘出最高加速比。

MoE 与训练系统：从路由结果决定执行计划

1 BaGuaLu-2：显存预算跟着 microbatch 变化

10 月 16 日。 MoE 训练的显存峰值不只取决于参数量。token 偶然集中到少数专家，会放大本地专家激活；流水线 warmup 又会让多个 microbatch 的激活同时存活。按平均负载留内存容易 OOM，按最坏情况留内存则长期浪费空间。

BaGuaLu-2 在流水线调度点重新分配预算：先估计激活的大小、生命周期和处理代价，再在保留、重算、CPU offload、低精度存储之间选择。路由结果尚未产生时不假装能准确预测负载；warmup 可以压缩下一批的预算，稳态则在 gate 已算出、专家尚未执行时退到更保守的重算路径。相邻批次的前向、反向、卸载和恢复进一步交错，把新增工作放入计算或通信空隙。

作者在未披露型号的供应商 GPU 集群上测试，单卡 64 GB HBM、BF16 峰值 480 TFLOPS，最大实验使用 12,288 卡训练 1040B 参数模型。这里的“融合双批执行”是调度与重叠，不是把整个 MoE 做成一个 megakernel。实现还要检查同一激活的多个消费者，避免一边 offload、一边仍保留 GPU 副本而没有真正释放内存。其交错论证要求足够的流水线深度，不能直接套到单卡或浅流水线训练。论文

2 Apex：没驻留在 GPU 的专家，也不必全部搬过去

10 月 16 日。 CPU–GPU 协同 MoE 有两个常见瓶颈：缺失专家全搬到 GPU，PCIe 成为瓶颈；全留在 CPU 算，CPU 又拖住整层。Apex 利用一个简单差别：同样大小的专家权重，服务的 token 数可以相差很大。

每层路由完成后，它把缺失专家按本批实际 token 负载排序，优先搬运高负载专家，低负载专家留在 CPU。控制器根据在线测得的 CPU 计算、GPU 计算与传输速率，平衡两条执行路径的完成时间。当前层 attention 输出还会送入下一层 router 做预取预测，但预测只影响搬运顺序，不替代下一层真实路由。

实验使用单张 RTX A6000 48 GB、Xeon Platinum 8358P、512 GB 主存和 PCIe 4.0 ×16，模型为 BF16 的 Qwen3.5-35B-A3B、Qwen3-Next-80B-A3B 与 GLM-4.5-Air。它适用于放不下全部专家的部署；收益依赖 batch、专家热度和 CPU 能力，不能据此推断全 GPU 驻留服务也会加速。论文

3 DPA-MoE：router 选完专家，再分配精度预算

10 月 15 日。 DPA-MoE 不改 router，而是让已选中的专家以不同精度执行。SharedScale AnyBCQ 把专家权重编码为可按前缀读取的 bitplane；增加精度时只读后续块，已有尺度不必随精度档位重算。

离线阶段记录每个专家在不同 chunk 数下的重构误差。在线阶段用当前 gate score 的平方给误差加权，在总 chunk 预算下解一个多选背包问题。decode 用当前 token 的 gate，batched prefill 则聚合同批 token 对专家的需求。这样，预算优先给当前贡献大、又对量化更敏感的专家。

实验覆盖 Qwen3-30B-A3B、DeepSeekMoE-16B 等模型，主要证据是同预算下相较均匀分配的质量改善。作者明确承认，原型尚未把分配器、变长权重恢复与 expert dispatch 充分融合，TTFT 和吞吐仍有额外开销。有效位宽更低不等于实际延迟必然更低，特别是大 batch 会增加参与分配的专家集合。论文

4 UC-RAMP：先决定每个专家留多宽，再决定留下哪些通道

10 月 19 日。 专家内部剪掉相同数量的通道，并不代表保住相同能力。UC-RAMP 将问题拆成两层：CAPE 用语言、数学、推理和代码校准数据，给不同专家分配宽度；RAMP 固定这些宽度，再根据通道间的重构相互作用，做“一进一出”的局部替换。整个过程不改 router，也不做梯度训练或权重恢复。

剪枝同时移除 gate/up 的行和 down 的对应列。部署时把每个专家按实际保留宽度打包，Triton kernel 用带 mask 的通道 tile 执行，而不是只给稠密权重乘一个零掩码。不过临时激活仍按该层最宽专家分配，参数压缩比例不能直接当作激活显存降幅。

实机比较采用 Qwen3-30B-A3B-Instruct-2507、25% routed-expert 通道剪枝、BF16、单张 A100-SXM4 80 GB、vLLM 0.27.1、TP1、FlashAttention-2、eager，无 CUDA Graph。五组输入长度/batch 为 256/1、512/1、1024/1、1024/2、1024/4，均生成 32 tokens；两轮测试每轮预热一次、计时三次，汇总取中位数。相对未剪枝模型，作者报告 TTFT 降低 19.7%—23.9%、TPOT 降低 20.2%—22.3%。仓库进一步注明，这组性能实验开启 prefix caching，使用重复合成 prompt，不能当成无缓存真实文本的 prefill 对比。

质量评估使用置零后的 dense 导出，物理紧凑 kernel 是单独的效率路径，两者的验证范围不能合并。仓库也保留部分任务退步的结果，且尚未选择项目整体的再分发许可证。重构代理改善并不保证每项任务都提高，校准域覆盖和剪枝强度仍须分别验证。论文 · 作者实现

5 DeMoE：单步图像生成也有专家分工，但稀疏不等于更快

10 月 19 日。 DeMoE 改的是单步学生内部的 image FFN：保留始终执行的共享分支，再从多个专家切片中选出部分分支。主配置在十三层中使用一条共享切片和七选四路由，另外十二层保持 dense；原来的 attention、modulation 和残差结构不变。

路由还读取一个只在当前样本前向期间存在的状态。每层根据已经执行过的表示变化更新状态，再影响后面层的选择；生成结束即丢弃，并非跨请求记忆或持续修改模型权重。训练监督对齐实际选中分支产生的响应，不拿未执行专家的假想输出当作执行结果。

基座为 FLUX.2 [klein] 4B，单步 dense 对照是作者训练的 DMD2 学生，不是模型厂商的官方单步版本。论文报告图像质量改善与较低的活跃 FFN 宽度，但主结果中的当前稀疏实现仍慢于 dense 学生；附录另有“不作延迟主张”的表述，性能证据口径尚需统一。本次访问作者代码链接返回 404，因此这里只介绍方法与论文边界，不把它列为已经可复现的开源加速方案。论文

GPU kernel 与低精度：优化完整数据流

6 FlashRT-PAI：kernel 快，不代表机器人推理流水线快

10 月 17 日。 这项工作把 VLA、视频动作模型和 world-action model 的推理拆成不同更新频率的阶段：指令变化时处理文本，每次观测更新视觉上下文，动作阶段再读取这些状态。固定地址 buffer 和 CUDA Graph 负责执行，显式接口规定哪些值可以保留、哪些必须刷新。

算子层面，融合集中在 GEMM 周围的归一化、量化、RoPE、缓存写入和门控激活；输出布局也要匹配下一个消费者。论文给了一个反例：GEMM 虽然融合了激活，但输出过宽，反而让下一个 GEMM 多读一倍权重。PDL 则允许后继算子提前加载与输入无关的权重，在真正消费前等待生产者完成。

测试覆盖 RTX 5090 与 Jetson AGX Thor。作者将同为 16-bit、相对官方 compiled 路径的提升，与叠加 FP8/NVFP4 后相对 eager 的提升分开报告；后者不能全部归功于 fusion。延迟是预热后的模型执行，不含机器人实际动作、网络、加载与图捕获。状态恢复也只在兼容的进程内计划间成立：新图像仍须重建图像相关 KV，不能复用旧观测。论文 · 作者实现

7 PACT：16 GB 显卡上的 NVFP4 LoRA，不只是压缩冻结权重

10 月 18 日。 LoRA 减少了可训练参数，却没有省掉冻结投影的前向和输入梯度计算。PACT 把每层 Q/K/V、输出投影及 MLP 的七个冻结投影接到原生 NVFP4 GEMM，FP32 累加、BF16 输出；LoRA 分支、attention 与残差仍保留 BF16。

它同时处理训练保存的激活。RMSNorm 的量化输出供投影和反向共同使用；SiLU-multiply 的前向读取原始 BF16 gate/up，另存 NVFP4 副本给反向。这样没有为了省反向显存，先给前向非线性多加一次量化误差。权重离线做适配 NVFP4 尺度的 GPTQ 校准，并分别缓存前向与反向布局：归约维不同，不能简单转置已经打包的低比特权重。

主实验在 RTX 5080 16 GB 上，采用 PyTorch 2.11、CUDA 13.2、FlashAttention 2.8.3，覆盖 Llama-3.2 的 1B/3B、Qwen2.5-1.5B，以及视觉语言 decoder 微调。质量仍有代价：部分模型的平均分相对 BF16 LoRA 有差距，小模型的个别任务更敏感。它是训练数据流的折中，不是“所有激活都用 FP4”的方案。论文

8 Mosaic NVFP4：短程收敛不足以证明长程训练可靠

10 月 17 日。 《What Matters for NVFP4 Training?》把多种配方放到共同训练栈，比较 Nemotron-H 8B 与 Nemotron 3 Nano 30B-A3B，训练长度达到 1T tokens。重点不是发明另一种四位格式，而是区分 forward、DGRAD、WGRAD 中不同张量需要怎样的误差处理。

最终配方组合一维权重量化与反向重量化、两个反向 GEMM 的 Hadamard 变换、梯度上的 MS-EDEN，以及其他张量的 Four Over Six 尺度选择。无偏处理对梯度尤其重要，但给所有反向张量一律加同样的校正，并没有稳定带来额外收益。

更值得注意的是后段高精度层：实验保留最后 15% 网络为 BF16；把全部层量化到 NVFP4 的 8B 配置在超过 300B tokens 后发散。配方排名也在较长训练后才稳定。这些是中等规模混合 Mamba–Transformer 模型的精度结论，不能外推为 DiT、音视频模型或其他 FP4 格式的通用训练配方。论文

9 E8-QAT：用格点投影代替显式码本搜索

10 月 20 日。 E8-QAT 将每组八个权重共同投影到 E8 格点。训练前向通过取整、奇偶修正与少量候选比较完成量化，不必在大码本里搜索；训练保留 BF16 latent weights，投影候选和距离用 FP32，梯度采用直通估计。

部署端把常用格点放进固定的 16-bit 索引空间，每八个权重对应一个索引；训练后落在有限核心之外的格点另存稀疏扩展记录，避免导出时强行截回码本。论文还保留输入、输出通道尺度和 block-Hadamard 变换，因此不能把它理解成普通 INT2 GEMM。

评测包括 Qwen3.6-35B-A3B 和 Llama-3.1-8B。吞吐测试让 2-bit 与 BF16 分别使用各自可容纳的最大 batch，因此比较中包含容量提高带来的并发优势，不能据此判断相同 batch 下的延迟收益。当前是权重量化方案，attention 激活和 KV 不因此变成两位；码本恢复、例外记录与融合 decode kernel 都是部署成本。论文

10 LIRQuant：局部敏感通道用可学习旋转，其余用固定变换

10 月 19 日。 LIRQuant 先用校准数据估计各通道的量化噪声与功能敏感性，再把局部变换分成两个互不混合的子空间：敏感部分学习旋转，不敏感部分使用固定 Hadamard。默认局部划分各占一半，但全局 residual rotation 仍是完整可学习矩阵，不能理解为所有旋转都缩成半宽。

部署时，全局旋转与 V→输出投影的变换离线吸收进权重；RoPE 之后的 Q/K 旋转、down projection 之前的变换仍需在线执行。作者将变换、逐 token reduction、INT4 量化和打包融合进 Triton kernel，让下游直接消费打包结果；固定形状 decode 再配合 CUDA Graph 和预分配 buffer。

论文的 W4A4 默认包含 KV4，但 RMSNorm、RoPE 和 softmax 分数仍保留 FP16。推理测试使用单张 A100-SXM4 80 GB，以 FP16 Llama-3-8B 为基线，分别扫 batch 4 下的 128—8192 序列长度，以及 prefill 2048 下的 batch 1—64。校准与推理是两组实验，不能把校准时间缩短写成 decode 提升。分区来自固定校准集，默认比例也不是逐层自适应；论文尚未验证这套规则适用于 DiT、FP4 或音视频生成。论文

Attention：少算哪些交互，怎样决定

11 GSRS：稀疏率随去噪增长，搜索范围不必反复铺满

10 月 15 日。 GSRS 观察到视频 DiT 的注意力通常随去噪逐渐集中。它先做 dense warmup，再建立初始候选 block 集合；后续降低 Top-p 阈值，并只在初始集合内重新搜索。曾被某一次搜索丢弃的 block 仍可重新入选，避免候选范围一路不可逆收缩。

Top-p 要依赖准确的归一化概率。实现先在 FlashAttention 过程中保存每个 query 行、每个 key block 的局部 log-sum-exp，等当前行最终 LSE 算出，再恢复 block 权重。这样不需要完整 attention matrix，也不用上一去噪步的旧 LSE 冒充当前归一化常数。

作者以 TileLang 实现搜索步，非搜索步使用 block-sparse CUDA kernel；实验包含 Wan2.1-14B、HunyuanVideo-13B 的 720p、50 步生成，分别有 21/32 个 latent 帧，每帧 3600 tokens。默认前 20% 步数保持 dense。它复用的是搜索结果而非整个网络输出，质量风险来自初始候选漏选与后期稀疏化，不等同于扩散 feature cache。论文

12 Sink-Sparse Hybrid：固定重要区域，再补一条粗粒度全局路径

10 月 16 日。 这项方法先用少量 prompt–seed 轨迹，为每层、每个 head 校准经常承载高 attention mass 的 block mask。推理时不再每步重搜，而是复用该 mask，保留主干交互。

单靠固定 mask 容易漏掉输入相关的弱信号，因此另设 pooled-KV 分支：Q 保持原分辨率，K/V 做非重叠平均池化，以较低成本提供全局补偿。两个分支根据各自 LSE 和池化支持规模做逐行融合，而不是简单平均。这里的 pooled KV 是当前 attention 的近似，不是跨请求 prefix cache。

实验在单张 A800 80 GB 上，覆盖 Wan2.1-1.3B 的 832×480、81 帧、50 步，以及 Z-Image-Turbo 的 2048²、8 步。mask 分模型校准，默认四个 prompts、两个 seeds。更激进的阈值确实省时，但有质量损失；换 backbone、输入分布或罕见构图后，固定 mask 是否还能覆盖关键依赖，需要重新验证。论文

13 Prism Attention：跨层共享候选，不直接照抄最终索引

10 月 16 日。 长上下文 decode 的稀疏索引搜索本身也很贵。Prism 让少数 proposal 层搜索较大的候选池，后面的 refined 层只在池内重评分并取最终 Top-k。层间可以共享大部分搜索工作，又不必假设每层最重要的 token 完全一样。

proposal 层额外维护 INT2 压缩 key，用于候选评分；GQA 内聚合 query heads 后，每个 KV head 的 key 只读一次。这个两位表示服务于索引构建，不意味着最终 attention 的 Q/K/V 全都采用 INT2。

作者在 H800、Qwen3 系列上验证，并使用离线校准确定 proposal/refined 分层。在较短上下文中，局部精炼仍会比直接复用索引更慢；长上下文才更容易摊薄这笔开销。论文分别报告 kernel 与完整 decode step，二者不能互换；其核心价值是用有限精炼成本换回跨层索引复用丢失的准确性。论文

14 DASA：动态区域多算，静态区域也要定期刷新

10 月 19 日。 DASA 同时处理 AR 视频的历史 KV 和当前 chunk。历史侧比较相邻帧特征，只保留变化明显的 token，并完整保存最近一帧作为锚点；当前侧先预测一次 clean latent，再在上一 chunk 的局部窗口内找相似位置，对冗余区域提前退出。

单纯丢弃静态 token 会让背景长期停留在旧状态，连缓慢光照变化也跟不上。论文为每个空间位置维护年龄计数，超过阈值就强制写入。它还发现，把复用机制直接放进训练容易鼓励模型少运动，于是用真实视频的动态区域给 DMD loss 加权，抑制这种“静态捷径”。

因此要把两层贡献分开：推理端的相似性筛选可以独立讨论，完整方案包含轻量蒸馏适配。局部匹配窗口、刷新周期与运动分布都会影响效果；高速镜头运动或新显露区域不能照搬静态背景的预算。论文

15 Velox：世界模型用空间对应关系筛选历史 KV

10 月 15 日。 Velox 面向带相机控制的 world model。它把历史 token block 表示为带深度区间的视锥片段，再把近期深度投影到当前视角，估计当前区域与哪些历史 block 真正重叠。

几何信息不会直接覆盖模型的 attention 排名。覆盖可靠时，几何重叠只对各层原有 pooled QK 分数做软调制；天空、新显露表面或深度空洞等缺乏可靠几何的区域，退回模型自己的重要性评分。最近 chunk 和局部邻域另外保留，避免长程筛选破坏相邻帧连续性。

它限制的是每个 query 访问的历史块数，而不是把全部历史内存固定下来。block 顺序与稀疏 kernel 对齐，才能把少选块真正转化为少读 KV、少做矩阵乘。作者在 LingBot-Fast-Cam 上验证；深度构建虽然可与去噪重叠，仍是额外系统组件，不能把 attention 阶段收益直接当成整个视频服务的收益。论文

扩散缓存：刷新、预测与误差修正

16 RECAP：稀疏 attention 和缓存需要共同维护误差

10 月 19 日。 把 sparse attention 与 TeaCache 一类方法直接叠加，缓存源本身已经带有稀疏误差。RECAP 为此设置两级状态：attention 内部保存 dense 刷新得到的尾部修正，网络输出层面再保存可供后续步外推的预测。

一次 sparse 执行会更新被忽略区域的粗粒度统计，加上尚可信的 dense 残差；统计漂移越大，旧修正权重越低。修正后的网络输出又成为下一次跨步预测的锚点。在线误差反馈决定何时只复用预测、何时执行 sparse、何时必须 dense 刷新；dense 刷新还会重选分区，使修正与被省略的 key 集合保持一致。

实验覆盖 CogVideoX-1.5、HunyuanVideo、Wan2.1，dense 路径用 FlashAttention-2，稀疏计算和尾部估计分别由 block-sparse 与 Triton kernel 承担。它不是两个加速比相乘，而是在相同延迟下比较修正后的质量。实现也需要保存逐层修正与预测历史；低显存部署应连同这些状态一起核算。论文 · 作者项目

17 SoftCache：缓存还能用多久，决定下一步走多远

10 月 15 日。 常见动态缓存把“陈旧程度”当成开关：阈值内复用，超过阈值刷新。SoftCache 进一步使用距离阈值的余量：余量大时，缓存步跨过多个原定时间节点；临近刷新时，步长缩回原计划。

跳跃后的时间可能不在原采样网格上，因此它用最近两个真实 residual 做时间插值式外推，并重新安排剩余节点。早期轨迹和探针变化过大时禁止跳跃。相较只缓存一个 residual，多保存一个锚点是额外显存成本；阈值与跳步上限仍控制速度和保真度。

评测使用 BF16、50 步 Euler、PyTorch SDPA、未 compile：FLUX.1-dev 与 HunyuanVideo 在 H100 NVL，Wan2.1-1.3B 在 RTX A5000。视频设置分别为 640×480/65 帧与 832×480/81 帧。尤其要注意，计时围绕去噪循环，不能将摘要中的速度区间当作包含文本编码、VAE 和文件输出的端到端收益；Wan 的实验还把默认 UniPC 换成了 Euler。论文

18 PoSTCache：拿到新锚点后，回头修正已经走过的近似轨迹

10 月 19 日。 预测式缓存通常只向前看：跳过的网络输出一旦进入 solver，误差就留在 latent 中。PoSTCache 在下一次完整网络执行时，把真实输出与原预测的差作为新证据，按区间位置向此前跳步传播修正。

随后从上一个锚点重新积分修正后的预测，只重做便宜的 solver 运算，不逐步重跑大模型。刷新位置也不只看局部变化量，而是用离线完整轨迹估计跨时间协方差，选择更能降低整段不确定性的锚点。主实验用十条校准轨迹，覆盖 FLUX、Qwen-Image-2512 和多种视频模型，硬件为 H200。

这不是严格回滚到“每一步都执行模型”的轨迹：新锚点的预测是在修正前的 latent 上算出的，重新积分后沿用它仍有近似。论文专门检查这一一致性问题。相比直接复用，方案多了轨迹状态和校准流程，适合把质量—预算曲线一起评估，而不是只比较剩余 NFE。论文

19 SpecKCast：不同频段用不同的时间尺度预测

10 月 19 日。 SpecKCast 预测的是交给 sampler 的最终 velocity，而非每层中间 feature。它先对输出做逐通道二维 DCT，把系数划成频带；每个系数追踪数值与变化率，同一频带共享协方差和噪声统计。

时间坐标来自 noise schedule 的 log-SNR，并按频带重映射。低频结构与高频细节最活跃的阶段不同，单用“隔了几步”难以准确描述变化。跳步时 Kalman 状态外推，真实执行时更新；累计不确定性超过阈值就触发一次网络计算。

论文在 H100 上评测 FLUX.1-dev、Qwen-Image、Wan2.1-14B 与 HunyuanVideo，以 50 步为参考，同时比较同 NFE 的直接减步。输出级状态通常比逐层 feature 历史轻，但频域变换、校准和阈值仍有代价。预测的是近似轨迹，不是精确缓存命中；高频纹理、文字和动态细节仍应单独检查。论文

KV 与 prefix cache：容量、构建峰值和命中成本

20 TideKV：最后的 KV 很小，不代表 prefill 峰值也小

10 月 17 日。 TideKV 解决压缩缓存“建得出来”的问题。普通 chunked prefill 是每个 chunk 跑完所有层，它改成一层处理完整 prompt，再压缩这一层 KV，然后进入下一层。任意时刻只有当前层保留完整 KV；已完成层只留压缩结果。

层间通过完整 prompt 的 hidden-state bridge 传递结果。选择 token 时又用两遍分块扫描，先算归一化量，再评分并维护 Top-k，避免显式生成 observation queries 对整个上下文的大分数张量。延后淘汰保留了当前层完整因果历史，不让早删 KV 影响后面 prompt 的表示。

作者测试 BF16 的 Llama-3.1-8B、Mistral-7B，设备包括 A100 40 GB、RTX 4090 和 Jetson Orin，主配置使用 FlashAttention-2。它以额外遍历、压缩和同步换峰值显存；hidden bridge 与当前层完整 KV 仍随长度线性增长。decode 用压缩缓存，因此“prefill 路径保真”不等于最终回答与完整 KV 完全一致。论文

21 When KV Cache Is Slower Than GPU：远端命中为什么还会更慢

10 月 15 日。 这篇系统研究在 GLM-5.3 FP8、B300 节点的 context-parallel prefill 上分析远端 KV。理想情况下，加载是否划算取决于每 token 的 KV 字节数、prefill 速率与有效带宽；实际还要加调度、lookup、元数据交换和剩余尾部计算的固定成本。

优化把 MLA KV 的存储责任分摊到 PCP ranks，避免 rank 0 独自承担整段 D2H；远端 Valkey 也按 rank 分片，并修正异步完成、缺失键返回和 key 一致性问题。单纯把加载改异步并不能修复过载：超时后回退重算可能掩盖低命中效率。

一个值得保留的负结果是，即使远端带宽显著提升，约 16K prompt 的中位延迟仍可能不如直接重算，因为固定成本已接近重算时间。论文还把缓存改造和另一个 SwiGLU kernel 优化分开消融。部署决策应比较 TTFT、尾延迟和 GPU 容量，而不是只看命中率。论文

22 KVCompass：把请求送到有缓存的地方，也要看队列和距离

10 月 16 日。 KVCompass 管的是缓存发现与请求转发，不替 worker 决定具体淘汰策略。worker 报告缓存进入、迁移与失效事件；维护端更新多级索引，边缘 lookup 节点据此寻找可复用前缀。

路由同时估计剩余 prefill、worker 负载和跨地域网络成本。只按 prefix hash 固定分配，虽然可能命中更多 token，却容易把热门前缀挤到少数节点。索引更新与查询状态的时效性因此和查找速度一样重要，失效事件不能只在本地完成。

实机部分是三个地区、最多 14 张 RTX 5090，运行 BF16 Llama-3.1-8B；更大规模的 64 workers 结果属于模拟，不能当成同规模实测。论文中命中最多的策略并非吞吐最高的策略，收益主要来自复用与负载之间的联合选择。论文 · 作者项目

23 DropKV：按删除后的输出扰动评分，融合实现只负责 prefill

10 月 15 日。 一个 token 的 attention 权重不高，也可能因 value 方向特殊而不能删除。DropKV 估计单独删除每个 token 后的输出变化，再跨最近的 query 窗口聚合，优先淘汰影响小的位置。把联合删除问题拆开会忽略相互作用；其近似保证依赖小权重与 residual 方向的 cone 条件，而不是无条件最优。

实现先取得当前 attention 输出与逐行 LSE；前向采用 split-K 时，先合并各分片的 online-softmax 状态，再进入评分。评分 kernel 流式读取 K/V tile，重算概率并累计 value residual 分数，省掉 query-window×全缓存的 attention 张量，以及更大的 value-distance 中间量。实验覆盖 Llama-3.1-8B、Mistral-7B-512K 与 Qwen2.5-7B-1M，使用 A100 80 GB；BF16 融合路径的独立 scoring 比较采用 128K、batch 1、八个观察 query、5% cache budget。

这里要分开三种收益：Triton 减少 prefill 评分和临时显存；永久淘汰 KV 减少之后的读取；更大的可容纳 batch 又提高总吞吐。作者尚未提供相同意义的 decode-time Triton kernel。其 standalone 版本需要把 query states 接入缓存，并应用针对固定 Transformers revision 的补丁。已公开的 kvpress DropKVPress 则是便于阅读的 PyTorch 实现，文档明确不复现论文的 scoring-kernel 加速，默认窗口也与论文实验不同；不能看到框架里有同名类就认定融合实现已部署。论文 · 作者项目 · kvpress 实现

蒸馏与长视频：把训练目标对齐真正的执行方式

24 TriTD：四步生成之后，省掉额外的 clean-KV 前向

10 月 19 日。 AR 视频模型的“四步”常常只数去噪，chunk 完成后还要再跑一次干净输入来刷新 KV。TriTD 从训练入手，让模型适应带噪历史，从而在推理时复用已有 KV，去掉这次额外前向。

方法包含三部分：轨迹初始化改为学习教师的下一个节点，并采用 L1 监督；不同 chunk 按顺序分级采样噪声，首 chunk 保持干净起点；DMD 阶段把残差拆成更新方向的平行与正交分量，分别约束，减少未受监督方向的漂移。推理省掉刷新依赖这种训练适配，不宜直接套给现有四步 checkpoint。

基座是 Wan2.1-1.3B，主测试为 832×480、五秒视频、每 chunk 四步，硬件为单张 H100。作者分别报告 compile 与非 compile 路径，并明确 FPS 只计 diffusion backbone、排除 VAE。它改善的是质量与执行成本的联合折中，不是把 clean KV 当成对所有 AR 模型都可删除的冗余。论文

25 TamedFlow：学生先跑，失败时回退一段让教师接手

10 月 19 日首稿，20 日更新 v2。 压缩学生模型在教师状态上单步拟合得好，不代表连续跑几个自己的预测也可靠。TamedFlow 在特征对齐之外加入短 rollout 监督，并训练一个轻量轨迹估计器，读取学生已有 hidden tokens 判断整段 draft 是否可接受。

接受时跳过教师，拒绝时恢复到 draft 前的状态，由教师前进一步。这里没有语言模型 speculative sampling 那样的分布无损保证；估计器分数是经验性的误差路由信号。被拒绝的学生计算、回滚、教师救援和共驻留显存，都必须计入账本。

论文以 DiT-XL/2 到 DiT-B/2 为主，并扩展到更高分辨率、文本条件和 Latte 视频。其受控显存 profile 是 A800、batch 2、FP32、50 步 latent-only，排除 VAE；教师与学生共驻留增加了显存。本文按本周首次提交纳入，机制核读以 v1 为基础，日期记录保留 v2，不把版本更新另算一项新成果。论文

26 FocusOPD：把特征监督放到深层和早期去噪

10 月 15 日。 多教师 on-policy distillation 可以把构图、文字与偏好能力融合进学生，但只对齐最终输出，内部表征仍可能偏离。FocusOPD 发现这种偏差集中在深层 Transformer 和高噪声的早期去噪阶段。

训练时由学生生成轨迹，教师与学生读取相同的 detached 状态；原来的输出级 OPD 目标保持不变，只在选中的层—时间窗口加入逐 token 特征方向对齐。教师查询能与原监督共享时就复用，不为全网络、全时间步一律增加特征损失。

实验覆盖 SD3.5-M 与 Z-Image 的 512²、十步轨迹，训练 LoRA，推理不新增网络组件。结论主要是选择性监督比全位置对齐更有效，不是一个免训练加速开关；窗口选择与具体 backbone 的偏差分布相关。论文

27 Speculative Forcing：不是每个视频 token 都要跑满四步

10 月 15 日。 Speculative Forcing 在 chunk 内给 token 分配不同的去噪深度。中间 clean estimate 被判断已收敛后，就固定为输出并退出后续网络计算；它的 K/V 仍作为其他活跃 token 的上下文。

验证器有两条路径：免训练版本比较与已有干净内容的相似度、以及相邻步的稳定性；学习版本用冻结 backbone 的特征预测离完整四步结果还有多远。空间和时间平滑避免零散提前退出破坏连贯性。chunk 结束后，基座原有的 clean pass 仍执行，不能把平均去噪深度误记成总 NFE。

实验涉及 LongLive 和 LingBot-World 2.0 的四步模型，短视频、长视频与带相机移动的 world generation 分开评估。运动越复杂，越多 token 需要继续计算；阈值越宽松，越需要检查主体稳定性、动态程度与相机跟随，而不只看平均 FPS。论文

28 Clean Forcing：用小型 LoRA 修正历史误差造成的漂移

10 月 19 日。 Clean Forcing 固定当前噪声状态，只更换干净历史与已经漂移的历史，测量两次 velocity 的差，把这部分反事实差异交给 LoRA 学习。之后再用修正器自己的 rollout 扩充训练状态，并加入约束下一 chunk 漂移的闭环损失。

主基座为 Wan2.1-1.3B，修正器在 self-attention 的 Q/K/V/O 投影上加入 rank-16 LoRA，共 5.9M 参数。干净历史既可来自真实视频，也可来自基座的短片生成；“没有真实视频”不代表完全没有训练数据。完整训练流程在单张 GB300 上采用 BF16，LoRA 保留 FP32，并需要至少 48 GB 显存。

评估是 832×480、20 步、16 fps 的 50 秒生成。修正强度固定时 LoRA 可合并，动态强度调度或未融合实现则另有开销。作者还保留动态程度、闪烁与运动平滑等指标：降低漂移不能靠把画面冻结来实现，单个质量分数不足以说明长视频可靠性。论文

29 Fréchet Forcing：用短片统计约束长 rollout，不再依赖长视频教师

10 月 19 日。 这项工作直接训练已部署的 streaming sampler，结合三类约束：保留动作条件的生成锚定、逐场景的上下文统计一致性，以及与真实画面的感知分布匹配。后两者不要求一段长 rollout 对应一条同样长的真实未来。

训练只对 rollout 尾部保留梯度，前面的 chunk 作为 detached 历史。场景统计按各自参考片段居中，避免所有样本趋向同一个“平均场景”；感知参考则来自真实 latent 经相同 VAE 解码后的画面，避免把 VAE 重构差异错误归给生成器。

实验基座 MiniWorld-1B 使用 Wan2.2 VAE latent，输出 240×320，八步 staircase sampler、滚动 KV 窗口和首帧 attention sink；训练和测试覆盖机器人操作与相机导航。长达数千帧的稳定性是在这些设置下观察到的，不代表高分辨率电影生成已得到同等验证。它解决训练分布与长时执行之间的落差，和推理侧 KV 压缩是互补关系。论文

本周串起来看

稀疏化、量化和缓存越来越难分开评价。一个可部署的优化至少要回答三件事：省掉的计算是否真的从执行路径消失，保留下来的状态何时失效，以及误差由谁来纠正。本周 PACT 对前后向布局的分别处理、RECAP 的两级修正、TriTD 对 clean-KV 刷新的训练适配，都比单独一个最高加速比更有参考价值。

对应的实装进展见开源周报：其中 H3、LTX 和 Qwen-Image 的更新还提示了另一个现实问题——DiT、VAE、文本编码器与 attention backend 经常采用不同精度，“这个模型支持 FP8”远不足以描述一套运行配置。