本期收录 2026/10/7—10/13（UTC）首次提交的 25 篇论文。框架适配、权重接入与正式版本见本期开源一周。
MoE 这周的几篇工作有一个共同起点：专家计算本身越来越快，token 和权重怎么搬，开始左右整层的时间。Expert Coupling 利用专家共现关系减少通信，CoMoE 重新设计消费卡的主存中转路径，Zepp 则把 GPU 与网卡一起纳入负载分配。
视频侧也有几条不同的路线。HSVDQuant 改进低秩补偿与四比特量化，PTD 学习少步去噪轨迹，Memory Forcing 保留长视频的中期记忆。它们分别改变数值表示、求值次数和历史状态，叠加使用时需要重新评估质量与显存。
MoE 的通信布局与权重读取
1 Expert Coupling 把经常共同命中的专家放在一起
10 月 7 日。 一个 token 同时命中两个位于同一张 GPU 的专家时，输入只需要发到这张卡一次；按 token—expert 对逐条发送，会重复传输相同的向量。Expert Coupling 从训练中的路由记录出发，把经常共同被选中的专家放在一起，再让 dispatcher 对目的 GPU 去重。
它还利用相邻层的路由相关性。当前层的专家选择，可以帮助预测下一层的 token 去向。启用相应 sequence parallel 布局时，系统在 Attention 后已有的 reduce-scatter 中调整 token 所属 GPU，让下一层更多专家计算发生在本地。专家参数和 router 的选择保持原样，改变的是放置与数据搬运。
作者在每节点 8 张 MI300X 的集群上，用 Megatron-LM 测试 EP8 至 EP64、top-2 与 top-6。论文分别报告通信行数、All-to-All 时间和完整训练 step，三者不能互换。实验主要覆盖一个 12 层模型及 2.1B token 训练；大模型家族、其他并行组合和在线推理仍需额外验证。工程上还要计入路由统计、放置更新以及 token 容量约束。
来源：Expert Coupling。
2 CoMoE 让 RTX 5090 的主存中转少做重复搬运
10 月 7 日首投，10 月 9 日更新至 v2；这里展开 v1 的方法与实验。 CoMoE 面向没有 GPU P2P 通路的消费卡部署。它把主存作为共享中转区：源 GPU 写入 token 后，多个目的 GPU 读取同一份数据；combine 阶段按 token 就绪情况推进，缩小整批同步造成的等待。
“经主存中转”容易让人误以为 CPU 在执行 memcpy。实际实现用 cudaHostRegister 固定并映射缓冲区，由 GPU kernel 经 PCIe 直接读写，CPU 不参与数据面的路由和拷贝。这条路径会消耗 SM、PCIe 带宽和 pinned host memory，拓扑与 NUMA 放置也会影响效果。
测试机为 8 张 RTX 5090，模型包括 Qwen3-30B-A3B、GPT-OSS-20B、DeepSeek-V2-Lite 和 GLM-4.7-Flash，均以 BF16 运行，服务负载来自 ShareGPT。作者报告相对 SGLang 基线最高 1.46 倍输出吞吐。以 Qwen3-30B-A3B、每卡最多 16,384 token 的配置为例，中转缓冲共占约 4 GiB 主存。这个结果说明主存路径仍有优化空间，不能据此把消费卡互联视为 NVLink 的等价替代。
来源：CoMoE。
3 Zepp 同时考虑专家副本和网卡瓶颈
10 月 8 日首投，10 月 9 日更新至 v2；以下依据 v1。 将每张卡的 token 数分得一样，并不一定让 MoE 层最快。有的 GPU 计算更忙，有的网卡负责更多跨节点流量，单纯追求专家负载均匀，可能把拥塞转移到网络。
Zepp 以这一差别为出发点，联合安排专家副本、token 流向与执行时序。热点专家可以复制，通信流可以拆分或合并，计算分块后与传输重叠；下一轮再根据观察到的负载调整。副本带来额外权重存储与交换成本，优化目标需要把这些代价算进去。
论文使用 Kimi-K2-Thinking、Qwen3-235B-A22B 的 BF16 路由工作负载，主要测试每节点 4 张 A100 40GB 的集群，另有不同显存与 H100 配置。报告的几何平均 1.86 倍收益，是完整 MoE 层相对各测试中最快基线的结果，覆盖通信与专家计算。部署前值得先看自己的 GPU 与 NIC 谁先饱和，再判断复制专家是否划算。
来源：Zepp。
4 DuoRate 把存下来的比特数与实际读取的比特数分开
10 月 9 日。 MoE 常驻显存需要容纳很多专家，而一次 decode 只读取其中少量专家。DuoRate 区分这两种预算：存储码率决定模型能否放下，按路由加权的读取码率决定解码时要搬多少权重。
它将专家权重编码成可按前缀读取的分层数据。同一份权重可以读取不同宽度；离线阶段准备量化层级与失真估计，在线阶段用当前工作负载的 prefill 信息分配读取层级。于是，prefill 和 decode 可以共用一个权重制品，同时采用不同的读取策略。
实验对象是 Qwen3-30B-A3B-Base，只量化专家矩阵，Attention、router、embedding 与 normalization 保持 BF16。质量评估采用序列长度 2,048、batch 1；文中约 2.9 bpw 指每个激活权重的读取预算，存储层级仍约为 4.27 bpw。把前一个数字写成“整个模型只占 2.9 bit”会误读论文。
目前证据主要是码率与质量的权衡。真实吞吐还取决于分层读取、解码和 GEMM kernel 能否配合，论文也没有把代码承诺等同于已可用的生产实现。
来源：DuoRate。
5 SLBF 用更多共享低秩基表示专家权重
10 月 7 日。 SLBF 保留专家身份和原有路由，用共享基重建各专家矩阵。相较于删掉专家或合并专家，它把压缩问题留在权重表示层，减少对路由结构的直接干预。
做法是将每个共享基进一步分解成两个低秩因子。在固定参数预算下，这样可以容纳更多基，再通过每个专家自己的混合系数与适配矩阵重建权重。离线拟合只依赖原权重，不需要校准样本；后处理利用双线性分解中的冗余，去掉不影响乘积的参数。
作者在 16B 至 122B 的五种 MoE 架构上比较压缩质量。共享并没有消除重建误差，分解形态也需要执行后端配合。它与 DuoRate 的分层读取解决不同问题：SLBF 重新组织参数，DuoRate 区分驻留与读取码率。二者是否能叠加，要检查额外重建和访存成本。
来源：SLBF。
稀疏 Attention 怎样变成有效的硬件执行
6 QUILT 让相邻 query 共享 KV 的加载与反量化
10 月 8 日。 稀疏 Attention 为每个 query 选出少量 KV 后，相邻 query 往往仍会命中大量相同位置。若各自独立执行，同一份 KV 会被反复从 HBM 读取、反量化。
QUILT 先分解这些集合的共有部分，再按 query 组执行。SCSD 算法将不规则集合运算转换成移位、比较等数据并行操作，并与 Attention 计算流水重叠。分层共享处理不同规模的重合；tile-aware 策略则减少低利用率尾块，其中还包含删除低重要性尾部的近似处理，因此需要单独检查质量。
主要实验平台是 16 张 Ascend 910C NPU，单卡 64GB HBM、CANN 9.1.0。模型为 DeepSeek-3.2 与 GLM-5.3，基线和新 kernel 都接入同一 XYServe 服务框架，使用 LongBench 工作负载。这个设计有可迁移到 GPU 的思想，论文中的实测却属于昇腾平台；算子延迟和首 token 延迟也应分别看。
来源：QUILT。
7 PageWeaver 依据 KV page 的交集重新组织 query
10 月 8 日。 PageWeaver 同样利用 KV 复用，但保留每个 query 原有的稀疏选择。GPU 在有限搜索范围内找出访问页面相近的 query，生成 ID 分组，再由识别这些 ID 的两 CTA kernel 执行。它避免先搬出一份重排后的 Q，也避免产生大量跨页 partial output 后再归约。
这里有三笔账：基础 kernel、在线分组的额外成本、接入完整模型后的收益。作者在 H200 上，以 MiniMax-M3、FP8 KV 的六组捕获工作负载比较 Union8 与 FlashInfer 路径，完整调用的几何平均加速为 1.70 倍。整模型 prefill 吞吐相对原生路径提高 7.88% 至 14.36%，其中在线重新分组的增量远小于这个总数。
论文同时报告 8K 上的回退，以及 B300 上准备成本和更强原生 kernel 消除优势的情况。它提供的是一个有条件的执行方案：query 共享足够多页面时，分组才可能覆盖自己的成本。服务压测要包含准备阶段、短请求与原生后端版本。
来源：PageWeaver。
8 CompileMask 把可见性规则编译成执行描述
10 月 9 日。 训练与生成任务的 mask 往往比 causal 或 sliding window 复杂：共享提示词、多段回复、局部图像窗口，都可能依赖运行时批次信息。直接计算任意谓词很灵活，但预处理和 kernel 内判断可能很贵；固定数量的区间表示又容易限制表达能力。
CompileMask 用 MaskSpec 描述可见区域，离线分析规则并生成专用预处理 kernel。运行时只读取当前 batch 的长度、分组等元数据，产出紧凑的 Execution Descriptor；Attention kernel 用预先求出的端点判断可见性，减少重复解释规则的工作。
论文在 Blackwell、BF16 下，覆盖 HSTU、共享提示词 reward model、CLEAR 与 causal mask，序列长度 1K 至 32K，并测试 Qwen3-8B、14B 的训练。单算子统计包含 mask 预处理、forward 与 backward，质量检查也包含 Q/K/V 梯度。基线包括 FlexAttention 的 Triton、FA4 后端和 FlashMask，完整训练 step 另行测量；采用该方案还需适配 DSL、元数据格式和编译工具链。
来源：CompileMask。
9 iCATS 同时调整聚类依据与去噪时刻的稀疏程度
10 月 8 日。 视频 Attention 的 Q、K 各自相近，不代表它们之间的点积关系相近。iCATS 按 query—key 交互来组织聚类，并把相关目标改写为较便宜的二次形式，降低重要性估计成本。
接下来，它按照去噪时刻的信噪比调整稀疏策略，而不是整条轨迹使用一个比例。执行阶段再合并不规则簇的尾部，减少 padding 造成的无效 tile。统计上的稀疏、去噪误差和硬件利用率由此被放进同一套设计。
实验覆盖 HunyuanVideo-T2V-13B、Wan2.1-T2V-14B 与 I2V-14B，主要配置为 8 张 H100、5 秒 720p 视频，对照 SVG、SVG2 及 dense 生成。Base 与 Turbo 是不同的质量速度取舍，不能混用其中最好看的 PSNR 和时间。迁移到蒸馏模型、不同时间步或其他分辨率时，应重新检查稀疏日程与尾部合并开销。
来源：iCATS。
10 RAM-Net 研究量化匹配与线性状态之间的迁移
10 月 8 日。 量化 KV 仍为每个历史 token 保存一份记录；线性 Attention 则把多份历史累积到固定状态中。论文用离散地址上的软分配连接两者：写入时向若干 slot 累积连续值，读取时按地址分配取回状态。
迁移分两段进行。先用低秩和位置对齐，把原模型的 Q/K 匹配转换为软量化的中间 Attention；再启用循环状态更新，逐步微调恢复输出。论文的等价关系有受限构造和局部近似条件，完整 Transformer 转换仍需要训练。
作者在 0.3B 至 7B 的九个模型上，每个使用 500M token 做恢复。报告的 87.1% 按“学生准确率减随机猜测准确率，再除以教师的对应差值”计算，强调恢复了多少有效增益。转换后仍有质量损失，代价还包括迁移训练、slot 容量和多段历史混合后的干扰。
低比特计算与三类缓存问题
11 HSVDQuant 联合优化低秩补偿和四比特残差
10 月 8 日首投，10 月 9 日更新至 v2；以下讨论 v1 的主要方法。 低秩辅助量化把线性层拆成低比特主路径和高精度补偿分支。两部分若分开优化，残差量化与激活误差可能相互影响，最后只能靠更高的 rank 弥补。
HSVDQuant 从输出重建误差出发联合处理它们：消去一个低秩因子后，得到调整过的 Hessian 目标，并显式考虑四比特激活的误差。算法因此能在更新残差量化时同时考虑低秩分支，而不只是对权重做一次独立 SVD。
实验覆盖包括 SANA-1.6B、FLUX.1-schnell、FLUX.1-dev 在内的骨干。论文中 rank 4 与 SVDQuant rank 32 的比较，说明的是补偿分支的表达效率；量化准备耗时与图片生成耗时在文中分别评估。部署收益仍取决于低秩分支如何融合、W4A4 backend 的支持范围，以及文本编码器和 VAE 是否另行压缩。
来源：HSVDQuant。
12 DualQuant 用行列两组缩放联合重建权重
10 月 9 日。 DualQuant 不依赖提示词校准集，而是直接优化权重重建。它同时引入行与列缩放，用交替更新求解；其中一侧缩放还能转换为激活处理的一部分，将权重误差与执行路径连接起来。
论文讨论 MXFP4、NVFP4 等格式，实际部署实验则采用另一条路径：RTX 4090 上运行 Nunchaku 的 group size 64、packed INT4 W4A4 线性层。Llama-3.1-8B 的 embedding、lm_head、normalization，以及 Attention 与 KV cache 保持 BF16。这里“四比特”的准确范围是这些线性层的整数计算。
实现将激活缩放和量化融合，并保持权重打包存储，避免每次先还原整块高精度权重。prefill 与 decode 的矩阵形状不同，论文中的无 KV-cache prefill 测试还会受到 logits 等内存开销影响；选择后端时应分别测吞吐、延迟和峰值显存。
来源：DualQuant。
13 DRQ 在固定量化网格上修正对校准集的过拟合
10 月 8 日。 量化层在校准集上的重建损失更低，下游任务却可能更差。DRQ 关注输入分布改变后，哪些方向会放大量化误差，用受约束的最坏情况损失来修正已有量化结果。
它逐层调整整数编码，保持 bit width、group size、scale、zero point 和推理算子不变。因此额外优化发生在离线准备阶段，部署端仍使用原来的 weight-only kernel；有时校准集损失会略升，以换取分布变化时更稳的输出。
实验覆盖 Llama dense 模型和 Qwen3-30B-A3B，测试 W4A16、W3A16、W2A16，group size 为 128，比较 AWQ、GPTQ 等六类 PTQ 方法。该方法改善的是既定格式下的质量，不会凭空提高 kernel 吞吐；它仍需要校准数据及验证集选择稳健性参数。
来源：DRQ。
14 Dual-QK 分别塑造适合剪枝的 query 与适合量化的 key
10 月 7 日。 为了降低 key 的异常值，常见方法对 Q、K 使用同一个正交旋转。然而旋转也可能把 query 能量摊开，让“只读取少量重要通道”更难实现。
Dual-QK 使用互为逆转置的一对非正交变换：Q 乘 A，K 乘 A 的逆转置，量化和剪枝之前的点积保持不变。算法先部分白化 key，再按 query 主方向排列能量，使 key 更适合 INT2，而 query 更适合动态通道剪枝。低比特缓存还结合特定通道保护与 bucket-relative RoPE。
这项点积恒等式只属于变换本身；进入 INT2 和剪枝后依然存在近似误差。校准统计、位置变换、压缩布局与 SGLang 执行路径需要共同配合。论文将估算 KV 读取量与实测 decode 吞吐分开，实际省下多少时间还受上下文长度、batch 和权重读取影响。
来源：Dual-QK。
15 ReadKV 在写入之后仍允许 query 选择读取精度
10 月 8 日。 KV 写入时还不知道未来的 query。ReadKV 用渐进编码保留多个精度层级，读取时先根据 query 决定 key 各通道读多少 bit，重建 key 并得到 Attention 权重，再据此决定各 value token 的读取深度。两轮读取都使用同一份未被改写的缓存。
例如缓存保留 8 bit、一次 query 平均只读取 4 bit，省下的是本轮传输；常驻容量仍按 8 bit 加元数据计算。这与 DuoRate 的双预算思路相似，但优化对象从专家权重变成了 KV，分配还要依赖本次 Attention 的结果。
作者在六个基础模型和长上下文任务上评估质量，并给出单张 A10G、8K token、batch 1、单层受限 reader 的速度实验。单层 codec 的结果还未覆盖完整服务链路。要真正得到收益，需要分配器、渐进解码和稀疏访存的开销小于节约的带宽，并保留两轮读取之间的依赖。
来源：ReadKV。
16 MORCA 让缓存调度面向最终生成误差
10 月 7 日。 某一步复用特征时的局部误差很小，未必意味着最终视频变化也小。后续去噪会放大或抵消偏差，单个阈值难以描述整条轨迹。
MORCA 将缓存选择作为序列决策：观察 latent 状态，在完整计算与缓存复用之间选择，并通过离线学习让调度器理解后续影响。使用时再按用户预算控制计算量。它缓存的是去噪网络的中间特征，与自回归模型按历史 token 保存 KV 属于不同机制。
作者测试 Wan2.2-T2V-A14B 与 Wan2.1-T2V-1.3B，分别使用 RTX A6000 和 RTX 4090，两者均从 50 步配置评估。Wan2.2 上部分对比缓存方法由作者移植，结果包含这部分适配质量的影响。落地还要承担调度器训练和缓存驻留成本；更换 checkpoint、采样日程或生成任务，应重新验证策略，不能默认沿用原预算下的质量。
来源：MORCA。
17 CacheScope 用输入变化校正缓存风险信号
10 月 8 日。 CacheScope 保持一阶特征重建器不变，主要修改“何时必须刷新”的判断。浅层输出变化大，可能只是因为这一小步的输入变化大；反过来，输入只动了一点、输出却很敏感，才可能意味着复用风险上升。
它用浅层输出变化与输入位移的比值估计沿当前方向的增益，据此安排精确刷新。高风险时回到完整计算，低风险时继续使用已有缓存与重建器。这仍是近似计算，保留缓存占用与连续跳步的累积误差需要一起考虑。
论文在 FLUX.1-dev、Wan2.1-T2V-1.3B、Open-Sora 1.2 上校准阈值，再用独立提示词评估。特别值得看的比较方式是固定重建器与跳步数量，只替换判断信号。这样才能把“调度更准”与“少跳了几步”分开。少步蒸馏模型留给缓存的空间更窄，新的时间步设置也需要重新校准。
来源：CacheScope。
18 CORAL-KV 预测相邻层的 KV 并压缩残差
10 月 7 日。 CORAL-KV 面向流式视频的历史 KV，而不是跨 denoising step 的特征跳算。相邻层的 KV 有可预测关系，直接逐层独立量化，忽略了这部分冗余。
方法用一个紧凑预测器从前一层表示估计下一层：head 内用分块结构描述相关性，head 间再补低秩关系，实际缓存主要编码预测残差。读取时重建 KV，供后续 Attention 使用。预测器可离线拟合，也有针对当前视频重新拟合的配置，二者准备成本不同。
作者在 HY-WorldPlay、MAGI-1 等流式视频模型上比较质量与缓存占用。读这些结果时，需要把残差、预测器参数、重建工作区一起纳入内存核算；质量优势也不自动变成吞吐优势。模型层、位置编码或历史组织方式改变后，原预测关系可能失效，应重新拟合和校验。
来源：CORAL-KV。
19 KV-Repurpose 尝试跨提示词前缀复用文档 KV
10 月 9 日。 常规 prefix cache 要求已有前缀一致。同一篇长文换了系统提示词，或在 RAG 中被放到不同位置，即使文档文本没变，也可能完全无法命中。
KV-Repurpose 将文档作为独立缓存单元，接入 vLLM 的分段加载与调度，让它在不同提示词组合下复用。代价是 KV 本来就依赖上下文：改变文档之前的内容后，旧 KV 与重新计算的结果并不严格相同。这是带质量条件的复用，而非无损 prefix cache 的直接推广。
作者用单张 H200 运行 GPT-OSS-120B，将 KV 放在 NVMe，系统负载中的文档长度为 8K 至 128K token。单文档问答和摘要表现较好，跨文档推理仍有明显限制。缓存命中率、SSD 传输时间和真正省下的 prefill 计算要分别评估；模型、文档内容与位置处理改变时，也需要重新建立可复用边界。
来源：KV-Repurpose。
20 WAM-Cache 同时按动作需求和缓存年龄刷新视觉 KV
10 月 8 日。 世界动作模型每个控制 chunk 都要编码当前观察，视频 DiT 的 prefill 因而很贵。WAM-Cache 跨 chunk 保留视觉 KV，只重算部分 token。选择依据包括视觉 latent 相对上次刷新的变化、动作专家上一块的 cross-attention，以及强制刷新期限。
前两项选择内容，最后一项控制陈旧程度。一个 token 即使长期不进入重要性 top-k，达到年龄上限后也必须重算；已刷新的 query 仍读取全部新旧 KV，保留全局背景。这限制了缓存最长多久不更新，却不等于给误差大小提供严格上界。
测试基于 Fast-WAM，将 Wan2.2-5B 视频 DiT 与 1B 动作专家组合，在单张 RTX PRO 6000 Blackwell 上以 BF16 运行，并覆盖仿真与机械臂任务。文中约 32% 至 42% 的节约是视频 DiT prefill FLOPs，不能替换成机器人完整控制循环的加速比。动作精度、观察切换时的刷新与缓存元数据占用都需要单独验证。
来源：WAM-Cache。
H3 蒸馏与长视频训练
21 PTD 用训练时的曲率监督改善四步视频生成
10 月 8 日。 大步长蒸馏需要学生用很少的网络求值跨过一段弯曲轨迹。PTD 让学生在训练时同时预测平均速度和曲率，用多项式表示这一段路径，再沿学生自己的路径查询教师速度。
关键在于监督位置跟随学生的状态。训练每一段时只进行有限次教师查询，学生端点作为下一段起点；推理时则只保留端点更新所需的平均速度，曲率 head 被丢弃。因此，额外的轨迹表达主要发生在训练阶段，部署骨干拓扑与输出维度保持不变。
论文在 Wan2.1-14B 上对比重训的 PDD，在 33B 音视频模型 MiniMax-H3 上对比公开 LightX2V Turbo v1.1 LoRA，均讨论四步生成。两组基线与训练范式不同，不宜合成一个统一胜率。H3 最后一段采用教师积分端点，训练开销也高于完全使用局部查询的版本。论文给出偏好评估和协议，质量结论来自作者实验，不能据此宣称所有长视频和条件任务都已验证。
来源：PTD。
22 PAC 将因果化适配与少步适配并行组合
10 月 7 日首投，10 月 8 日更新至 v2；以下依据 v1。 给已经蒸馏好的模型继续做因果化训练，可能破坏原先的少步生成能力。PAC 选择冻结 MiniMax-H3 基座与现有蒸馏适配器，单独训练因果适配器，推理时将两个权重增量一起加到原模型上。
这是一种针对适配顺序的设计：少步能力与 chunk-wise 生成能力分别学习，再检查它们能否组合。论文观察到两个增量方向近乎正交，但这属于实验观察，不能把任意两组 LoRA 相加都视为可靠。
设置使用 H3 FL2VA、两个 rank-128 LoRA，蒸馏部分采用公开 LightX2V Turbo；因果适配在 480×832 与 640×640 的 avatar 片段上训练。推理每 chunk 四步，历史窗口为七个 chunk。它针对首帧条件音视频与说话人物场景，迁移到大幅运动、其他蒸馏器或不同条件模式时，需要重新检查长时一致性与声音同步。
来源：Parallel Adapter Composition。
23 Memory Forcing 给中期历史保留专门的 KV 空间
10 月 8 日。 流式视频常用起始 sink 加最近窗口控制显存，但中间发生过的重要事件会被挤出。Memory Forcing 将缓存分为 sink、archive 和 working 三部分，让中期历史也有固定存储位置。
它同时设计 Bank-aware RoPE，在历史进入不同缓存区后调整位置表达，并在训练中让生成器实际使用这种记忆组织。这里保存的是已经生成的历史表示；它可以帮助保持人物和事件关系，却无法无限保存过去的每一帧。
主要设置基于 Wan2.1-T2V-1.3B，另测 Wan2.2-TI2V-5B；默认三个 bank 分别分配 3、6、12 个 latent frame，采用四步生成。长视频评估覆盖 5 至 60 秒、832×480、16fps。增加 archive 会占用缓存预算，如何淘汰历史仍是设计的一部分。它适合与只保留最近窗口的方法在同等缓存容量下比较，而不是仅看最长能生成多少秒。
来源：Memory Forcing。
24 Connected Self Forcing 补回历史影响后续生成的训练梯度
10 月 8 日。 自生成历史让训练更接近推理，但如果历史 KV 被 detach，后续片段的误差就难以告诉模型：前面的生成状态哪里出了问题。反过来，保留所有 chunk 的计算图，又会显著增加训练显存。
Connected Self Forcing 用 shortcut gradient replay 恢复跨历史的梯度路径，避免保存完整长轨迹计算图。它改变的是训练时如何把后续损失传回之前的生成结果，不能与推理时“KV cache 能跨 chunk 读取”混为一谈。
实验主要使用 Wan2.1-1.3B 因果生成器、Wan2.1-14B real-score 模型与 1.3B fake-score 模型做 DMD 后训练，采用四步、七个 chunk 的训练序列。作者控制初始化、提示词、预算与推理配置比较 Self Forcing 等基线，再评估长时视频。实现时需核对 replay 的成本、梯度近似和随机状态一致性；收益来自训练方法，不意味着现有服务打开一个缓存开关即可获得。
25 ForcingBooster 让已经收敛的视频 patch 提前停止去噪
10 月 8 日。 天空、静止背景和新出现的人手，对去噪计算的需求不同。ForcingBooster 在每一步后用轻量 router 判断哪些 patch 可以结束：已停止的位置保留当前 clean latent，并把 KV 留给仍需更新的位置；后续步骤只处理剩余的 active patch。
router 从生成器的隐状态预测停止概率，用完整采样的结果作为训练目标，同时优化误差与计算成本。它并未把所有 patch 统一改成一两步，因此可以给难区域留下更多计算。
主要实验使用 Causal Forcing 1.3B，单张 A800、BF16、batch 1，生成 81 帧、480×832、16fps 视频。论文分别统计 patch 求值减少量与包含文本编码、首块、router、KV 构建和 VAE 的完整生成时间。约一半的 patch 求值被省去，并不代表墙钟时间自动减半；稀疏形状、router 和缓存访问也有开销。移植时还应检查提前固定的背景是否影响后续运动与遮挡。
来源：ForcingBooster。
本周值得放在一起验证的几件事
MoE 的相关放置、专家复制和分层权重读取，都需要真实路由轨迹。训练统计与线上请求的分布不同，用一种流量得到的最优配置，换到另一种流量可能就失效。
视频缓存则至少要分三类测试：去噪步骤间的特征复用、长视频历史 KV 的保留、KV 的低比特或预测残差编码。它们有不同的失效条件，也会互相影响误差。先建立同一 checkpoint、采样日程和输出规格下的高精度基线，再逐项叠加，更容易解释究竟省掉了哪部分时间。
本期代码侧的 H3 稀疏 Attention、LTX 文本编码器逐层卸载，以及 Z-Image TeaCache 校准修复，见开源一周。