本期覆盖 2026/10/7—10/13（UTC），整理 15 项版本与实现进展。论文方法见本期论文一周。
H3 与 LTX 这周的变化，大多发生在推理框架：稀疏 Attention 如何选后端，Ulysses 怎样少占 SM，文本编码器如何逐层搬运，以及生成完成后如何避免多复制一份视频张量。它们通常比一个笼统的“支持某模型”更影响部署体验。
另一个值得关注的变化是缓存修复。Z-Image 的 TeaCache 校准表明，跳步更多可能只是误差估计偏小；Qwen3-TTS 则暴露了 API 层与推理引擎分别淘汰缓存时的一致性问题。质量和可靠性都需要与速度一起检查。
| 项目 | 本期状态 | 阅读边界 |
|---|---|---|
| FlashInfer 0.7.1 | 10 月 9 日正式发布 | 包含前期 RC 的积累，本期关注稳定版接口与新增后端 |
| ComfyUI 0.40.0 | 10 月 13 日正式发布 | 包含 H3 单图解码等修复，API 节点接入不等于开放权重 |
| FlashAttention 2.8.3.post2 | 10 月 13 日维护版 | 重点是反向正确性及打包兼容性 |
| SGLang、vLLM、vLLM-Omni | 下文逐项注明合并日期 | 本期主分支进展，不统一称作新的稳定版 |
| Diffusers | 10 月 9 日与 13 日合并适配 | LoKr 与 SANA-WM 需核对所用安装版本是否包含对应提交 |
MoE 与 Attention 执行后端
1 FlashInfer 0.7.1 将量化 MoE 与线性 Attention 的新路径纳入正式版
10 月 9 日，正式版，提交 0b46115。 这一版的 MoE 更新涉及不同硬件，不能只用“支持 FP4”概括。SM107 增加 NVFP4、MXFP8 的 MegaMoE 路径，combine 与输出为 BF16；SM120/121 的 W4A16 fused MoE 则增加 expert_map，让专家可以跨多张工作站 GPU 分片。
SM12x 上另一项实用变化是统一预处理后的专家权重布局。W4A16 decode 和 W4A4 prefill 可以读取同一份权重，服务框架据工作负载选路径，减少为不同 kernel 保存重复权重的需求。发布说明中 DGX Spark 上 1.36 倍的对比，针对 Qwen3.8-Flash-Next 的单 token MoE 层、基线为 Marlin，范围并非整模型输出吞吐。
Kimi K3 的 packed_fused_kda_decode 把短卷积、Kimi Delta Attention 与 gated RMSNorm 融合到推测验证路径，处理 ragged batch 和已接受 token 的状态更新，支持 FP32 或 BF16 recurrent state。cuDNN 线性 Attention prefill 则需要显式选择 backend="cudnn"；依赖项包括带 cutedsl extra 的新版 cuDNN frontend，不能仅升级 FlashInfer 包就假定该路径已启用。
缓存侧，DeepSeek-V4.1 的双缓存可分别使用自己的 page size 与 top-k；主缓存为 FP8，附加缓存可为 FP4 或 FP8。GLM53-NoPE 将 KV 行从 656 字节缩到 528 字节，19.5% 指每 token 的这部分存储，不能外推成整卡显存下降同样比例。MLA 的 plan() 与 run() 生命周期也得到统一，接入方需要检查后端约束，尤其是只支持单 query token 的 XQA 路径。
2 vLLM 的 AITER MegaMoE V2 合并通信与专家计算
10 月 7 日合并 PR 59685。 这条 AMD 路径将 dispatch、MXFP4 GEMM1、SwiGLU、GEMM2 与 combine 串成更紧凑的执行流程，将 routed-expert 路径压到四个 kernel，减少原先分散的调用与复制。
适用范围写得很具体：gfx950、DP 加 EP、TP1、PP1，通信依赖 MoRI；目前不支持 EPLB。用户需要明确指定 --moe-backend aiter_mega_moe，并为 MoRI 配置足够大的共享堆。融合减少了中间工作，却不会消除专家权重、通信缓冲和共享堆的显存需求。
PR 的 DeepSeek-V4-Pro 对比使用随机 1,024 输入和 1,024 输出 token、256 条请求，并分别列出并发和推测解码配置。部署时应按自己的 decode 批量与网络拓扑复测。这里的“MegaMoE”是一条有硬件与并行限制的后端，不是所有 MoE 模型默认换成一个通用 megakernel。
来源：vLLM PR 59685。
3 vLLM 将 MXFP4 激活路径纳入后端选择
10 月 8 日合并 PR 60079。 新变化主要在量化后端选择器：读取 checkpoint 的激活量化配置，寻找匹配的 CUTLASS MXFP4 W4A4 路径；找不到合适组合时保留 W4A16 fallback 并提示。
这不会把一个 BF16 checkpoint 自动变成 MXFP4。权重格式、激活格式、尺寸 padding 与布局转换都要匹配，128 对齐等要求也需要由实现处理。PR 的验证重点是 B300 上的选择逻辑与 kernel 组合，尚不能当作完整模型质量和吞吐评估。
对集成方而言，本次最有价值的是选择过程更明确。升级后应检查日志里实际采用的 backend，并分别验证 prefill 和 decode，避免把“配置被识别”误当成“整条低比特路径已经生效”。
来源：vLLM PR 60079。
4 H3 的流水 Ulysses 减少 SM 搬运并接入 cuDNN
SGLang 10 月 10 日合并 PR 43361、43373。 Ulysses 的 All-to-All 前后还有重排和复制，这些步骤如果也依靠 SM，可能与 Attention 抢资源。新实现用 copy engine 的二维复制处理部分搬运，让 Q/K normalization 直接写入发送槽，减少中间拷贝。
后续 PR 将 H3 的 head-group 流水路径接到 Blackwell 的 cuDNN SDPA；Hopper 保留相应 FlashAttention 路径。通信分组与计算交错推进，通过 SGLANG_DIFFUSION_ULYSSES_PIPELINE_GROUPS 控制；值为 0 可退回顺序路径，PR 所述默认候选为 7 组。组数更多不必然更快，还会改变同步和缓冲开销。
项目报告了 cuDNN 分组结果与部分 MP4 的逐字节一致性，端到端时间则包含单次运行与小规模交替测量，不能把小于百分之一的差异当稳定收益。这是 H3 dense Attention 的执行优化，与 FastH3 的 VSA 稀疏路径不同，也没有新增 DiT、VAE 或文本编码器量化。
来源：复制与缓冲重构 PR 43361、cuDNN 流水路径 PR 43373。
H3 的社区模型与显存管理
5 SGLang 接入 FastH3 八步 V2 并移植原生稀疏内核
10 月 8 日合并 PR 37662。 这里是 SGLang 对 FastVideo 社区 FastH3 8-Step V2 的集成，不是 MiniMax 官方发布了一套新基础权重。
实现对齐八步模型的 sigma 序列和音视频 shift，只应用一次时间变换；Attention 使用 H3 VSA，并移植 Blackwell 原生路径。通过无排序的 KV tile 索引和持久 INT8 mask 保存原有稀疏支持集合，减少调度准备工作。这里的 INT8 指 mask 的存储类型，不能据此称为 INT8 模型。
该 PR 的使用配置显式指定 --component-attention-backends transformer=video_sparse_attn_h3，稀疏率设置也与基础 H3 不同。作者测试使用 4 张 GB300、BF16、eager、Ulysses4，覆盖 1344×768、24fps、5 至 15 秒视频以及不同文本长度。它不是单张 32GB 显卡的运行配方，测试也没有加载 NVFP4 权重。
VAE 的空间 tile 批处理会改变 GEMM 形状及浮点舍入，作者没有宣称视频输出逐字节相同。PR 内完整流水耗时还叠加了其他文本编码优化，因此本期不把那些总时间全部记在这一个合并项上。文本编码器与 VAE 的精度也应独立查配置，不能从 DiT 的 BF16 测试标签推断全部组件。
来源：FastH3 8-Step V2 接入 PR 37662。
6 vLLM-Omni 为 H3 增加稀疏后端和 AdaLN 卸载
PR 7989 于 10 月 8 日合并，PR 8104 于 10 月 9 日合并。 H3 的 block-sparse Attention 增加 FlashInfer BF16 与 Sage 路径。自动选择会检查设备、输入类型与已安装 kernel；Sage 属于显式开启的近似路径，不能与 BF16 的等价性验证混用。
另一个变化是 AdaLN 权重卸载。特定 SM120、未量化 BF16 配置默认开启这项优化，其他配置有单独开关与兼容性限制；量化模型、整 DiT offload 和 HSDP 不能直接套用相同规则。权重移到主存后，热请求可以复用相关计算，冷请求或新的 timestep schedule 会重新搬运。因此，显存减少需要连同 pinned memory、主存占用和首请求时间一起看。
PR 附带的前期测试使用 8 张 SM120 设备，并非 8 张 32GB RTX 5090。在 1344×768、24fps、15 秒、TP2/SP4 的四步 FastH3 配置下，AdaLN 卸载将每卡 GPU 占用从约 59,497 MiB 降至 46,989 MiB，进程主存 PSS 却从约 33,022 MiB 增至 136,190 MiB。暖请求时间基本持平。数据来自 9 月的资格测试，本期新增事实是相关实现于 10 月合并，后续树的所有改动并未重跑同一基准。
PR 8104 又提供可选的 encoder—DiT—VAE decoder 三阶段部署，DiT 进程可以不加载 VAE 权重，阶段间传递 CPU 上的音视频 latent 与解码参数。它给组件放置留下更多空间，同时增加传输和调度环节。两阶段路径仍保留；本次三阶段验证主要证明功能与输出一致性，没有给出可泛化的加速结论。DiT 的 BF16 或 Sage 设置均不自动改变 VAE 与文本编码器精度。
来源：后端与 AdaLN 卸载 PR 7989、三阶段 H3 部署 PR 8104。
7 OpenVDN H3 的线性与窗口混合 Attention 接入 Omni
10 月 8 日合并 PR 8439。 OpenVDN 是社区 H3 衍生实现，本次更新是 vLLM-Omni 的框架适配。其 Attention 将局部窗口 FlashAttention 与 VideoDeltaNet 线性分支组合，再由学习到的 gate 混合；文本和音频条件保持对应的全局访问方式。
接入路径使用八步 DMD checkpoint，包含 LoRA 加载融合、VDNH3_ATTN backend，以及 T2VA、FL2VA 的支持约束。窗口大小、首尾锚点和八步 Euler 配置属于模型配方，随意替换可能改变质量。
PR 在 H200 上测试 1344×768、345 帧、八步生成，并比较 BF16 与可选 FP8 线性层。--quantization fp8 不代表 VAE、文本编码器或所有 Attention 张量都进入 FP8。编译后稳态还应与首次遇到新形状的编译时间分开；已有相对误差和视觉检查，尚不是覆盖所有音视频任务的质量基准。
LTX 的组件卸载与完整输出路径
8 LTX-2.5 的 Gemma 文本编码器可以逐层卸载
SGLang 10 月 12 日合并 PR 43683。 LTX-2.5 的 Gemma4 文本编码器以 BF16 存储时约占 23.9GB，整体搬上 GPU 会挤压 DiT 的空间。新适配器将层列表交给逐层卸载管理器，embedding 留在主存完成查表和缩放，只将当前需要的层送入 GPU。
部署配置需要开启 --dit-layerwise-offload true，并指定 --layerwise-offload-components dit text_encoder。模型 forward 保持原生逻辑，VAE 和 connectors 仍按各自配置驻留；报告使用 convolutional VAE，本次不改它们的精度，显存节约来自搬运策略。
在单张 RTX 5090 32GB、960×544、121 帧、八步的测试中，作者比较一次预热后的三次请求中位数：原组件级配置为 17.0 秒、31.2GB 峰值，新配置为 15.2 秒、17.1GB。单卡结果报告 MP4 逐字节相同。
双卡配置的主存代价约为每 rank 55GB pinned memory，其中 DiT 约 35GB、文本编码器约 20GB，多 rank 之间并未共享。运行前应预留主存，并关注 PCIe 传输；双卡与其他 VAE tiling 设置需要各自测量时间和输出一致性。
来源：LTX-2.5 文本编码器逐层卸载 PR 43683。
9 LTX-2 的 CUDA Graph 和输出转换减少完整请求耗时
SGLang 10 月 13 日合并 PR 43667。 这一条测试的是 LTX-2，不是 LTX-2.5。更新将更多固定形状的 CFG、STG 和模态引导放进 blockwise CUDA Graph，并优化 VAE 布局、padding 与输出转换。
成功生成 MP4 时，系统避免再物化一份没有用途的 raw CPU 视频；确实需要 raw 输出时，以分块方式转换与传输，控制临时内存。此处关注的是去噪之外的成本，不能用一个 denoising-step 的时间代表完整响应。
作者最后一轮 ABBA 对比使用单张 GB300、BF16 LTX-2，最终输出 1536×1024、121 帧、24fps，第一阶段 768×512、40 步，第二阶段 3 步。两个提示词、不同种子共 16 次请求，raw CPU 输出中位数从 30.20 秒降到 26.59 秒；完整 MP4 从 29.66 秒降到 27.84 秒，约下降 6.16%。这组测试中 VAE 为 BF16，文本编码未缓存，不能与缓存了编码的结果混比。
可捕获路径有后端和形状限制，采用 SDPA，并需启用相应 blockwise graph 配置；部分请求级 override 会退回普通路径。项目报告所测输出一致，但提示词规模有限。本期引用同平台的最终对照，不使用不同机器间的框架对比数字。
缓存正确性与生成质量
10 Z-Image TeaCache 校准修正过度跳步
vLLM-Omni 10 月 8 日合并 PR 8408。 原配置沿用了 Qwen-Image 的多项式系数，在 Z-Image 上只预测出约三分之一的实际步骤变化。累积距离迟迟达不到阈值，模型跳过本该计算的步骤，图像因此模糊。
新版本用 Z-Image-Turbo 重新收集相邻步骤数据，并增加可复现校准的 adapter。默认阈值仍为 0.2，变化发生在误差估计，而不是简单放松或收紧开关。
作者在单张 A100-SXM4-40GB 上，以 1024×1024、guidance 4.0、6 个提示词乘 3 个种子测量，排除首次编译。25 步时，相对不缓存结果的平均 SSIM 从 0.786 提升到 0.980，速度收益从 1.96 倍降至 1.08 倍；50 步时为 SSIM 0.902、1.54 倍。后者仍然有质量差异，不能概括为“无损提速”。这些结果也不适用于模型通常使用的所有少步配置。
TeaCache 保存的是去噪特征，连续跳步会积累近似误差。更换模型、adapter、时间步或引导参数时，应检查系数是否仍适用。PR 没有测显存变化，也没有修好所有沿用借用系数的其他模型。
来源：Z-Image TeaCache 修复 PR 8408。
11 Qwen3-TTS 修复缓存淘汰后参考音频无法重建的问题
vLLM-Omni 10 月 12 日合并 PR 8697。 API 进程记得某段参考音频曾经处理成功，不等于目标推理副本现在仍保存它。旧实现命中 API 侧 ready 集合后，只发送 artifact key；引擎自己的 LRU 已淘汰该项时，就无法重建参考特征，严重时整个 stage 退出。
修复后每次都携带解析后的 waveform，同时保留 artifact key。引擎缓存命中便跳过参考编码，未命中则从 waveform 重新计算。传输采用 FP32 数组字节，避免每个采样点变成独立 Python 对象。代价是热命中请求也要发送音频，但副本切换、重启与独立淘汰后有了可靠 fallback。
作者用 Qwen3-TTS-12Hz-1.7B-Base 做了 1,200 个不同参考音频、再回放早期 100 个引用的测试，修复分支能够继续服务；吞吐和质量数据来自合并前的测试树，合并后重跑了单元测试。custom_voice_dir 中仅按 speaker 名称发送的预计算声音还有独立淘汰问题，此 PR 明确未覆盖。
来源：参考音频缓存修复 PR 8697。
工作流与模型生态
12 ComfyUI 0.40 修复 H3 单张图像的 VAE 解码
10 月 13 日，正式版，提交 3541246。 H3 视频 VAE 中单独一份 latent 带有“片段起始位置”的含义，直接作为孤立图像解码，可能出现偏暗和条带。新路径将单图 latent 重复为短片段，再保留对应有效帧；tile 在混合前先切到单帧，避免输出画布按整段视频增长。
这项修复会增加解码计算，作者比较中相当于执行一个短 clip 的解码。为单 latent 专门微调、带 h3_t1_direct 元数据的 VAE 仍保留直接路径。因此，它修的是特定 VAE 的输入语义，不能理解为所有图像模型都应重复 latent。
0.40 也收录了 10 月 6 日合并的 Linear prologue/epilogue 统一 API，让模型代码通过同一入口调用融合或 eager fallback。它随本期正式版发布，接口整理本身没有承诺额外加速；具体融合以及 LoRA、Attention override、低显存模式的兼容性仍需分别验证。发布说明里的合作方 API 节点属于工作流接入，和本地开放模型权重分开理解。
来源：ComfyUI 0.40.0、H3 单图解码 PR 16881、Linear API PR 16816。
13 Diffusers 接入 SANA-WM 相机控制图生视频
10 月 13 日合并 PR 13881。 SANA-WM 的原论文发表于 5 月，本期新增的是 Diffusers pipeline、模型转换和相机输入处理，不将旧论文重新计入本期论文周报。
第一阶段用 1.6B 双向 DiT，结合 GDN-Triton 线性 Attention 与相机控制分支，输入首帧、文本和相机轨迹。第二阶段可选 LTX2 refiner，按小块自回归细化，KV 窗口由起始锚点、近期历史与当前块组成，使每块计算和缓存有界。
使用示例先以 BF16 加载，再将 VAE 显式改为 FP32，并启用 model CPU offload；转换流程包含 Gemma-2 文本编码器，可选 refiner 又使用 Gemma-3 及相应连接器，组件精度与内存应分别核算。项目给出单张 H100 80GB、704×1280 的功能测试，refiner 在卸载配置下仍有明显耗时。可运行的长视频 pipeline 不等于已经达到实时生成。
14 Diffusers 为 Z-Image 与 FLUX2 接入 LoKr
10 月 9 日合并 PR 14163。 LoKr 以 Kronecker 因子表示权重增量，不能完全沿用 LoRA 的拆分规则。特别是 fused QKV 上的一组 Kronecker 增量，拆成独立 Q、K、V 后，不一定还可以各自保持同样的分解形式。
新转换器根据权重 key 与形状恢复配置，处理 rank、alpha 缩放和不同社区格式。遇到原本作用于 fused QKV 的 checkpoint 时，它先融合基础模型的对应投影，再注入 adapter，避免对每个分块做高误差近似。
支持范围目前是 Z-Image 与 FLUX2/Klein 的相应 loader。已有 adapter 挂在未融合投影上，或基础权重已经打包量化时，自动融合会破坏原配置，所以实现明确拒绝相关情况；hotswap 也有约束。现有测试验证转换和层级增量一致性，不等同于所有量化后端与组合 LoRA 都已兼容。
来源：LoKr 支持 PR 14163。
15 FlashAttention 2 维护版修复大形状反向偏移溢出
10 月 13 日发布 2.8.3.post2，提交 49774b3。 FA2 backward 的 dq_accum 地址偏移在足够大的 batch、序列、head 数和 head dimension 组合下可能发生 int32 溢出，表现为非法访存或 NaN 梯度。这次将已有修复回移至维护分支，并补充打包与兼容性修正。
触发边界关联 batch × round128(seqlen_q) × nheads × headdim，所以单看序列长度并不足以判断风险。使用大 batch 或长上下文训练时，值得以自己的实际形状验证反向结果。这是正确性更新，不应包装为新的推理加速。
来源：FlashAttention 2.8.3.post2。
升级时先固定组件和工作负载
H3 与 LTX 的几个方案解决不同问题：稀疏 Attention 减少计算，逐层 offload 用主存换显存，分阶段部署改变组件放置，CUDA Graph 与输出转换减少运行时开销。比较方案时至少固定 checkpoint、DiT 精度、VAE 精度、文本编码器精度、Attention backend、采样步数和输出规格；冷启动与暖请求分别统计。
本期没有把 H3 框架适配写成 MiniMax 新基础权重发布，也没有将 LTX-2 的测试数字挪到 LTX-2.5。量化与缓存的研究背景，可以继续读本期论文一周中的 DuoRate、HSVDQuant、MORCA、CORAL-KV 和 PTD。