研究 · NVIDIA Technical Blog
ReplaySSM：减少状态写入，让混合模型在大批量服务中加速
NVIDIA 在 2026 年 10 月 12 日介绍了 ReplaySSM：用检查点和近期输入表示混合模型的状态。测试中，大批量请求获得加速，批量大小为一时没有收益。这一区别有助于买家选择共享本地服务器的运行模式。
这对买家意味着什么
评估加速时，应联系团队实际的并发负载。ReplaySSM 提供了考察具体推断运行模式的理由：状态如何保存、草稿词元如何验证，以及更新采用什么精度。模型名称本身不能说明这些服务器特性。
固定大小的状态也会成为瓶颈
NVIDIA 与 Dao AI Lab 的研究讨论了交替使用 SSM 层和注意力层的混合模型。SSM 即状态空间模型，在生成过程中维持固定大小的状态。注意力层使用 KV 缓存，保存先前词元的信息，并随上下文增长。状态大小固定很有吸引力，但并不保证下一个词元生成得快。
传统 SSM 执行每一步都读取完整状态、更新它，再写回。服务大批量请求时，搬运数据可能比算术运算更限制速度。作者展示了混合模型中的这种瓶颈。因此，即使状态本身不增长，评估性能仍应了解引擎在连续生成词元之间搬运了多少数据。
用检查点替代反复写回
ReplaySSM 保存一个状态检查点和近期输入的小缓冲区。普通步骤把新输入加入缓冲区，根据缓冲区和检查点计算输出；窗口填满时，才写入完整更新后的状态。输出计算由此与供后续步骤使用的状态更新分开。
主要测试采用 16 条记录的窗口。每一步仍需读取检查点，但每个窗口只写入一次。作者指出，这大约将主要状态流量减半。输出与传统执行相符，但可能存在浮点计算差异。这项技术改变的是内存操作方式，因此收益取决于具体负载受到内存限制的程度。
大批量获益，单个请求需要另看
NVIDIA 将 vLLM 中的 ReplaySSM 实现与采用最佳启动配置的 vLLM 自身内核比较。测试包括采用 BF16 权重、各运行于单张 H100 的 Nemotron-3-Nano-4B 和 Qwen3.5-4B，以及采用 NVFP4 权重、各运行于单张 Blackwell Ultra B300 的 Nemotron-3-Super-120B-A12B 和 Qwen3.5-122B-A10B。每个模型都没有使用张量并行。
状态为 FP32、窗口为 16、批量大小为 256 时，四个模型的整个解码步骤获得 1.20 至 1.47 倍加速。批量大小为一时，这些测试没有加速，因为其他延迟来源占主导。对团队而言，这意味着高负载共享服务器与偶尔收到请求的个人聊天，可能从同一优化中获得不同收益。
草稿词元不再需要逐个状态快照
推测式解码先提出多个草稿词元，再由目标模型验证，保留获准的前缀。传统 SSM 状态更新难以撤销，文中介绍的解决方式是在每个草稿词元之后保存快照。ReplaySSM 将输入放入缓冲区，通过移动指针提交获准前缀，从而改变验证过程和回退所需的内存。
在 GSM8K 提示上，两款约 120B 规模模型各自使用 MTP 头提出四个草稿词元，窗口为 16，状态为 FP32。批量大小为 512 时，相比 vLLM 的推测式解码，吞吐量分别达到 1.85 倍和 2.10 倍。每个模型使用单张 B300，获准前缀长度相匹配。这些结果对应特定服务配置；代码补丁或文档请求仍需测量买家自己的负载。
四位读取需要分开管理精度
状态还有一个特点：舍入误差可能进入下一次更新。ReplaySSM 允许输出计算的读取与递归检查点使用不同精度。低精度副本用于读取，后续更新则使用独立的较高精度副本。因此，权重、注意力缓存和状态的精度需要分别考虑。
在 GPQA-Diamond 上，采用普通解码和长度为 16 的窗口时，Nemotron-3-Super-NVFP4 使用 FP32 状态的基准准确率为 79.3%。共享 NVFP4 检查点加随机舍入损失了 12.5 个百分点；NVFP4 读取配合独立的 FP16 递归检查点及随机舍入，损失为 1.4 个百分点。Nano-4B 使用后一配置仍损失 6.7 个百分点，说明质量恢复随模型而异。对繁忙的共享服务器，具体选择是采用状态精度分离的 ReplaySSM 模式，并用选定模型及典型回答长度进行评估。
选购系统前要验证什么
- 引擎实际启用了哪种 SSM 模式，诊断信息如何显示？
- 实际批量大小如何分布，低负载时段占多少？
- 当前模式在高峰负载下，草稿状态快照占用多少内存？
- 哪些长回答适合发现改变状态精度后的质量损失？
买家建议属于我们的编辑解读。原文并不证明目录中某款系统的速度或兼容性。