研究 · AMD ROCm Blog
UltraQuant 改善繁忙长会话，MTP 的收益有负载边界
AMD 在八张 MI355X 上回放 Qwen3.8 长会话智能体负载时发现：并发三十二个请求，UltraQuant 的生成吞吐量比最强的已测试八位缓存方案高 29%。较低并发时有用的 MTP，在这个峰值反而降低了表现。
这对买家意味着什么
研究为 MI355X 上的大型本地智能体系统提供了具体配置选择。缓存压缩与 MTP 解决不同问题：中等请求量下延迟最低的设置，在大量长会话同时运行时可能不再合适。
压缩权重与压缩会话是两回事
AMD 在 2026 年 9 月 25 日的文章中研究了使用 MXFP4 权重的 Qwen3.8-2.4T-A95B 与 UltraQuant。MXFP4 缩小模型权重表示，UltraQuant 则另行把 KV 缓存保存为四位格式。缓存记录已处理文本的中间数据。长智能体流程中，对话、工具结果和后续操作不断增加上下文，即使下一次回答很短，这仍是独立的内存开销。
研究中的 Qwen3.8 有 2.4 万亿参数，每个词元约激活九百五十亿参数，窗口为 262K。MoE 通过选择专家参与计算，激活参数量并不等于需要放入内存的全部权重。模型还有一个明确特点：九十二层中只有二十三层保存传统 KV 缓存，其余使用轻量循环状态。因此，不能把结果直接套到任意模型；可受益于该缓存压缩的架构比例是特定的。
四位格式为何真正减少工作
UltraQuant 用十七字节保存一组三十二个缓存值，八位格式需要三十二字节。生成阶段因此可以少读内存。但如果计算前需要昂贵地还原每个值，节省可能被抵消。所述 MI355X 路径让 FP4 直接进入矩阵运算，缩放也并入相应指令，紧凑表示可以一直保留到计算内核。
压缩前采用 Walsh–Hadamard 变换，把异常大的数值分散到不同通道，帮助数据适应四位数值网格。买家需要考虑整个链条：数据分布准备、存储格式和硬件支持。仅听到“四位缓存”，不足以推断另一张卡也有同样收益。这项研究的具体优势与 MI355X 的原生计算路径有关，体积缩小只是其中一环。
AMD 实际比较了什么
作者回放 SemiAnalysis InferenceX 智能体轨迹：共享长前缀，输入从数万到数十万词元，输出较短且会话多轮。配置为八张 MI355X、vLLM v0.19.2rc0 加研究中的 UltraQuant 内核、AITER 0.1.16.post3 和 FlyDSL 0.2.0。上下文为 262K，开启前缀缓存；各方案命中率为 91–95%，没有使用 KV 缓存卸载。
并发三十二个请求时，UltraQuant 总吞吐量为每秒四百三十四词元，词元间延迟为五十八毫秒。对比的八位 ROCm-FA 为每秒三百三十八词元、七十七毫秒，分别对应 29% 吞吐优势和 24% 延迟下降。AMD 在各负载点选择两种已测试八位路径中更强的一种。轻负载时差异消失。这是高前缀复用的繁忙长会话结果，不能当作单个短聊天的速度预测。
MTP 为何不宜一直开启
MTP 即多词元预测，会提出多个候选词元并一起验证。在实验中，它让 UltraQuant 在并发不超过十六时进一步降低 12–22% 的词元间延迟；并发三十二时，两种开启 MTP 的方案都退步。作者解释，验证增加了工作量：低负载时减少顺序步骤有利，峰值时额外验证成本变得明显。因此，它对应的是按并发选择运行方式，而非普遍有益的固定开关。
所测试 UltraQuant 路径尚未采用融合的多词元内核：候选位置作为独立查询访问共同缓存，不能在这些位置间复用一次读取。八位 MTP 路径则使用 AITER 融合内核。作者把 UltraQuant 的相应融合和将实现纳入 vLLM 主线列为后续工作。因此，不能把实验测得的路径描述为所有稳定服务软件都已经提供的标准功能。
结果支持哪一种配置选择
AMD 使用包含一百九十八个问题的 GPQA-Diamond，以及固定一百项代码修复任务的 SWE-bench Lite 子集评估质量，温度为 1.0。各配置结果并不相同，作者认为差异与采样波动相容。SWE-bench 中每种配置只完成一次遍历。这支持研究中的路径，但不能证明任意仓库或任意多步思考任务的准确性都相同。
最终选择针对 MI355X 上的大型本地智能体服务器：长会话交叠时考虑 UltraQuant，MTP 则按负载决定。如果计划峰值类似实验的三十二并发，结果不支持始终开启 MTP；较低并发时，它显示了额外收益。这里真正需要选择的是模型推断运行方式：减少顺序步骤与减少内存读取，在不同条件下发挥作用，设置应匹配真实工作流。
选购系统前要验证什么
- 没有共同缓存前缀的新会话占请求的多大比例？
- 哪些代码修复错误无论速度多快都不能接受？
- 所选实现切换 MTP 时，已打开的会话会怎样？
- 另一项服务器任务同时运行时，响应时间仍可接受吗？
买家建议属于我们的编辑解读。原文并不证明目录中某款系统的速度或兼容性。