面向技术用户
模型、负载、硬件。
基于具体模型版本进行初步计算。最终配置与速度通过测试确认。
模型原始格式需要扩展平台。更小的格式只能作为独立版本考虑。 此处尚未确认原生上下文上限，所选长度需测试。
需要定制平台
基础目录中没有适合此原始格式与工作负载的方案。
全部 8 套硬件配置
Atlas 336
4 × RTX PRO 6000D 84 GB
完整配置
- 处理器
- Threadripper PRO，24–32 核，如 9965WX/9975WX；WRX90 配备直连 PCIe 通道。也可采用经核实通道布局的 AMD EPYC 原厂服务器。
- RAM
- 256 GB ECC，8 × 32 GB，8 通道
- 存储
- TLC NVMe：系统 2 TB + 模型 4 TB
- 供电
- 可用电源功率不低于 3000 W；服务器级风道或四卡原厂液冷
DeepSeek 需要明确的 Engram 内存卸载方式，并验证峰值内存。GLM Flash 加载权重后的余量有限。工作负载和每张 GPU 上的部署均需测试。
Studio 288
4 × RTX PRO 5000 Blackwell 72 GB
完整配置
- 处理器
- Threadripper PRO，24–32 核，WRX90，四个 CPU 直连 PCIe 插槽
- RAM
- 256 GB ECC, 8 × 32 GB
- 存储
- NVMe TLC: 2 TB + 4 TB
- 供电
- 原厂 2050–2200 W 供电；四张 300 W 显卡，需确认主动散热间距
排除 GLM Flash。四个 Qwen 副本需要四个单卡分组，速度不能直接按倍数推算。
Flow 192
2 × RTX PRO 6000 Blackwell Workstation 96 GB
完整配置
- 处理器
- Threadripper PRO，24 核 / WRX90，两个直连 PCIe x16 插槽
- RAM
- 256 GB ECC, 8 × 32 GB
- 存储
- NVMe TLC: 2 TB + 4 TB
- 供电
- 原厂 2050–2200 W 供电，用于两张 600 W 显卡
Flash-Next 在未计缓冲区前，标称余量不超过 19.22 GiB。
Core 72
1 × RTX PRO 5000 Blackwell 72 GB
完整配置
- 处理器
- Ryzen 9 9950X，主板配备完整 CPU 直连 PCIe x16 插槽
- RAM
- 64–128 GB DDR5，与主板兼容的 UDIMM 套装
- 存储
- TLC NVMe：系统 1–2 TB + 模型 4 TB
- 供电
- 优质 1000 W 电源、通风机箱、GPU 主动散热
Qwen BF16 通过初步权重容量检查。BF16 速度和 C4/C8 模式尚未实测。
Core Duo
2 × RTX PRO 5000 Blackwell 72 GB
完整配置
- 处理器
- Threadripper PRO，24 核，WRX90，两个直连 PCIe x16 插槽
- RAM
- 128 GB ECC，4 × 32 GB；可扩展至 256 GB
- 存储
- NVMe TLC: 2 TB + 4 TB
- 供电
- 优质 1600 W 电源，两张主动散热 GPU
144 GB 不作为 Flash-Next 的统一显存池使用。
Core Twin
2 台工作站，每台配备 1 × RTX PRO 5000 72 GB
完整配置
- 处理器
- 每台 Ryzen 9 9950X，独立操作系统 / 容器与代码编译资源
- RAM
- 每台 64–128 GB DDR5 UDIMM
- 存储
- 每台：系统 1–2 TB + 模型 4 TB
- 供电
- 每台 1000 W 电源及经验证的主动散热
两台工作站的显存总和不意味着可以直接拆分同一个模型，跨机部署需要单独方案。
Radeon 64
2 × Radeon AI PRO R9700 32 GB
完整配置
- 处理器
- Ryzen 9 9950X；主板配备两个 CPU 直连插槽，并确认支持 x8/x8 模式
- RAM
- 128 GB DDR5 UDIMM
- 存储
- NVMe TLC: 1–2 TB + 4 TB
- 供电
- 1200–1600 W 电源，两张 300 W 显卡的散热方案
权重部署、ROCm、TP2、P2P 与并发请求尚未验证。
Radeon 128
4 × Radeon AI PRO R9700 32 GB
完整配置
- 处理器
- Threadripper PRO，24 核，WRX90，四个直连 PCIe 插槽，经 ROCm 认可的平台
- RAM
- 128 GB ECC, 4 × 32 GB
- 存储
- NVMe TLC: 2 TB + 4 TB
- 供电
- 原厂 2050–2200 W 供电，四张 300 W GPU
两个 TP2 分组的同时运行尚未测试。
外部基准测试及条件
这些是作者在其他硬件上的结果，不能直接用于目录中的系统。
DeepSeek V4.1 Flash
4 × RTX PRO 6000 Workstation 96 GB、Threadripper PRO 9985WX、约 639 GiB RAM，Engram 位于 RAM，使用带补丁的 SGLang 与 DSpark。
- 1 个请求
- 365 token/秒 · 单次响应中位数
- 8 个请求
- 1,194 token/秒 · 总吞吐量
- 32 个请求
- 3,081 token/秒 · 总吞吐量
测试条件与代码Qwen 3.8 27B · FP8
RTX PRO 5000 72 GB、Core Ultra 7 270K Plus、270 W、vLLM 0.26、MTP 1，单个请求。
- 约 11K 上下文
- 43.2 token/秒
- 148–200K 上下文
- 15.3 token/秒
缺少 usage 数据时，作者会统计 SSE 数据块，因此估算精度有限。
测试条件与代码