卸载到DRAM，性能最高提升50%：英伟达AMD改推荐配置
把 Engram 卸载到 DRAM，在 H200、B200、B300 乃至 GB300 NVL72 上，性能最高提升 50% 。这是一组实验得出的结果，不是理论推演。 更值得注意的是，这个优化不只停留在英伟达的硬件上。技术团队与两位工程师合作，把对 vLLM 项目 ROCm 版 Engram DRAM 卸载的支持也推了上去，同样看到了最高 50% 的性能提升，相关改动在 PR 57491 中。 推荐配置正在被改写 性能数据出来之后，动作很快。在 PR 985、1002、1005、1006 中，英伟达、AMD 以及 SemiAnalysis 方面正在更新默认推荐配置，把 Engram 卸载纳入其中。 这意味着原本属于"可选优化"的做法，正在变成默认选项。对使用者来说，不需要自己判断要不要开，配置层面已经替你做了决定。 为什么是 DRAM 卸载的方向是 DRAM，而不是别的存储层级。从结果看，这个选择在 H200、B200、B300 和 GB300 NVL72 上都成立，跨了不止一代硬件。 50% 这个数字出现在两类平台上：一类是英伟达的 GPU，一类是 ROCm 生态。同一套思路在两个体系里都跑出了相近的收益，这是这次更新里比较少见的一点。 参与推动这件事的角色也值得留意——英伟达、AMD、SemiAnalysis 同时出现在更新推荐配置的名单里。三方在同一个配置项上达成一致，本身就说明了这个优化的分量。 目前公开的信息集中在结果和改动上：性能提升幅度、涉及的硬件型号、相关的 PR 编号，以及推荐配置的更新动作。至于具体的实现细节和适用边界，还需要看后续的 PR 内容。 特别
发表评论