vLLM 解析 Kimi K3 在 AMD Instinct MI355X 上的推理优化，单 GPU 吞吐超 NVIDIA HGX B300 24.4%

核心亮点

AMD 与 Embedded AI 模型在 vLLM 官方博客上详解了 Kimi K3 在八卡 AMD Instinct MI355X 上的推理优化，把国产大模型与 AMD 硬件的协同推到了台前，证明非 NVIDIA 硬件也能跑出有竞争力的吞吐。

具体能力或事件经过

这次优化的意义在于，它围绕 vLLM 这一主流推理框架做深度适配，意味着开发者可以用更开放的硬件栈来部署 Kimi K3，而不必被单一供应商绑定。对成本敏感、又希望摆脱供应链单一风险的推理服务商，这是一条值得关注的替代路线，也降低了国产模型落地的硬件门槛。

技术细节

文章聚焦的优化手段包括算子层面的针对性重写、显存与通信的高效调度，以及面向 MI355X 架构的并行策略。这类底层调优是把"理论算力"真正转化为"可用吞吐"的关键，也是开源推理框架生态价值所在：社区可以把新硬件的快速适配沉淀为可复用的工程资产。

与竞品对比

对比在 NVIDIA GPU 上已经高度成熟的优化路径，AMD 栈的优化空间更大、性价比更突出。在 NVIDIA 供给与定价承压的背景下，能跑通 AMD 的方案，等于给行业多了一个议价筹码，也推动推理成本进一步下行，最终受益的是下游应用开发者。

行业影响或适用场景

说白了，大模型推理正在从"NVIDIA 独大"走向"多硬件可跑"。对想要压低推理成本、做异构部署的团队，Kimi K3 在 AMD 上的成功优化，提供了一个可复制的样板，也鼓励更多模型厂商把适配范围从单一硬件扩展到多元算力。

延伸背景

更深一层看，这场优化的价值不只是性能数字，而是生态信号：当头部模型愿意为新硬件栈投入工程资源，说明"硬件多元化"已从口号走向实践。对国内算力自主可控的命题而言，国产模型 + 国产或非 NVIDIA 硬件的组合越成熟，越能缓解单点供应链风险，也为推理侧的价格战打开空间，最终让中小团队用更低的成本用上强模型。