WORLDTECH NEWS 全球科技资讯。联系我们

在Amazon SageMaker HyperPod Inference上托管NVIDIA Dynamo

由 WORLDTECH 译自英文。事实、数字、名称和来源均与英文原文一致。 English

Wide angle view of a warehouse with stocked shelves and boxes.
示意图片。图片:Tiger Lily / Pexels

事件经过

Amazon SageMaker HyperPod Inference现已支持NVIDIA Dynamo,可用于分布式推理,支持多节点与解耦式服务、KV感知路由以及自动故障恢复。Amazon SageMaker HyperPod Inference现已支持NVIDIA Dynamo,将Dynamo的分布式推理能力与HyperPod的基础设施管理相结合,以应对这些挑战。NVIDIA是一家总部位于圣克拉拉的半导体公司,其产品和服务包括图形处理器。

无需自行构建编排层,即可跨多个节点部署大型模型。高效服务大语言模型(LLM)需要足够的GPU(一种专为同时进行大量计算而设计的芯片,用于图形处理和人工智能)显存,并需要仔细协调提示词处理与词元生成。

以GLM-5.3的FP8权重为例,在不计入KV缓存和运行时开销的情况下,其大小已超过单个ml.p5.48xlarge实例上640 GB的GPU显存。当提示词较长且与词元生成共用同一组GPU时,还会拖慢词元生成速度。

人工智能 高效服务大语言模型(LLM)需要足够的GPU显存,并需要仔细协调提示词处理与词元生成。Dynamo是一个开源分布式推理框架,支持多节点部署、解耦的预填充与解码,并可配合vLLM、SGLang和TensorRT-LLM等引擎实现KV感知路由。

HyperPod通过高性能弹性结构适配器(EFA)网络、协同GPU调度以及节点健康监测与恢复,为这些部署提供支持。集成工作方式 HyperPod Inference附加组件会安装Dynamo自定义资源定义以及以下服务和调度组件:HyperPod Inference Operator通过InferenceEndpointConfig(IEC)自定义资源管理端点部署。其dynamoSpec部分提供Dynamo配置。

关键事实

  • Amazon SageMaker HyperPod Inference现已支持NVIDIA Dynamo,可用于分布式推理,支持多节点与解耦式服务、KV感知路由以及自动故障恢复
  • Amazon SageMaker HyperPod Inference现已支持NVIDIA Dynamo,将Dynamo的分布式推理能力与HyperPod的基础设施管理相结合,以应对这些挑战
  • 高效服务大语言模型(LLM)需要足够的GPU显存,并需要仔细协调提示词处理与词元生成
  • HyperPod通过高性能弹性结构适配器(EFA)网络、协同GPU调度以及节点健康监测与恢复,为这些部署提供支持

来源与证据