在Amazon SageMaker HyperPod Inference上托管NVIDIA Dynamo
由 WORLDTECH 译自英文。事实、数字、名称和来源均与英文原文一致。 English
事件经过
Amazon SageMaker HyperPod Inference现已支持NVIDIA Dynamo,可用于分布式推理,支持多节点与解耦式服务、KV感知路由以及自动故障恢复。Amazon SageMaker HyperPod Inference现已支持NVIDIA Dynamo,将Dynamo的分布式推理能力与HyperPod的基础设施管理相结合,以应对这些挑战。NVIDIA是一家总部位于圣克拉拉的半导体公司,其产品和服务包括图形处理器。
无需自行构建编排层,即可跨多个节点部署大型模型。高效服务大语言模型(LLM)需要足够的GPU(一种专为同时进行大量计算而设计的芯片,用于图形处理和人工智能)显存,并需要仔细协调提示词处理与词元生成。
以GLM-5.3的FP8权重为例,在不计入KV缓存和运行时开销的情况下,其大小已超过单个ml.p5.48xlarge实例上640 GB的GPU显存。当提示词较长且与词元生成共用同一组GPU时,还会拖慢词元生成速度。
人工智能 高效服务大语言模型(LLM)需要足够的GPU显存,并需要仔细协调提示词处理与词元生成。Dynamo是一个开源分布式推理框架,支持多节点部署、解耦的预填充与解码,并可配合vLLM、SGLang和TensorRT-LLM等引擎实现KV感知路由。
HyperPod通过高性能弹性结构适配器(EFA)网络、协同GPU调度以及节点健康监测与恢复,为这些部署提供支持。集成工作方式 HyperPod Inference附加组件会安装Dynamo自定义资源定义以及以下服务和调度组件:HyperPod Inference Operator通过InferenceEndpointConfig(IEC)自定义资源管理端点部署。其dynamoSpec部分提供Dynamo配置。