Amazon SageMaker HyperPod Global Inference Gateway发布:跨地域和跨集群统一端点
由 WORLDTECH 译自英文。事实、数字、名称和来源均与英文原文一致。 English

事件经过
Amazon SageMaker HyperPod推出了Global Inference Gateway,这是一个托管端点,可在单个地域内或跨地域的HyperPod集群之间路由推理请求。人工智能在流量高峰期间,请求可能会在已经饱和的HyperPod集群上排队等候,而另一个集群上的GPU,有时甚至位于另一个AWS地域,却处于闲置状态。亚马逊云科技是一家总部位于西雅图的云计算公司。
您已经为这些算力付了费,但您的请求却无法到达它们。
这一方案解决了单个集群内部的路由问题,但无法解决跨集群的路由。它是一个由SageMaker托管的统一网关,可在您注册的所有集群之间路由,无论这些集群位于单个地域还是跨越多个地域。
该网关负责选择集群,并通过AWS骨干网传输请求,同时支持自动故障转移,并通过AWS Signature Version 4(SigV4)和AWS Identity and Access Management(IAM)进行身份验证。在每个集群内部,Inference Gateway仍会继续选择具体的Pod,保持不变。
挑战:算力分散在多个集群和地域之间。模型规模不断增大,用于运行这些模型的GPU算力也越来越难获取。为了获得足够的算力,企业不得不将其分布到更多的集群和地域中。
以一个团队为例,该团队在两个地域的五个HyperPod集群上为四个模型提供服务。如果没有Inference Gateway,客户端需要跟踪20个端点,即每个模型在每个集群上各对应一个端点。