WORLDTECH NEWS 全球科技资讯。联系我们

Salesforce利用跨区域路由,将分散的算力用于提供AI模型服务

由 WORLDTECH 译自英文。事实、数字、名称和来源均与英文原文一致。 English

Warehouse interior showing workers handling boxes and organized shelves filled with products.
示意图片。图片:Tiger Lily / PexelsAmazon Web Services 标志仅用于识别,不代表与 WORLDTECH 有任何关联或背书。

Salesforce公开了一篇文章并经公司本身确认,介绍其如何利用Amazon SageMaker AI中的跨区域推理路由器,使其模型在30多个全球区域保持可用。该路由器让公司能够调用原本分割在各区域之间的算力。

算力分散在各区域

Salesforce的Agentforce Foundation团队为Agentforce和Salesforce Trust Layer等产品提供模型服务,其中既有内部训练的模型,也有开源模型。请求在其发起的区域内得到处理,覆盖30多个全球区域和数百个AWS账户,算力则根据每位客户的流量进行配置。

客户的高峰时段往往相互重叠,若按共同高峰配置算力成本过高。新的业务部门也常常在短时间内接入,因此服务集群必须快速扩容。逐个区域增加算力的做法,导致一些区域的实例闲置,另一些区域却供不应求,某一处的短缺随即演变为可用性问题。

早期网关路径的局限

在采用该路由器之前,Salesforce通过其内部网关(Internal Gateway),将本地端点无法处理的流量转发至其他区域。该团队构建并运行这一路径,并配备了基础的健康检查、重试以及区域切换逻辑。

文章指出了该方案的两个弱点。其一,网关无法获得本地或远程端点的任何容量信号,因此无法判断何时迁移流量,也无法判断目标端点是否还有余量。其二,跨区域流量必须经由NAT网关和互联网网关离开虚拟私有云,并穿越公共AWS网络。设计评审中提出了级联故障的风险,因为事件期间迁移流量可能使下一个区域过载,该团队由此得出结论,跨区域流量需要设定上限。此外,若将这些逻辑分别写入每个应用,也无法在公司范围内扩展。

路由器如何分派请求

推理路由器是客户自有账户中的区域性SageMaker AI资源。应用程序不再直接调用端点,而是调用路由器,指定一个路由目标,并发送与当前调用InvokeEndpoint时相同的请求负载和内容类型。每个路由目标是为某一逻辑模型选定的名称,并列出可为其提供服务的端点和推理组件,这些端点和组件以其完整的Amazon资源名称(ARN)标识。

每个路由器为每个模型维护独立的路由目标,因此某一模型端点出现问题时,不会改变其他模型的流量走向。路由目标可以同时包含单模型端点和推理组件,由于目的地以ARN标识,它们可以位于另一个区域或另一个AWS账户中。归属账户通过基于资源的端点策略授予访问权限,这也是Salesforce的运行方式。只要本地目的地成功响应,路由器便优先选择其所在区域并将请求保留在该区域内。

待解问题

  • Salesforce在生产环境中运行该路由器后观察到了哪些结果?

关键事实

  • Salesforce利用Amazon SageMaker AI中的跨区域推理路由器,将分布在各区域的算力转化为可靠的模型服务。

来源与证据