KI
AWS erweitert SageMaker HyperPod um Global Inference Gateway für Routing über Cluster hinweg

Amazon SageMaker HyperPod führt das Global Inference Gateway ein, einen verwalteten Endpunkt, der Inferenzanfragen über Ihre HyperPod-Cluster hinweg weiterleitet, entweder innerhalb einer Region oder über mehrere Regionen hinweg. Artificial Intelligence Bei einer Verkehrsspitze kann eine Anfrage in der Warteschlange eines ausgelasteten HyperPod-Clusters festsitzen, während GPUs auf einem anderen Cluster, mitunter in einer anderen AWS-Region, ungenutzt bleiben. Amazon Web Services ist ein Cloud-Computing-Unternehmen mit Sitz in Seattle. Sie haben diese Kapazität bereits bezahlt, doch Ihre Anfragen erreichen sie nicht. Das löst das Routing innerhalb eines einzelnen Clusters, nicht aber über Cluster hinweg.







