WORLDTECH NEWS 全球科技资讯。联系我们

在Amazon EKS上使用NVIDIA Run:ai GPU Fractioning

由 WORLDTECH 译自英文。事实、数字、名称和来源均与英文原文一致。 English

Top view of NVIDIA GTX 1080 and RTX 2080 graphics cards used in advanced computer setups.
示意图片。图片:Nana Dua / Pexels

事件经过

NVIDIA Run:ai GPU(一种为同时进行大量计算而设计的芯片,用于图形和AI)Fractioning基于MPS构建,并增加了与Kubernetes集成的调度、每个Pod的显存约定、强制执行和指标。NVIDIA Run:ai GPU Fractioning为基于软件的共享方式增加了Kubernetes调度集成、强制执行的GPU显存限制以及每个Pod的指标。NVIDIA是一家总部位于圣克拉拉的半导体公司,其产品和服务包括图形处理器和软件。

了解如何使用开源的NVIDIA Run:ai GPU Fractioning在Amazon EKS上,于单块NVIDIA A10G GPU上运行两个显存受限的Kubernetes Pod。本教程将构建自定义的Amazon Linux 2023镜像,安装KAI Scheduler和GPU Fractioning Operator,并验证每个Pod的GPU显存约定、强制执行和指标。

GPU共享并不是新事物:多实例GPU(MIG)、时间切片和多进程服务(MPS)分别满足不同的隔离和利用率需求。NVIDIA Run:ai是面向Kubernetes的AI工作负载编排软件。

其GPU Fractioning Operator可以帮助多个团队在Amazon Elastic Kubernetes Service(Amazon EKS)上共享一块或两块GPU。人工智能GPU共享并不是新事物:多实例GPU(MIG)、时间切片和多进程服务(MPS)分别满足不同的隔离和利用率需求。

笔记本、模型评估和小型推理(运行已训练的模型以获得结果,而非训练模型)服务可能会让团队等待,即使GPU显存仍然可用。在本教程的基准配置中,NVIDIA设备插件将单块GPU作为一个nvidia.com/gpu资源暴露出来,GPU共享处于禁用状态。

每个都请求nvidia.com/gpu: 1的两个Pod无法在该节点上同时运行,即便它们合计的GPU显存需求可以满足。该方法适用于满足GPU Fractioning Operator硬件和软件要求的NVIDIA GPU,包括不支持MIG的GPU。

来源与证据