原文標題:Amazon ECS now supports GPU sharing with NVIDIA Multi-Process Service (MPS)
AWS 於 10 月 27 日宣布,Amazon Elastic Container Service(ECS)新增 NVIDIA Multi-Process Service(MPS)GPU 共用支援。不同 ECS 任務可同時使用同一張 NVIDIA GPU,不必為每個容器各保留一張卡。
使用者在任務定義中設定容器所需的 GPU 記憶體,並可選擇指定最大 GPU 運算份額;ECS 會依可用資源安排工作負載,服務擴縮與部署時也會考慮剩餘容量。
適合單一工作負載不足以吃滿整張 GPU 的情境,例如小型語言模型推論、向量嵌入產生、AV/ADAS 模擬與多模型服務。AWS 表示應用程式不必為共享功能改寫程式碼,但仍須在基礎設施與任務定義啟用相應配置。
GPU 共享不等於每個容器獲得獨立實體 GPU;多租戶競爭與延遲表現需由使用者自行壓測。官方未提供統一節省比例或每種 GPU 的實測吞吐。
功能支援 Amazon ECS Managed Instances 與 Amazon ECS on EC2。Managed Instances 會監測各執行個體的 MPS 控制常駐程序,若程序停止或異常,ECS 將替換執行個體並把任務遷往健康容量。
部署可使用 AWS 主控台、CLI、SDK、CloudFormation 或其他 IaC 工具建立搭載 NVIDIA GPU 的 capacity provider,再在容器定義設定共享策略與記憶體需求。
AWS 公布此能力已於所有商用區域及 AWS GovCloud(美國)區域提供。公告沒有列出額外的功能定價或各 GPU 型號相容性清單,採購與部署仍應查閱 ECS GPU sharing 官方文件。
GPU 共用的資源利用率提升屬技術能力,不代表任何服務在實際負載下都能線性提高吞吐或降低費用;需要按模型大小、記憶體佔用與 SLO 驗證。
發生了什麼事
AWS 於 10 月 27 日宣布,Amazon Elastic Container Service(ECS)新增 NVIDIA Multi-Process Service(MPS)GPU 共用支援。不同 ECS 任務可同時使用同一張 NVIDIA GPU,不必為每個容器各保留一張卡。
為什麼重要
適合單一工作負載不足以吃滿整張 GPU 的情境,例如小型語言模型推論、向量嵌入產生、AV/ADAS 模擬與多模型服務。AWS 表示應用程式不必為共享功能改寫程式碼,但仍須在基礎設施與任務定義啟用相應配置。
影響哪些人
功能支援 Amazon ECS Managed Instances 與 Amazon ECS on EC2。Managed Instances 會監測各執行個體的 MPS 控制常駐程序,若程序停止或異常,ECS 將替換執行個體並把任務遷往健康容量。
已確認與未確認
AWS 公布此能力已於所有商用區域及 AWS GovCloud(美國)區域提供。公告沒有列出額外的功能定價或各 GPU 型號相容性清單,採購與部署仍應查閱 ECS GPU sharing 官方文件。