AWS Machine Learning Blog· Shantanu Tripathi·· 57 分钟前精选AI 评分63
Amazon SageMaker Inference 支持多实例 GPU 分区以提升端点 GPU 利用率
SageMaker Inference now supports Multi-Instance GPU to maximize GPU utilization for model endpoints
AI 导读
Amazon SageMaker Inference 新增基于 NVIDIA MIG 的 GPU 分区，可在推理组件端点中将单块 GPU 划分为多个隔离分区，部署更多模型并按模型规模选择所需算力和显存。
推荐理由
文章给出 GPU 分区的配置方式、适用边界和性能成本对比，可帮助读者评估推理端点的容量与成本方案。
来源：AWS Machine Learning Blog · aws.amazon.com