AWS Machine Learning Blog· Shantanu Tripathi·· 5 小时前精选AI 评分62
Amazon SageMaker Inference 支持 GPU 切分，用 NVIDIA MIG 提升模型端点 GPU 利用率
SageMaker Inference now supports Multi-Instance GPU to maximize GPU utilization for model endpoints
AI 导读
Amazon SageMaker Inference 现在支持 GPU 切分，通过 NVIDIA Multi-Instance GPU（MIG）把一张物理 GPU 切成最多七个硬件隔离的分区，每个分区获得固定算力份额和专属显存。
推荐理由
官方给出 GPU 切分的具体 API 字段、各机型可用分区规格，以及 H100 切片对比整张 A100 的性能与成本实测，可据此判断如何按负载选型。
来源：AWS Machine Learning Blog · aws.amazon.com