跳到正文
AWS Machine Learning Blog· Joseph Cottingham·· 2 小时前AI 评分56

用两次实测取代猜测,为 Amazon SageMaker AI 上的 TTS 端点设定自动扩缩容目标

Stop guessing auto scaling targets for TTS on Amazon SageMaker AI

AI 导读

AWS 发布教程,将 Kokoro-82M 文本转语音模型部署为 Amazon SageMaker AI 实时端点的自定义容器,用 Q_max(突破 SLO 前的最高并发 50)和 T_total(实际扩容耗时 320 秒)两个实测值,通过算术推导出扩容阈值 37.5、缩容阈值 25 和两个冷却时间。

来源:AWS Machine Learning Blog · aws.amazon.com