亚马逊云科技在 SageMaker AI 实时端点部署 Kokoro-82M 自定义容器,基于两项现场测量制定自动扩缩容策略。Kokoro-82M 为 8200 万参数非自回归模型,源自 StyleTTS2 并采用 ISTFTNet 解码器,单一请求维持连接数秒,无法附加 Token 生成指标。团队实测得出单实例 SLO 合规最高并发 Q_max 与端到端扩容耗时 T_total,由此直接计算扩容阈值、缩容阈值及冷却时间,所有数值均来自 aws-samples 仓库的实际运行。 信源:https://aws.amazon.com/blogs/machine-learning/stop-guessing-auto-scaling-targets-for-tts-on-amazon-sagemaker-ai/ ✕ 📱 分享到微信 📤 分享图片 或长按图片 → Save to Photos → 发到微信 📤 分享这篇文章 💬 分享微信好友𝕏 X 分享in LinkedIn 点击”分享微信好友”→ 长按图片发到微信
AWS SageMaker 为 TTS 模型推出实测扩缩容方案
- Post author By TheBestDoll
- Post date
- Categories In 最新消息
- No Comments on AWS SageMaker 为 TTS 模型推出实测扩缩容方案
