亚马逊云科技在 SageMaker AI 实时端点部署 Kokoro-82M 自定义容器，基于两项现场测量制定自动扩缩容策略。Kokoro-82M 为 8200 万参数非自回归模型，源自 StyleTTS2 并采用 ISTFTNet 解码器，单一请求维持连接数秒，无法附加 Token 生成指标。团队实测得出单实例 SLO 合规最高并发 Q_max 与端到端扩容耗时 T_total，由此直接计算扩容阈值、缩容阈值及冷却时间，所有数值均来自 aws-samples 仓库的实际运行。
信源:https://aws.amazon.com/blogs/machine-learning/stop-guessing-auto-scaling-targets-for-tts-on-amazon-sagemaker-ai/