AWS 工程师针对 Amazon SageMaker AI 上的融合 Mixture-of-Experts 模型实施内核优化，包括 Swap-AB 以提升 WGMMA 利用率、Triton 后端路由支持 FP8 量化，以及消除 Triton JIT 重新编译。这些措施在 H200 GPU 上实现最高 10% 吞吐量提升和最高 9% 首令牌时间缩短。优化针对 MoE 路由、数据混洗与专家计算的单批次融合操作展开。
信源:https://aws.amazon.com/blogs/machine-learning/mixture-of-experts-kernel-engineering-on-amazon-sagemaker-ai/