在 Amazon SageMaker AI 中对混合专家（MoE）模型进行 kernel 工程优化

AWS 在 Amazon SageMaker AI 上介绍针对混合专家（MoE）模型的 kernel 工程优化，包括 Swap-AB 与后端路由两项技术。Swap-AB 通过在 PTX 汇编层前翻转矩阵乘法，使 Hopper 架构的 Tensor Core 达到最大局部密度并激活异步预取，在 H200 上的大规模 MoE 模型端到端输出吞吐提升 2–4%。