Amazon SageMaker AI 上 MoE 模型的 Kernel 工程优化

AWS 在 Amazon SageMaker AI 上针对 Mixture-of-Experts 架构进行 kernel 工程优化，通过 Swap-AB 让 WGMMA 指令矩阵对齐 Hopper Tensor Core 布局，并在 H200 上为大规�kgate MoE 模型带来 2–4% 的端到端吞吐提升，相关优化已合入 vLLM 0.24.0。