AWS演示在EKS上用Ray Train分布式微调

AWS Machine Learning Blog 演示使用 Ray Train DLC、KubeRay 和 EFA，在 Amazon EKS 上运行多节点 PyTorch 分布式训练，无需自行构建容器镜像。示例以 FSDP 在两个 g6.12xlarge 实例、共8张 NVIDIA L4 GPU 上微调 Qwen2.5-1.5B，并提供训练代码、RayCluster 配置和部署脚本。 该示例要求所在区域至少一个可用区提供 g6.12xlarge，并具备96 vCPU 的 G 家族按需容量配额；因 EFA 流量不跨可用区，两台实例须部署在同一可用区。GPU 实例运行期间，包含两台实例、EKS 控制平面和 NAT 网关的费用约为每小时9.50美元。示例使用随机张量，正式微调需替换为 Ray Data 或 DataLoader 数据管线。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。