Hugging Face Blog·· 14 小时前AI 评分50
PyTorch 2.15 为 MPS 带来 FP8 与更快的 LLM 解码
MPS in PyTorch 2.15
AI 导读
PyTorch 2.15 为 Mac 的 MPS 后端加入 FP8,torch.float8_e4m3fn 每个值占 1 byte,存储空间为 BF16 的一半,并支持通过 F.scaled_mm 在 GPU 上直接计算。
来源:Hugging Face Blog · huggingface.co
MPS in PyTorch 2.15
PyTorch 2.15 为 Mac 的 MPS 后端加入 FP8,torch.float8_e4m3fn 每个值占 1 byte,存储空间为 BF16 的一半,并支持通过 F.scaled_mm 在 GPU 上直接计算。
来源:Hugging Face Blog · huggingface.co