Hugging Face Blog·· 13 小时前AI 评分57
PyTorch 2.15 为 MPS 引入 FP8 并大幅提速 Mac 推理
MPS in PyTorch 2.15
AI 导读
Hugging Face 的 PyTorch 团队发布 PyTorch 2.15,为 Apple 的 MPS 后端引入 FP8(torch.float8_e4m3fn)并通过 F.scaled_mm 在 GPU 上直接相乘。
来源:Hugging Face Blog · huggingface.co
MPS in PyTorch 2.15
Hugging Face 的 PyTorch 团队发布 PyTorch 2.15,为 Apple 的 MPS 后端引入 FP8(torch.float8_e4m3fn)并通过 F.scaled_mm 在 GPU 上直接相乘。
来源:Hugging Face Blog · huggingface.co