PyTorch 2.15 为 MPS 引入 FP8 并提速 Mac 推理

Hugging Face 的 PyTorch 团队发布 PyTorch 2.15，为 Apple 的 MPS 后端引入 FP8（torch.float8_e4m3fn），并通过 F.scaled_mm 在 GPU 上直接做矩阵乘法。 据 PyTorch 团队在 Hugging Face Blog 上的介绍，PyTorch 2.15 还通过线性层和 softmax 的更快路径加速语言模型解码，并引入新的 Metal 内核处理音频、视频和训练负载中此前较昂贵的部分。报道称 MPS 现在要求 macOS 15 及以上版本，PyTorch 2.15 要求 Python 3.11 及以上版本。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。