AWS Machine Learning Blog· Kevin Shabahang·· 4 小时前AI 评分41
i14 在 AWS Trainium2 上训练并部署 Laplace 3B 线性注意力模型：超越 KV cache
Beyond the KV cache: Training and serving i14’s Laplace 3B linear attention model on AWS Trainium2 with native PyTorch
AI 导读
i14 推出线性注意力模型 Laplace 3B，其循环状态固定为每条序列 29.5 MB，与上下文长度无关。AWS 团队通过 TorchNeuron Native 的原生 PyTorch 支持，将 GLA 架构与 Muon 优化器迁移至 AWS Trainium2。
来源：AWS Machine Learning Blog · aws.amazon.com