Latent Space· Latent Space·· 2 天前精选AI 评分90
DeepSeek 开源 DeepInfer 推理栈：单集群日吞吐 155T token、单位收益约 38 美元/卡时
[AINews] DeepSeek DeepInfer: Open Source SOTA Inference running 155T toks/day/cluster making $22m/day at ~80% margin for a 81 day payback
AI 导读
DeepSeek 开源生产级推理栈 DeepInfer，支持分布式推理、投机解码、SWA Bounded Replay 与结构化输出，覆盖 NVIDIA SM100 与华为昇腾 950 平台，并附带 deepseek-recipe 协议转换库。
推荐理由
材料给出 DeepSeek DeepInfer 开源的吞吐与单位收益数据，以及 vLLM 的独立复现对比，可据此判断开源推理栈对行业经济性的影响。
来源：Latent Space · latent.space