AWS Machine Learning Blog· Ananth Raghavendra·· 4 小时前AI 评分37
用 Ray LLM Deep Learning Containers 在 Amazon EKS 上运行多节点推理负载
Run multi-node inference workloads using Ray LLM Deep Learning Containers
AI 导读
AWS 推出支持多节点部署的 Ray LLM DLC，可在 Amazon EKS 上将单个大语言模型部署到两个 GPU 节点，通过独立的 prefill 和 decode 节点配合一个 OpenAI 兼容端点完成推理。
来源：AWS Machine Learning Blog · aws.amazon.com