AWS Machine Learning Blog· Jyothirmai Kottu·· 4 小时前AI 评分37
在 Amazon SageMaker AI 上用 llama.cpp 部署决策模型
Deploy decision models with llama.cpp on Amazon SageMaker AI
AI 导读
在 Amazon SageMaker AI 上用 llama.cpp 部署决策模型，可为路由请求、选择智能体动作等场景提供固定选项上的概率评分，而非自由文本。通过 AWS DLC for llama.cpp 可用 OpenAI 兼容的 chat completions 接口，并用 SemIf 适配器返回声明选项的概率。
来源：AWS Machine Learning Blog · aws.amazon.com