技术方向
把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。
4 条精选近 30 天 3 条共收录 20 条
Postman 与 AWS 介绍在 Amazon Bedrock 上为 4000 万开发者运行 Agent Mode 的架构模式。Agent Mode 直接对 Postman 应用推理，通过 Amazon Bedrock 访问 Claude 系列模型，并支持跨 Region 推理、模型相关的零数据保留和分层 prompt 缓存。
推荐理由：Postman 给出在成熟产品里落地 Agent 的可复用工程模式，工具选择、schema 读取和上下文管理都可迁移。
作者想做一个 Qwen-Image 2.1 自带 prompt rewriter 的小版本，官方 9B 模型需要约 20GB 显存，于是向 HuggingChat 的 ML-Intern 描述需求，次日就得到了可在 CPU 上运行的 0.8B 版本。
推荐理由：作者用 HuggingChat 的 ML-Intern 在几天内以约 103 美元完成六个模型，给出了可迁移的提示词结构和预算控制方法。
微软亚洲研究院开源 Agent Lightning v1.0，提出 Harnessed Agentic RL 范式，让部署用的 agent harness 直接参与强化学习，无需在训练框架内重建智能体。
推荐理由：框架用真实 harness 直接参与 RL 训练并原生支持 Kubernetes，方法可迁移到自有智能体训练。
Mistral 发布 Agentic Search，通过多步检索循环让模型在复杂文档中查找、浏览、验证信息，通过 Mistral Search Toolkit 提供 search、open、navigate、read、grep 五个工具，并内置于 Studio 和 Vibe。
推荐理由：官方发布检索层并给出跨两个基准的准确率、token 与延迟对比，可据此判断它对复杂文档检索的改进幅度。