AWS Machine Learning Blog· Giuseppe Zappia·· 3 小时前AI 评分49
在 Amazon SageMaker AI 上用知识蒸馏构建高效智能体
Build efficient agents with knowledge distillation on Amazon SageMaker AI
AI 导读
智能体任务本质是多次模型调用的循环,单任务成本会随用户量累积侵蚀 ROI。知识蒸馏将大"教师"模型的行为迁移到小"学生"模型,在保持大部分质量的同时获得小模型的速度与成本优势。序列级知识蒸馏(SeqKD)仅凭教师文本输出,通过监督微调(SFT)训练学生复现教师的多步轨迹,即使教师为闭源或仅支持 API 也可使用。
来源:AWS Machine Learning Blog · aws.amazon.com