Google Research·· 3 小时前AI 评分53
Google Research 提出 sleep 框架：让大语言模型在持续学习中保留知识
The sleep framework: A new way for LLMs to retain knowledge in continual learning
AI 导读
Google Research 提出 sleep 框架，让 LLM 在主动交互（清醒）与离线睡眠交替中持续学习，把脆弱的短期上下文巩固为稳定的长期参数。睡眠阶段通过 MoE 低秩专家扩展容量、GKD 结合强化学习模仿学习进行知识播种，并通过随机专家选择与梯度筛选生成合成样本自我提升。
来源：Google Research · research.google