Google 提出 sleep 持续学习框架

Google Research 提出 sleep 框架，让大语言模型在主动交互（清醒）与离线睡眠交替中持续学习，把短期上下文巩固为长期参数。 据该框架介绍，睡眠阶段通过混合专家（MoE）低秩专家扩展容量、用知识蒸馏结合强化学习进行知识播种，并通过随机专家选择与梯度筛选生成合成样本来自我提升。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。