Google提出大模型持续学习sleep框架
热点事件持续更新
Google提出大模型持续学习sleep框架
1 篇报道1 个报道来源54 分钟前更新
先了解这件事
AI 综述
Google Research提出“sleep”持续学习框架，让大模型在交互阶段积累短期上下文、离线阶段用自生成练习更新权重并巩固长期记忆；框架在固定架构和人工设定训练规则内运行，结合MoE参数扩展、GKD、RL模仿学习、突触修剪及dreaming自改进。 在BABILong测试中，框架将上下文扩展至1000万tokens；在AIME 24、AIME 25和HMMT 25上的准确率分别为79.2%、69.0%和46.1%。这些结果来自Google Research的评估，尚不能直接证明其在其他模型或任务中的持续学习效果。
AI 根据报道生成 · 50 分钟前更新
最新进展10月28日 01:35
Google Research 提出 LLM 持续学习 sleep 框架报道时间线
沿着报道，了解事件的不同侧面。
10月28日
- Google ResearchGoogle Research 提出 LLM 持续学习 sleep 框架
Google Research 提出 sleep 框架，让 LLM 在活跃交互与离线记忆巩固之间交替，将短期上下文压缩为长期参数并持续学习。框架结合 MoE 参数扩展、GKD、RL 模仿学习、突触修剪和 dreaming 自改进，在 BABILong 上扩展至 10M tokens，并在 AIME 24/25 和 HMMT 25 上分别取得 79.2%、69.0% 和 46.1% 的准确率。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。