Google Research·· 2 小时前AI 评分58
Google Research 提出 LLM 持续学习 sleep 框架
The sleep framework: A new way for LLMs to retain knowledge in continual learning
AI 导读
Google Research 提出 sleep 框架，让 LLM 在活跃交互与离线记忆巩固之间交替，将短期上下文压缩为长期参数并持续学习。框架结合 MoE 参数扩展、GKD、RL 模仿学习、突触修剪和 dreaming 自改进，在 BABILong 上扩展至 10M tokens，并在 AIME 24/25 和 HMMT 25 上分别取得 79.2%、69.0% 和 46.1% 的准确率。
来源：Google Research · research.google