跳到正文
DoNews·· 23 天前AI 評分32

谷歌提出「睡眠框架」解決大語言模型知識固化難題

谷歌提出‘睡眠框架’解决大模型知识固化难题 51分钟前

AI 導讀

10月27日,谷歌研究團隊提出持續學習新方法「睡眠框架」,旨在解決大語言模型部署後知識難以更新及容易出現災難性遺忘的問題。框架模擬睡眠中的記憶鞏固機制,在「清醒」階段處理輸入並暫存短期記憶,在「睡眠」階段整合資訊、擴展參數、蒸餾知識,並以生成式「做夢」強化推理能力。實驗顯示,模型在1000萬token長上下文及多階段持續學習中保持性能穩定,數學推理等任務的準確率有所提升。

正文

10月27日,谷歌研究团队发布持续学习新方法‘睡眠框架’,旨在解决大语言模型部署后知识难以更新、易发生灾难性遗忘的问题。该框架模拟人类睡眠中的记忆巩固机制,划分‘清醒’与‘睡眠’阶段:清醒时处理输入并暂存短期记忆;睡眠时自动整合信息、扩展参数、蒸馏知识,并通过生成式‘做梦’强化推理能力。实验表明,模型可在1000万token长上下文及多阶段持续学习中保持性能稳定,在数学推理等任务上准确率提升。

免责声明:本文内容由开放的智能模型自动生成,仅供参考。

來源:DoNews · donews.com