針對Transformer agent隨上下文增長而變慢、變貴的問題，新論文提出"睡眠階段"：模型暫停，多次重讀近期上下文，將有用資訊通過狀態空間塊的fast weights寫入固定大小的記憶層，然後清空注意力緩存。額外計算在睡眠時完成，正常預測仍只需一次前向傳播。在元胞自動機、圖查找、GSM-Infinite數學問題上的測試表明，更長的睡眠提升性能，尤其是需要深入推理的難題。核心啟示：長程agent無需無限擴大原始上下文，可通過鞏固重
針對Transformer agent隨上下文增長而變慢、變貴的問題，新論文提出”睡眠階段”：模型暫停，多次重讀近期上下文，將有用資訊通過狀態空間塊的fast weights寫入固定大小的記憶層，然後清空注意力緩存。額外計算在睡眠時完成，正常預測仍只需一次前向傳播。在元胞自動機、圖查找、GSM-Infinite數學問題上的測試表明，更長的睡眠提升性能，尤其是需要深入推理的難題。核心啟示：長程agent無需無限擴大原始上下文，可通過鞏固重要部分、遺忘原始token來解決。
AIHot 在近 24 小時資料流中收錄了這則來自 X：Rohan Paul (@rohanpaulai) 的消息。原始條目的重點是：針對Transformer agent隨上下文增長而變慢、變貴的問題，新論文提出”睡眠階段”：模型暫停，多次重讀近期上下文，將有用資訊通過狀態空間塊的fast weights寫入固定大小的記憶層，然後清空注意力緩存。額外計算在睡眠時完成，正常預測仍只需一次前向傳播。在元胞自動機、圖查找、GSM-Infinite數學問題上的測試表明，更長的睡眠提升性能，尤其是需要深入推理的難題。核心啟示：長程agent無需無限擴大原始上下文，可通過鞏固重要部分、遺忘原始token來解決。。本站不直接複製原文，而是將它整理成可供工作室決策使用的觀測紀錄。
這篇觀測文保留來源脈絡：來源站名為 X：Rohan Paul (@rohanpaulai)，來源網域為 x.com。若原始內容含圖片、影片或社群串文，本站只提供入口，不重製未授權媒體。
它和 Agent 工作流直接相關，可能影響白總、BUILD-SITE、BUILD-SYSTEM 或 Codex 類任務的協作方式。下一步不應只收藏連結，而要看是否能降低切換成本、提高驗收品質，或補上安全審查。
先閱讀原始貼文或影片脈絡，確認是否有 demo、截圖或實際連結；可轉成社群短評，但不直接當成已驗證事實。
