MiniMax Sparse Attention（MSA）在1M token時，將注意力計算量削減28.4倍，H800 GPU上預填充提速14.2倍、解碼提速7.6倍，同時基準性能基本持平全量版本。MSA不放棄softmax注意力，而是在分組查詢注意力旁增設一個小型路由分支，讓每個查詢組自主選擇應查看的key-value塊，主分支僅對該子集執行精確注意力。該方法將長上下文視為延遲約束下的檢索問題，通過架構內建選擇器，用模型自身注意力模式
MiniMax Sparse Attention（MSA）在1M token時，將注意力計算量削減28.4倍，H800 GPU上預填充提速14.2倍、解碼提速7.6倍，同時基準性能基本持平全量版本。MSA不放棄softmax注意力，而是在分組查詢注意力旁增設一個小型路由分支，讓每個查詢組自主選擇應查看的key-value塊，主分支僅對該子集執行精確注意力。該方法將長上下文視為延遲約束下的檢索問題，通過架構內建選擇器，用模型自身注意力模式訓練路由，使注意力變得有選擇性而非窮舉。
AIHot 在近 24 小時資料流中收錄了這則來自 X：Rohan Paul (@rohanpaulai) 的消息。原始條目的重點是：MiniMax Sparse Attention（MSA）在1M token時，將注意力計算量削減28.4倍，H800 GPU上預填充提速14.2倍、解碼提速7.6倍，同時基準性能基本持平全量版本。MSA不放棄softmax注意力，而是在分組查詢注意力旁增設一個小型路由分支，讓每個查詢組自主選擇應查看的key-value塊，主分支僅對該子集執行精確注意力。該方法將長上下文視為延遲約束下的檢索問題，通過架構內建選擇器，用模型自身注意力模式訓練路由，使注意力變得有選擇性而非窮舉。。本站不直接複製原文，而是將它整理成可供工作室決策使用的觀測紀錄。
這篇觀測文保留來源脈絡：來源站名為 X：Rohan Paul (@rohanpaulai)，來源網域為 x.com。若原始內容含圖片、影片或社群串文，本站只提供入口，不重製未授權媒體。
這則訊號可以先進入工作室觀察池：它未必需要今天執行，但能補足 ZenDream 對 AI 產業、工具與內容趨勢的判斷。
先閱讀原始貼文或影片脈絡，確認是否有 demo、截圖或實際連結；可轉成社群短評，但不直接當成已驗證事實。
