Google公佈 Titans 系列 AI 模型架構:融合長短期記憶與注意力機制、突破 200 萬上下文 Token
IT之家 1 月 20 日消息,Google研究院發文,公佈了「Titans」系列模型架構,相應模型架構最大的特點是採用「仿生設計」,結合了短期記憶、長期記憶和注意力機制,支持超過 200 萬個 Token 的上下文長度,目前相關論文已發佈在 arXiv 上,Google計劃未來將 Titans 相關技術開源。

目前業界流行的 Transformer 模型架構雖然在大多數場景表現優秀,但其上下文窗口(Window)長度的限制,通常僅為幾千到幾萬個 Token,這使得它們在處理長文本、多輪對話或需要大規模上下文記憶的任務中,往往無法保持語義連貫性和信息準確性。
而Google這一 Titans 系列模型架構通過引入深度神經長期記憶模塊(Neural Long-Term Memory Module)有效解決了相應問題,其設計靈感號稱來自人類的記憶系統,結合了短期記憶的快速反應與長期記憶的持久特性,並通過注意力機制來著重執行當前的上下文(著重於用戶即時輸入的提示詞,並保留對於以往提示詞的準確記憶)。
IT之家參考論文獲悉,Titans 具有三種架構設計變體,分別是 Memory as a Context(MAC)、Memory as a Gate(MAG)和 Memory as a Layer(MAL),可以根據不同的任務需求整合短期與長期記憶。其中「MAC」架構變體將長期記憶作為上下文的一部分,允許注意力機制動態結合歷史信息與當前數據,適合處理需要詳細歷史上下文的任務。「MAG」架構變體則根據任務需求,調整實時數據與歷史信息的重要性比例,專注於當前最相關的信息。
Google重點強調了「MAL」架構變體,該架構主要將記憶模塊設計為深度網絡的一層,也就是從模型設計層面,直接將用戶的歷史記錄和現在輸入的上下文內容進行固定壓縮,之後交由模型的注意力模塊處理,因此效率相對較高,但輸出內容效果不如「MAC」和「MAG」變體。
Google聲稱,Titans 系列模型架構在長序列處理任務中的表現明顯優於現有模型,無論是語言建模還是時間序列預測,Titans 在準確性和效率上都展現了「壓倒性優勢」,甚至在某些場景中超越了如 GPT-4 等具有數十倍參數的模型。
廣告聲明:文內含有的對外跳轉鏈接(包括不限於超鏈接、二維碼、口令等形式),用於傳遞更多信息,節省甄選時間,結果僅供參考,IT之家所有文章均包含本聲明。