在馬斯克和奧特曼比誰喊的響的時候，DeepSeek低調發論文，梁文鋒親自參與
DeepSeek最新公佈的原生稀疏注意力（Native Sparse Attention, NSA）機制不僅將大語言模型處理64k長文本的速度最高提升11.6倍，更在通用基準測試中實現性能反超傳統全注意力模型。如果後續DeepSeek將NSA整合到模型訓練中，其基座模型的能力有望實現顯著提升。
當馬斯克高調推出基於20萬塊GPU集群的Grok-3、Sam Altman在開源策略上反復權衡之際，DeepSeek悄然發佈了一項可能改變遊戲規則的技術。
18日，DeepSeek CEO公佈了一項由梁文鋒親自參與的研究論文成果——原生稀疏注意力（Native Sparse Attention, NSA）機制。這是DeepSeek團隊在稀疏注意力領域的創新性工作，結合了算法創新和硬件優化，旨在解決長上下文建模中的計算瓶頸。
DeepSeek論文顯示，NSA不僅將大語言模型處理64k長文本的速度最高提升11.6倍，更在通用基準測試中實現性能反超傳統全注意力模型。在全球AI競賽轉向”硬核創新”的當口，這家低調的中國公司展示了技術破局的新範式。
值得注意的是，NSA尚未應用於DeepSeek V3的訓練中。這意味著，如果後續DeepSeek將NSA整合到模型訓練中，其基座模型的能力有望實現顯著提升。論文中明確指出：「使用NSA預訓練的模型超過了全注意力模型」。
與DeepSeek形成鮮明對比的是，xAI選擇了另一條道路：對工程規模的極致追求。今日馬斯克發佈的Grok3使用了20萬塊GPU集群，而未來的Grok4更是計劃使用百萬塊GPU、1.2GW的集群。這種「財大氣粗」的做法，體現了北美在AI領域一貫的「大力出奇蹟」風格。
01 稀疏注意力：DeepSeek NSA的創新之道
「AI革命」狂飆突進，長文本建模在AI領域的重要性日益凸顯。OpenAI的o-series模型、DeepSeek-R1以及Google Gemini 1.5 Pro等，都展示了處理超長文本的強大潛力。
然而，傳統Attention機制的計算複雜度隨序列長度呈平方級增長，成為製約大語言模型（LLM）發展的關鍵瓶頸。
稀疏注意力機制被認為是解決這一難題的希望所在。DeepSeek今日提出的NSA機制，正對去年5月MLA（Multi-Layer Attention）工作的補充。NSA的核心在於將算法創新與硬件優化相結合，實現了高效的長文本建模。
科技媒體AI寒武紀表示，NSA的三大關鍵創新包括：
動態分層稀疏策略：結合粗粒度Token壓縮和細粒度Token選擇，兼顧全局上下文感知和局部信息精確性。
算術強度平衡的設計：針對現代硬件進行優化，顯著提升計算速度。
端到端可訓練：支持端到端訓練，減少預訓練計算量，同時保持模型性能。
02 NSA的核心組件：三位一體，逐層優化
科技自媒體 zartbot 分析，NSA架構採用了分層Token建模，通過三個並行的注意力分支處理輸入序列：
壓縮注意力（Compressed Attention）： 通過壓縮Token塊來捕獲全局信息，處理粗粒度的模式。
選擇注意力（Selected Attention）： 處理重要的Token塊，選擇性地保留細粒度的信息。
滑動窗口注意力（Sliding Window Attention）： 處理局部上下文信息。
這三個分支的輸出通過一個門控機制進行聚合。為了最大化效率，NSA還專門設計了硬件優化的Kernel。
具體而言，NSA在Token Compression部分，基於block粒度進行壓縮計算，並插入位置信息編碼。在Token Selection部分，則巧妙地借用Compression的注意力分數作為block的重要性分數，進行top-N選擇，以保留關鍵的細粒度信息。Sliding Window部分則負責處理局部上下文。最後，通過Gating函數綜合三種注意力的輸出。
03 實驗結果：性能與效率的雙重飛躍
根據DeepSeek發佈的實驗數據，NSA技術在多個方面展現出卓越表現。
在通用基準測試、長文本任務和指令推理方面，使用NSA預訓練的模型性能不僅沒有下降，反而超越了Full Attention模型。更重要的是，在處理64k長度的序列時，NSA在解碼、前向傳播和反向傳播等各個階段都實現了顯著的速度提升，最高可達11.6倍，證明了NSA在模型生命週期各個階段的效率優勢。
AI寒武紀表示：
「DeepSeek 的 NSA 技術為長文本建模帶來了新的突破。它不僅在性能上超越了傳統的 Full Attention 模型，更在效率方面實現了顯著的提升，尤其是在長序列場景下。NSA 的 硬件友好設計 和 訓推一體化特性，使其在實際應用中更具優勢，有望加速下一代 LLM 在長文本處理領域的應用落地。」
科技媒體 信息平權 表示，NSA論文中隱藏了一個「彩蛋」：
「DeepSeek此次使用了Triton，而沒有提及英偉達專用庫和框架。Triton底層可以調用CUDA，也可以調用其他計算平台的框架，如AMD的ROCM，甚至國產計算卡。結合NSA降低了浮點算力和內存佔用門檻的特性，這或許暗示了DeepSeek在模型研發階段，就已經開始考慮未來適配更多類型計算卡，為更廣泛、更普遍的開源做準備。」
04 xAI的Grok3：算力堆砌的「極致」
與DeepSeek形成鮮明對比的是，xAI選擇了另一條道路：對工程規模的極致追求。Grok3使用了20萬塊GPU集群，而未來的Grok4更是計劃使用百萬塊GPU、1.2GW的集群。這種「財大氣粗」的做法，體現了北美在AI領域一貫的「大力出奇蹟」風格。
然而，信息平權的分析指出，儘管xAI通過超大集群在短時間內實現了對之前SOTA（State-of-the-Art）模型的反超，但其投入產出比並不理想。相比DeepSeek V3，xAI以50倍的成本實現了30%的性能提升。這表明，單純在預訓練階段投入巨額算力，其收益可能並不如預期，將資源投入到RL（強化學習）後訓練階段可能更為划算。
本文來自微信公眾號「硬AI」，作者：硬ai，36氪經授權發佈。
