語言模型新範式：首個8B擴散大語言模型LLaDA發佈，性能比肩LLaMA 3

AIxiv專欄是機器之心發佈學術、技術內容的欄目。過去數年，機器之心AIxiv專欄接收報導了2000多篇內容，覆蓋全球各大高校與企業的頂級實驗室，有效促進了學術交流與傳播。如果您有優秀的工作想要分享，歡迎投稿或者聯繫報導。投稿郵箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

本文由中國人民大學高瓴人工智能學院李崇軒、文繼榮教授團隊和螞蟻集團共同完成。共同一作聶燊和朱峰琪是中國人民大學高瓴人工智能學院的博士生，導師為李崇軒副教授，論文為二者在螞蟻實習期間完成。螞蟻集團張曉露、胡俊，人民大學林衍凱、李崇軒為共同項目負責人。李崇軒副教授為唯一通訊作者。LLaDA 基於李崇軒課題組的前期工作 RADD [1] 和 SMDM [2]。目前這兩篇論文均已被 ICLR2025 接收。

近年來，大語言模型（LLMs）取得了突破性進展，展現了諸如上下文學習、指令遵循、推理和多輪對話等能力。目前，普遍的觀點認為其成功依賴於自回歸模型的「next token prediction」範式。這種方法通過預測下一個詞的方式拆解語言聯合概率，形式化如下：

最近，人大高瓴李崇軒、文繼榮團隊和螞蟻集團的研究員提出了一種新的洞察：大語言模型展現的語言智能（如上下文學習、指令遵循、推理和多輪對話等能力）並非自回歸機制獨有，而在於背後所遵循的生成建模原則，即通過最大似然估計（或最小化 KL 散度）來逼近真實語言分佈。

正是基於這一理念，團隊開發了 LLaDA（Large Language Diffusion with mAsking）—— 一種基於掩碼擴散模型的語言生成方法。與傳統自回歸模型不同，LLaDA 採用了前向掩碼加噪和反向去噪的機制，不僅突破了單向生成的局限，還通過優化似然下界，提供了一種不同於自回歸的、原理嚴謹的概率建模方案。

通過大規模實驗，LLaDA 8B 在可擴展性、下遊語言任務中全面媲美現代大語言模型，如 Llama3 8B。這些結果一定程度上表明，LLMs 的核心能力（如可擴展性、上下文學習和指令遵循）並非自回歸模型獨有，而是源自於合理的生成建模策略和充分的模型數據規模。LLaDA 不僅提出了一種新的大語言模型的概率建模框架，也有助於我們進一步理解語言智能。

• 論文鏈接：https://arxiv.org/abs/2502.09992

• 項目地址：https://ml-gsai.github.io/LLaDA-demo/

• 代碼倉庫：https://github.com/ML-GSAI/LLaDA

團隊預計近期開源推理代碼和 LLaDA 8B Base 權重，後續還將開源 LLaDA 8B Instruct 權重。

性能展示

卓越的可擴展性。在多個語言任務上，LLaDA 和自回歸模型基線進行了嚴格對比。實驗表明，在相同的數據條件下，LLaDA 在 MMLU、GSM8K 等多個任務上展現了與自回歸模型相當的表現，證明了其在高計算成本下的強大擴展能力。即使在某些相對薄弱的任務上，隨著模型規模的增大，LLaDA 也能迅速縮小與自回歸模型之間的性能差距。

出色的上下文學習與指令遵循能力。在涵蓋 15 個熱門基準測試（包括通用任務、數學、代碼及中文任務）的評測中，預訓練了 2.3T tokens 的 LLaDA 8B Base 模型憑藉強大的 zero/few-shot 學習能力，整體表現超越了 LLaMA2 7B Base （預訓練 tokens 2T），並與 LLaMA3 8B Base （預訓練 tokens 15T）媲美。在經過監督微調（SFT）後，LLaDA 的指令遵循能力得到了顯著提升，能在多輪對話及跨語種生成任務中保持連貫性和高質量輸出，充分展現了其對複雜語言指令的良好理解和響應能力。

下圖是在一些熱門基準上 LLaDA 和 LLaMA3 以及 LLaMA2 的性能對比，詳細結果請參見論文。

平衡的正向與逆向推理能力。傳統自回歸模型在逆向推理任務中常常存在「逆向詛咒」[3] 問題，好比當模型在「A is B」數據上訓練之後無法回答「B is A」。而 LLaDA 則通過雙向的概率建模機制，有效克服了這一局限。在詩歌補全任務中，LLaDA 在正向生成與逆向生成上均取得了均衡表現，尤其在逆向任務中明顯超越了 GPT-4o 和其他對比模型，展現了強大的逆向推理能力。

多場景下的實際應用效果。除了標準測試指標外，我們在多輪對話、數學題解和跨語言文本生成等實際應用場景中也看到了 LLaDA 的出色表現。無論是複雜問題求解、指令翻譯，還是創意詩歌生成，LLaDA 都能準確把握上下文並生成流暢、合理的回答，充分驗證了其在非自回歸生成模式下的應用前景。

下圖是 LLaDA 在回答用戶提問的一個例子，用戶輸入的 prompt 是「Explain what artificial intelligence is」。LLaDA 採取了一種不同於自回歸模型從左到右的生成方式。

下圖是 LLaDA 同用戶進行多輪對話的場景。LLaDA 不僅正確回答了詩歌《未選擇的路》的前兩句，而且成功將英文翻譯成中文和德語，並且按照用戶要求創作了一首五行，且每一行均以字母 C 開頭的詩歌。

核心方法

下圖展示了 LLaDA 的預訓練、監督微調以及采樣過程。

概率建模框架。LLaDA 通過前向過程和反向過程來定義模型分佈

。在前向過程中，對文本中的 tokens 進行逐步獨立掩碼，直到在 t=1 時整個序列被完全掩碼。當時，序列是部分掩碼的，每個 token 有概率 t 被掩碼，或者以概率 1-t 保留原樣。而反向過程則通過在 t 從 1 逐步減小到 0 的過程中反復預測被掩碼的 tokens，從而恢復出數據分佈。LLaDA 的核心是一個參數化的掩碼預測器，其訓練目標僅對被掩碼部分計算交叉熵損失：

前期工作 [2] 已證明該目標函數為負對數似然的上界，從而為生成建模提供了嚴格的理論依據。

預訓練。LLaDA 使用 Transformer 作為掩碼預測器，並且不採用因果掩碼，從而能夠利用全局信息進行預測。預訓練在 2.3 萬億 tokens 的數據上進行，這些數據涵蓋通用文本、代碼、數學以及多語言內容。對於每個訓練序列 ，先隨機采樣 ，然後以相同概率 t 對每個 token 進行獨立掩碼得到 ，並通過蒙特卡羅方法估計目標函數

進行優化。為增強對變長數據的處理能力，部分數據採用了隨機長度。LLaDA 採用 Warmup-Stable-Decay 學習率調度器和 AdamW 優化器，設置總批量大小為 1280（每 GPU 4）。

監督微調（SFT）。為了提升模型的指令遵循能力，LLaDA 在監督微調階段使用成對數據

進行訓練，其中為提示，為響應。在 SFT 中保持提示  不變，對響應  進行獨立掩碼生成 ，然後計算如下損失：

其中為響應的動態長度。整個過程與預訓練一致，只是所有被掩碼的 token 均來自響應部分。SFT 在 450 萬對數據上進行，使用類似預訓練的學習率調度和優化器設置。

推斷。給定提示  ，模型從完全掩碼的響應開始，通過離散化的反向過程逐步恢復文本。在每一步，模型預測所有被掩碼 token 後，會按一定比例對部分預測結果進行再掩碼，以保證反向過程與前向過程一致。對於條件似然評估，LLaDA 使用了下面這個和等價但是方差更小的目標函數：

其中 l 是從

中均勻采樣得到，

是通過從

中不放回地均勻采樣 l  個 token 進行掩碼得到。

總結

擴散語言模型 LLaDA 首次展示了通過前向掩碼加噪與反向去噪機制，同樣可以實現大語言模型的核心能力。實驗表明，LLaDA 在可擴展性、上下文學習和指令遵循等方面表現優異，具備與傳統自回歸模型相媲美甚至更優的性能，同時其雙向生成與增強的魯棒性有效突破了自回歸建模的固有限制，從而挑戰了「大語言模型的智能必然依賴自回歸生成」的傳統觀念。

參考文獻

[1] Ou J, Nie S, Xue K, et al. Your Absorbing Discrete Diffusion Secretly Models the Conditional Distributions of Clean Data. To appear in ICLR, 2025.

[2] Nie S, Zhu F, Du C, et al. Scaling up Masked Diffusion Models on Text. To appear in ICLR, 2025.

[3] Berglund L, Tong M, Kaufmann M, et al. The reversal curse: Llms trained on”a is b” fail to learn”b is a”[J]. arXiv preprint arXiv:2309.12288, 2023.