Others

趕超 GPT-4o，最強大模型 Llama 3.1 405B 一夜封神，朱克伯格：開源引領新時代

07月24日 08:12 新浪網 news-china-auto-hilite

就在剛剛，Meta 如期發佈了 Llama 3.1 模型。

簡單來說，超大杯 Llama 3.1 405B 是 Meta 迄今為止最強大的模型，也是全球目前最強大的開源大模型，更是全球最強的大模型。

從今天起，不需要再爭論開源大模型與閉源大模型的孰優孰劣，因為 Llama 3.1 405B 用無可辯駁的實力證明路線之爭並不影響最終的技術實力。

先給大家總結一下 Llama 3.1 模型的特點：

包含 8B、70B 和 405B 三個尺寸，最大上下文提升到了128K，支持多語言，代碼生成性能優秀，具有複雜的推理能力

從基準測試結果來看，Llama 3.1 超過了 GPT-4 0125，與 GPT-4o、Claude 3.5 互有勝負

提供開放/免費的模型權重和代碼，許可證允許用戶進行微調，將模型蒸餾到其他形式，並支持在任何地方部署

提供 Llama Stack API，便於集成使用，支持協調多個組件，包括調用外部工具

附上模型下載地址：

https://huggingface.co/meta-llamahttps://llama.meta.com/

超大杯登頂全球最強大模型，中杯大杯藏驚喜

本次發佈的 Llama 3.1 共有 8B、70B 和 405B 三個尺寸版本。

從基準測試結果來看，超大杯 Llama 3.1 405B 全方位碾壓了 GPT-3.5 Turbo、大部分基準測試得分超過了 GPT-4 0125。

而面對 OpenAI 此前發佈的最強閉源大模型 GPT-4o 和第一梯隊的 Claude 3.5 Sonnet，超大杯依然有著一戰之力，甚至僅從紙面參數上看，Llama 3.1 405B 標誌開源大模型首次追上了閉源大模型。

細分到基準測試結果，Llama 3.1 405B 在 NIH/Multi-needle 基準測試的得分為 98.1，雖然仍舊比不上 GPT-4o，但也表明其在處理複雜信息的能力上堪稱完美。

並且 405B 版本在 ZeroSCROLLS/QuALITY 基準測試的得分為 95.2，意味著其具有整合海量文本信息的能力，對於關注 LLM 在 RAG 方面性能的 AI 應用開發者來說，可謂是相當友好。

尤為關注的是，Human-Eval 主要是負責測試模型在理解和生成代碼、解決抽像邏輯能力的基準測試，而 Llama 3.1 405B 在與其他大模型的比拚中也是稍佔上風。

除了主菜 Llama 3.1 405B，雖為配菜的 Llama 3.1 8B 和 Llama 3.1 70B 也上演了一出「以小勝大」的好戲。

就基準測試結果來看，Llama 3.1 8B 幾乎碾壓了 Gemma 2 9B 1T，以及 Mistral 7B Instruct，整體性能也比 Llama 3 8B 有了顯著提升。 Llama 3.1 70B 則越級戰勝了 GPT-3.5 Turbo。

據官方介紹，針對這次發佈的版本，Llama 研究團隊在 150 多個涵蓋多種語言的基準數據集上對模型性能進行了評估，以及進行了大量的人工評估。

官方最終得出的結論是：

我們的旗艦模型在多種任務上與頂尖的基礎模型，如 GPT-4、GPT-4o 和 Claude 3.5 Sonnet 等，具有競爭力。

同時，我們的小型模型在與參數數量相近的封閉和開放模型相比時，也展現出了競爭力。

Llama 3.1 405B 是如何煉成的

那 Llama 3.1 405B 是怎麼訓練的呢？

據介紹，作為 Meta 迄今為止最大的模型，Llama 3.1 405B 使用了超過 15 萬億個 token 進行訓練。

為了實現這種規模的訓練並在短時間內達到預期的效果，研究團隊優化了整個訓練堆棧，在超過 16000 個 H100 GPU 上進行訓練，這也是第一個在如此大規模上訓練的 Llama 模型。

團隊也在訓練過程中做了一些優化，重點是保持模型開發過程的可擴展性和簡單性：

選擇了僅進行少量調整的標準解碼器 Transformer 模型架構，而不是混合專家模型，以最大限度地提高訓練穩定性。

採用了一種迭代後訓練程序，每一輪都使用監督微調和直接偏好優化。這使得研究團隊能夠為每輪創建最高質量的合成數據，並提升每項功能的性能。

相較於舊版 Llama 模型，研究團隊改進了用於預訓練和後訓練的數據數量和質量，包括為預訓練數據開發更預處理和管理管道，為後訓練數據開發更嚴格的質量保證與過濾方法。

Meta 官方表示，在 Scaling Law 的影響之下，新的旗艦模型在性能上超過了使用相同方法訓練的小型模型。

研究團隊還利用了 405B 參數模型來提升小型模型的訓練後質量。

為了支持 405B 規模模型的大規模生產推理，研究團隊將模型從 16 位（BF16）精度量化到 8 位（FP8）精度，這樣做有效減少了所需的計算資源，並使得模型能夠在單個服務器節點內運行。

Llama 3.1 405B 還有一些值得發掘的細節，比如在設計上注重實用性和安全性，使其能夠更好地理解和執行用戶的指令。

通過監督微調、拒絕采樣和直接偏好優化等方法，在預訓練模型基礎上進行多輪對齊，構建聊天模型，Llama 3.1 405B 也能夠更精確地適應特定的使用場景和用戶需求，提高實際應用的表現。

值得一提的是，Llama 研究團隊使用合成數據生成來產生絕大多數 SFT 示例，這意味著他們並不全然依賴真實世界的數據，而是通過算法生成的數據來訓練模型。

此外，研究團隊團隊通過多次迭代過程，不斷改進合成數據的質量。為了確保合成數據的高質量，研究團隊採用了多種數據處理技術進行數據過濾和優化。

通過這些技術，團隊能夠擴展微調數據量，使其不僅適用於單一功能，而且可以跨多個功能使用，增加了模型的適用性和靈活性。

簡單來說，這種合成數據的生成和處理技術的應用，其作用在於創建大量高質量的訓練數據，從而有助於提升模型的泛化能力和準確性。

作為開源模型路線的擁躉，Meta 也在 Llama 模型的「配套設施」上給足了誠意。

Llama 模型作為 AI 系統的一部分，支持協調多個組件，包括調用外部工具。

發佈參考系統和開源示例應用程序，鼓勵社區參與和合作，定義組件接口。

通過「Llama Stack」標準化接口，促進工具鏈組件和智能體應用程序的互操作性。

模型發佈後，所有高級功能對開發者開放，包括合成數據生成等高級工作流。

Llama 3.1 405B 內置工具大禮包，包含關鍵項目，簡化從開發到部署的流程。

值得注意的是，新開源協議里，Meta 也不再禁止用 Llama 3 來改進其他模型了，其中也包括最強的 405B 尺寸，真·開源大善人。

附上 92 頁論文訓練報告地址：

https://ai.meta.com/research/publications/the-llama-3-herd-of-models/

一個由開源引領的新時代

網民 @ZHOZHO672070 也火速在 Hugging Chat 上測試了一下 Llama 3.1 405B Instruct FP8 對兩個經典問題的回答情況。

遺憾的的是， Llama 3.1 405B 在解決「9.11 和 9.9 誰更大」的難題上遭遇翻車，不過再次嘗試之下，它又給出了正確答案。

而在「我一把把把住了」的拚音標註上，其表現也尚可。