Meta AI 研究員:網絡上的文本基本都是「狗屎」 Llama 3 沒有使用任何人類書寫的答案 全是合成數據
概要:Meta發佈了有史以來最強大和最具能力的開源模型Llama 3-405B,該模型訓練在15T令牌上,超過了GPT-4在所有主要基準測試中的表現。Llama 3的8B和70B型號也在4月的發佈中進行了重大升級。
Latent Space採訪了 Meta AI 研究員 Thomas Scialom,他領導了 Llama2 和現在的 Llama3 訓練後工作。詳細討論了Llama 3.1預訓練(如合成數據、數據管道、縮放法則等)和後訓練(如強化學習人類反饋 (RLHF) 與指令調優、評估、工具調用)方面的內容。
據 Thomas Scialom
-
合成數據
- 「我的直覺是,網絡上的文本都是狗屎,在這些標記上進行訓練是在浪費計算量」。
- 「Llama 3 後期訓練沒有使用任何人類書寫的答案,而是完全依賴於Llama 2生成的純合成數據。」
-
合成數據的具體應用
- 代碼生成:使用三種方法生成代碼合成數據,包括代碼執行反饋、編程語言翻譯和文檔反向翻譯。
- 數學推理:借鑒了「讓我們逐步驗證」作者的研究,進行合成數據生成。
- 多語言處理:通過90%的多語言令牌繼續預訓練,收集高質量的人類註釋。
- 長文本處理:依賴於合成數據來處理長文本的問答、長文檔摘要和代碼庫推理。
- 工具使用:在Brave搜索、Wolfram Alpha和Python解釋器上訓練進行單次、嵌套、並行和多輪函數調用。
-
強化學習與人類反饋(RLHF)
- 廣泛使用人類偏好數據進行模型訓練。
- 強調了人類在兩者之間進行選擇(如選擇兩首詩中更喜歡哪一首)而非創作(從零開始寫一首詩)的能力。
- Meta 已經在 6 月份開始訓練 Llama 4,聽起來一大重點將是圍繞智能體展開。
- 多模態版本將有更多參數,稍後發佈
![](http://n.sinaimg.cn/spider20240724/721/w1443h878/20240724/7237-9262d73df2a5f0a0209dce8e654b9497.jpg)
合成數據是關鍵
Llama3 在 15 萬億 tokens 上進行了訓練,比 Llama2 多 7 倍,代碼量增加了 4 倍,涵蓋了 30 種不同的語言。正如 Thomas 所說:
Support authors and subscribe to content
This is premium stuff. Subscribe to read the entire article.
Login if you have purchased
加入會員
加入會員查看更多會員內容和教程。
超過1000+的會員內容,每天更新。