蘋果開源7B大模型,訓練過程數據集一口氣全給了,網民:開放得不像蘋果
一水 發自 凹非寺
量子位 | 公眾號 QbitAI
蘋果最新殺入開源大模型戰場,而且比其他公司更開放。
推出7B模型,不僅效果與Llama 3 8B相當,而且一次性開源了全部訓練過程和資源。
要知道,不久前Nature雜誌編輯Elizabeth Gibney還撰文批評:
許多聲稱開源的AI模型,實際上在數據和訓練方法上並不透明,無法滿足真正的科學研究需求。
而蘋果這次竟然來真的!!
就連NLP科學家、AutoAWQ創建者也發出驚歎:
Apple發佈了一個擊敗Mistral 7B的模型,但更棒的是他們完全開源了所有內容,包括預訓練數據集!
也引來網民在線調侃:
至於這次開源的意義,有熱心網民也幫忙總結了:
對於任何想要從頭開始訓練模型或微調現有模型的人來說,數據管理過程是必須研究的。
當然,除了OpenAI和蘋果,上週Mistral AI聯合英偉達也發佈了一個12B參數小模型。
HuggingFace創始人表示,「小模型周」來了!
卷!繼續卷!所以蘋果這次發佈的小模型究竟有多能打?
效果直逼Llama 3 8B
有多能打先不說,先來看Hugging Face技術主管剛「拆箱」的模型基礎配置。
總結下來就是:
-
7B基礎模型,在開放數據集上使用2.5T tokens進行訓練
-
主要是英文數據,擁有2048tokens上下文窗口
-
數據集包括DCLM-BASELINE、StarCoder和ProofPile2
-
MMLU得分接近Llama 3 8B
-
使用PyTorch和OpenLM框架進行訓練
具體而言,研究團隊先是提出了一個語言模型數據比較新基準 ——DCLM。
之所以提出這一基準,是因為團隊發現:
由機器學習 (ML) 模型從較大的數據集中自動過濾和選擇高質量數據,可能是構建高質量訓練集的關鍵。
因此,團隊使用DCLM來設計高質量數據集從而提高模型性能,尤其是在多模態領域。
其思路很簡單:使用一個標準化的框架來進行實驗,包括固定的模型架構、訓練代碼、超參數和評估,最終找出哪種數據整理策略最適合訓練出高性能的模型。
基於上述思路,團隊構建了一個高質量數據集DCLM-BASELINE,並用它從頭訓練了一個7B參數模型——DCLM-7B。
DCLM-7B具體表現如何呢?
結果顯示,它在MMLU基準上5-shot準確率達64%,可與Mistral-7B-v0.3(63%)和Llama 3 8B(66%)相媲美;並且在53個自然語言理解任務上的平均表現也可與Llama 3 8B相媲美,而所需計算量僅為後者的1/6。
與其他同等大小模型相比,DCLM-7B的MMLU得分超越Mistral-7B,接近Llama 3 8B。
最後,為了測試新數據集效果,有業內人士用卡帕西的llm.c訓練了GPT-21.5B,來比較DCLM-Baseline與FineWeb-Edu這兩個數據集。
結果顯示DCLM-Baseline取得了更高的平均分,且在ARC(小學生科學問題推理)、HellaSwag(常識推理)、MMLU等任務上表現更好。
「小」模型成新趨勢
回到開頭,「小」模型最近已成新趨勢。
先是HuggingFace推出了小模型家族「SmolLM」,其中包含135M、360M和1.7B型號模型。
它們在廣泛的推理和常識基準上優於類似大小的模型。
然後OpenAI突然發佈了GPT-4o mini,不僅能力接近GPT-4,而且價格大幅下降。
就在GPT-4o mini發佈同日,Mistral AI聯合英偉達發佈了12B參數小模型——Mistral NeMo。
從整體性能上看,Mistral NeMo在多項基準測試中,擊敗了Gemma 2 9B和Llama 3 8B。
所以,為什麼大家都開始卷小模型了?
原因嘛可能正如smol AI創始人提醒的,雖然模型變小了,但在能力相近的情況下,小模型大大降低了成本。
就像他提供的這張圖,以GPT-4o mini為代表的小模型整體比右側價格更低。
對此,我等吃瓜群眾be like: