李開複回應旗下AI獨角獸陷“套殼”爭議:起步受益於開源,會進步
李開複創辦的AI公司零一萬物(01.AI)近日陷入風波。
11月15日,創新工廠董事長兼CEO李開複在其微信朋友圈轉發了旗下零一萬物對於日前“套殼”爭議的官方回應,並在配文中寫道:“全球大模型架構一路從GPT2–>Gopher–>Chinchilla–>Llama2->Yi,行業逐漸形成大模型的通用標準(就像做一個手機APP開發者,不會去自創iOS、Android 以外的全新基礎架構)。01.AI起步受益於開源,也貢獻開源,從社區中虛心學習,我們會持續進步。”
在零一萬物發佈官方回應後,又有一張疑似原阿里技術副總裁賈揚清的朋友圈截圖傳出,強調在開源領域“魔改”不得:“開源是一個相互合作的事情,本質是要大家能夠求同尊異,討論設計,磨合觀點,最後擰成一股繩往前走。”
這場風波起源於9天前,一位名為ehartford的國外開發者在英文開源社區Hugging Face上的零一萬物開源主頁上評論稱,零一萬物剛於上週完成了首秀的開源大模型Yi-34B完全使用了Meta研發的LLaMA的開源模型架構,只對其中的兩個張量(Tensor)名稱進行了修改,並且在模型中沒有提及LLaMA,建議公司對這些問題進行改正後重新提交模型,以便於開發者將其與LLaMA直接對接。
而從11月14日起,一張微信朋友圈截圖在國內大模型圈內廣泛傳播。在截圖中,用戶的備註名為原阿里首席AI科學家賈揚清,稱有“某國內大廠的新模型”完全使用了Meta的開源大模型LLaMA的架構,只把代碼中的大模型名字進行了修改並替換了幾個變量名,並且“海外有工程師”指出了這點。
儘管零一萬物從嚴格意義上來說並非“大廠”而是初創公司,由於時間和內容的重合度較高,許多大模型從業者將兩件事情聯繫在一起,引發行業熱議。有網友表示,在大模型領域使用開源產品並沒任何問題,甚至有助於開源技術的發展,然而修改代碼名稱便不免會讓人產生懷疑。
11月15日下午,零一萬物(01.AI)回應了日前對其大模型Yi套用開源大模型LLaMA架構的質疑,表示大模型的核心不在於架構,而是在於訓練得到的參數,以及代碼名稱問題屬於“經實驗更名後的疏忽”。
零一萬物官方回應中表示,大模型社區在技術架構方面正處在接近於往通用化逐步收攏的階段,國內已發佈的開源模型絕大多數都採用漸成行業標準的GPT/LLaMA的架構,大模型“持續發展與尋求突破口的核心點”其實在於訓練得到的參數。
零一萬物強調,團隊在訓練前的實驗中嚐試了不同的數據配比,選取了最優的數據配比方案,進行了一系列“超越模型架構之外、研究與工程並進且具有前沿突破性的研發任務”。在模型訓練的同時,零一萬物也針對模型結構中的若干關鍵節點進行了大量的實驗和對比驗證,並在這個過程中對部分推理參數進行了重新命名。
在回應中,零一萬物也對“沿用LLaMA部分推理代碼經實驗更名後的疏忽”表達了歉意:“(我們的)原始出發點是為了充分測試模型,並非刻意隱瞞來源。零一萬物對此提出說明,並表達誠摯的歉意,我們正在各開源平台重新提交模型及代碼並補充 LLaMA 協議副本的流程中, 承諾盡速完成各開源社區的版本更新。”
零一萬物方面對澎湃新聞記者表示,此回應不針對網傳的賈揚清朋友圈截圖。
當天,在Hugging Face社區中,零一萬物也對此事做了公開回應,表示感謝社區的指正,會重新提交模型。在零一萬物做出回應後,開發者ehartford在評論中表示感謝。
一週前,11月6日,零一萬物剛剛正式發佈首款開源中英雙語大模型Yi-34B,其擁有200K上下文窗口,可處理約40萬字的文本。模型開放商用申請,在阿里雲魔搭社區首發。與此同時,零一萬物已完成新一輪融資,由阿里雲領投。
據零一萬物介紹,截至11月5日,Yi-34B在關鍵指標上勝過市場上已有的領先開源模型,包括大語言模型LLaMA 2,在Hugging Face英文開源社區平台的最佳性能大語言模型排行榜和C-Eval中文評測的最新榜單都爬升到第一位。目前,零一萬物估值超過10億美元。按此估值,堪稱創業公司中的“獨角獸”。