Llama 4萬億巨獸延期,80%核心元老集體辭職?

2萬億Llama 4巨獸一再推遲,又傳出了80%團隊辭職的驚人消息!目前,發言人已闢謠信息不準確,Meta或許迎來了至暗時刻。

Llama 4團隊約80%的人集體辭職?

昨天,來自AI明星初創Prime Intellect的機器學習研究員一則驚天爆料,徹底點燃了AI圈。

就連WSJ幾天前的獨家報導,也被人們翻了出來。

文章稱,Meta旗艦AI模型「Behemoth」一再推遲發佈,內部對公司數十億美元AI戰略的質疑達到頂峰。

而且,文中還給出了更多人員流失的細節:

Llama 1初始團隊中,原來14人中已有11人從Meta離職。

對此,Meta高管Dave Arnold立即闢謠,80%員工逃離的消息不準確。他還特別強調,這些離職的僅是發表Llama 1團隊的人,並非後續的團隊。

與此同時,OpenAI昨日上線了超強編碼智能體Codex。下週,GoogleI/O大會上還將發佈Veo、Flow等一系列爆款。

這場風波,讓行業不禁發出靈魂拷問:Meta在這場AI競賽中,是否已陷入瓶頸?

2萬億巨獸「滑鐵盧」

按照原計劃,Meta會在4月首屆AI開發者大會上,正式上線2萬億參數Behemoth。

當時,知情人士表示,由於模型性能未達預期,發佈時間被推遲至6月。

如今,將會延至到今年秋季,甚至更晚。

Llama 4發佈當天,Meta曾首次介紹了這款模型,仍在訓練中。

它是Maverick協同蒸餾的教師模型,使用30T多模態token在32K個GPU上進行預訓練(FP8)。

Behemoth是Meta大模型與OpenAI、Google、Anthropic等抗衡的重要武器。

然而,工程師們在提升其性能方面遇到困難,內部甚至質疑其改進是否足以支撐公開發佈。

甚至,Behemoth的開發困境讓高管們,對Llama 4開發團隊的表現感到失望。

在內部,他們正考慮對AI產品團隊進行重大優化調整。

Meta慌了,招募AI大佬帶隊Llama 5?

Meta的AI之路並非一帆風順。

其首款Llama模型,曾由AI研究團隊(FAIR)開發。該團隊以學術研究為主,成員大多是博士。

2023年初,Llama 1及相關論文發佈後,在業界贏得了廣泛的好評。

論文地址:https://arxiv.org/pdf/2302.13971論文地址:https://arxiv.org/pdf/2302.13971

然而,自那以後,原始論文的14名研究者中有11人已離開公司,新一代Llama模型由另一團隊接手。

今年,Meta還計劃投資高達720億美元,大部分用於AI的研發、基礎設施投入。

然而,上個月,Llama 4模型的上線,卻讓人們大失所望。因其在LMArena上,用了非公開版模型去刷榜,模型排名衝到TOP 3。

一時間,全網質疑Meta造假聲愈演愈烈。最後,LMSYS決定重新評估,結果Llama 4真實排名跌倒了30開外。

在所有對手快速迭代的強壓之下,Meta實屬慌了。

Hyperbolic聯創兼CTO Yuchen Jin稱,自己收到了Meta招募信息——帶領Llama 5團隊。

另一張來自@kalomaze截圖顯示,Meta發出多個英雄帖,在美國不同地區大量招募軟件工程師。
另一張來自@kalomaze截圖顯示,Meta發出多個英雄帖,在美國不同地區大量招募軟件工程師。另一張來自@kalomaze截圖顯示,Meta發出多個英雄帖,在美國不同地區大量招募軟件工程師。

幾天前,Yuchen Jin用Meta AI測試Llama 4後,體驗感極差。

截圖後讓模型去理解圖片內容,但Meta AI拒絕了回覆。當他去登錄帳號時,也失敗了。

他直言道,「這不僅僅是Llama 4的問題,而是Meta的技術問題」。

Scaling Law又一次撞牆?

Meta當下的困境並非個例。

當前,其他頂級AI公司同樣在下一代模型的開發中遇到了瓶頸。

先拿OpenAI來說吧,他們原計劃於2024年中發佈GPT-5,至今仍未推出,最新版本僅為GPT-4.5。

不過,在昨天AMA Reddit在線問中,OpenAI副總裁透露,多個產品整合到GPT-5中。而且,據稱,GPT-5將完全基於尚未發佈的模型構建。

另外,Anthropic Claude 3.5 Opus模型自去年宣佈以來,至今未發佈,對外僅表示「即將推出」。

紐約大學數據科學中心助理教授Ravid Shwartz-Ziv指出,「目前,所有實驗室和模型的進步都相當有限」。

這一現象表明,AI模型的未來發展可能比過去慢得多,且成本高昂。

儘管Behemoth的發佈一再推遲,Meta仍有可能選擇提前推出一個功能有限的版本,以緩解外部壓力。

參考資料:

https://x.com/kalomaze/status/1923431110962204680

https://www.wsj.com/tech/ai/meta-is-delaying-the-rollout-of-its-flagship-ai-model-f4b105f7?mod=hp_lead_pos1

https://x.com/Yuchenj_UW/status/1922696849741447421

https://x.com/Yuchenj_UW/status/1923490648256282709

本文來自微信公眾號「新智元」,作者:桃子,36氪經授權發佈。