馬斯克狂攬10萬塊H100,自建世界最強AI超算,下一代模型訓練開始
明敏 發自 凹非寺
量子位 | 公眾號 QbitAI
世界最強AI集群,馬斯克建成了!
這一爆炸消息,由老馬在Twitter上親自官宣。
當地時間淩晨4:20,由xAI、X和英偉達等合力打造的莫菲斯超級集群已開始投入訓練。
它由10萬塊H100組成,是目前世界上最強訓練集群!
這一規模已遠超世界最強超算Frontier。
xAI的創始成員緊隨其後表示:
1年前我們成立這家公司時,目標是實現三個優勢:數據優勢、人才優勢和計算優勢。
從今天開始,這三者我們都有了!
馬斯克帖子下,和英偉達關係密切、擅長液冷技術的超威(Supermicro)也發來祝賀。其創始人查爾斯·梁表示:
很高興我們和馬斯克一起創造歷史。
同時,馬斯克補充說,該集群的建成,為在今年內訓練出全球最強模型提供重大優勢。
按照此前說法,訓練Grok-3正需要10萬張H100。
不止於此,今年6月,他曾提到為了H100投入1GW電力是不值當的。明年夏天,可能要投入使用由30萬塊B200組成的集群。
自建集群更有底氣
今年5月,The Information消息稱馬斯克要在2025年秋季前建成一個由10萬H100組成的超算集群,與甲骨文進行合作。
消息稱,xAI將出資100億美元用來租用甲骨文的服務器。
當時還有人質疑,為什麼明年建成但還要用上一代技術?
英偉達已經推出了基於Blackwell新架構的B100和B200,訓練大模型的效率遠超H100。
如今來看,說不定是消息中的時間有誤?如果是今年落成就合理多了。
就在最近,馬斯克回應了和甲骨文終止合作建設超算集群的消息。
他表示,xAI從甲骨文拿到了24000塊H100的資源用來訓練Grok-2。相關消息證明,xAI和甲骨文之間的服務器租用合作還在繼續。
但是在10萬卡H100集群的建設上,選擇了自建模式,而且以最快速度推進,據說10萬張卡安裝完畢只用了19天。
我們必須自己掌握方向盤。
之後消息顯示,戴亞和超微成為了馬斯克的新合作商。
戴亞CEO、超微CEO最近都在Twitter表示,正在進行合作,並配上了數據中心的照片。
集群建設過程中,馬斯克親自去過現場。
同時也在Twitter透露過Grok正在莫菲斯訓練,Grok-2將在8月推出。
值得一提的是,此前甲骨文對集群落成地點的電力供應提出擔憂。
按照估算,10萬塊H100需要從電網分配到150兆瓦電力,不過馬斯克似乎已解決這一問題。
最新消息顯示,目前集群暫時拿到了8兆瓦。8月1日簽署協議後將拿到50兆瓦。現在已經有32000塊卡在線,第四季度將100%在線——這足以支持GPT-5規模模型訓練運行。
總之可以肯定的是,AI巨頭們都認為,算力握在自己手裡更可靠,為此值得瘋狂燒錢。
按照成本估算,每塊H100的價格約為3-4萬美元。馬斯克的超算集群,價值將達40億美元(折合人民幣超290億)。
早前消息稱,微軟和OpenAI正在製定一項耗資達1000億美元的數據中心項目名為「星際之門」。
知情人士透露,甲骨文和微軟之間正在達成一項交易,涉及10萬塊B200。這一集群可能在明年夏天準備就緒。
除此之外,如Meta也被曝出過豪華超算集群,AWS等雲廠商也在數據中心上的投入更大。
參考資料:
[1]https://x.com/elonmusk/status/1810727394631950752
[2]https://x.com/elonmusk/status/1815325410667749760
[3]https://x.com/dylan522p/status/1815494840152662170
[4]https://x.com/MichaelDell/status/1803385185984974941