H100租賃價格下跌,「GPU泡沫破滅」?

本文來自微信公眾號:科創板日報 (ID:chinastarmarket),作者:鄭遠方,題圖來自:NVIDIA

日前,一則有關「2美元/小時出租H100:GPU泡沫破滅前夜」的報導引發國內市場高度關注。相關文章指出:

英偉達H100 GPU在2023年3月上市之後,因需求激增供不應求,其租賃價格從最初的每小時4.7美元一度飆升至每小時8美元以上。但今年以來,H100開始「供過於求」,每小時租賃價格降至2美元左右。

價格下跌是多方因素導致的:1)有些長期預訂H100的公司完成模型訓練之後,轉售閑置未使用的算力;2)許多公司不再從頭訓練新模型,轉而微調開放模型,算力需求大幅降低;3)專注構建大規模基礎模型的新創公司數量大幅減少;4)H100的替代品出現,如AMD和英特爾GPU,等等。

對這篇報導進行溯源後可以發現,海外主流媒體及主要科技媒體暫未進行相關報導,原報導標題為《$2 H100s:How the GPU Bubble Burst》(2美元H100:GPU泡沫是如何破滅的),來自一個名為Latent Space的網站,原文作者為Eugene Cheah。

根據網站介紹,Latent Space主要聚焦於AI,形式集內容訊息、博客、社區為一體,由swyx及Alessio Fanelli共同主持,前者的社交平台帳號並未給出帶有具體身份自我介紹,後者則為早期風投公司Decibel VC的合夥人和CTO。

原文作者Eugene Cheah,是初創公司Featherless.Ai的CEO。

據Cheah在「GPU泡沫」一文原文末尾的介紹,Featherless.Ai目前託管著全球最大的開源AI模型,「每月10美元起,可立即訪問,無限制請求,價格固定;可通過無服務器方式即時推理,無需昂貴的專用GPU」。

一、H100租賃價格下跌=GPU泡沫破滅?

「GPU泡沫」一文原文中有張配圖,那是法國藝術家讓-利安·熱羅姆在1882年創作的油畫《鬱金香狂熱》(Le Duelàla tulipe)

這幅畫描繪了有記錄以來的歷史上第一次投機泡沫——17世紀荷蘭的「鬱金香狂熱」,鬱金香的價格在1634年持續攀升,並於1637年2月崩盤,投機者手中只剩下最初投資額的5%。

三百多年前的投機泡沫會否再次上演?這個問題牽動著每一位AI投資者的神經,或許也是這一次「H100租賃價格下跌」一文引發高度關注的原因。

從算力租賃商Vast.ai網站報價可以看到,1x H100的一小時租賃報價確實已經在2~3美元的區間內。

Vast.ai報價Vast.ai報價

但H100的租賃價格下跌,真能和「GPU泡沫破滅」畫上等號嗎?

一方面,從Eugene Cheah的文章來看,「H100價格下跌」可能用「分化」來形容更為合適——持續下降的主要是小規模集群的租賃價格,相較之下,大規模算力集群的價格則可能依然維持在較高水平。

而這些大規模算力集群的背後,多是諸如特斯拉、微軟、OpenAI一類的科技巨頭。Omidia數據顯示,H100發佈之後的那個2023年第三季度,其出貨量達到65萬張,其中,僅Meta和微軟就分別拿下了15萬張,佔比接近一半。

另一方面,電子產品都有更新迭代週期,GPU芯片同樣如此。之前英偉達下一代GPU Blackwell系列傳出設計存在缺陷,可能延遲出貨。但摩根士丹利上週發佈報告稱,Blackwell的生產正在「按計劃進行」,且未來12個月左右的供應已經售罄,這意味著現在下訂單的客戶要到2025年底才能收到貨,「這將繼續推動對現有Hopper架構產品的強勁短期需求」。

H100租賃價格並非驟然暴跌,波動已有時日。從A100到H100,從H100到H200,再到未來的Blackwell,新品出世勢必帶來前代產品的沒落,更不用說,Blackwell的算力成本有望比Hopper進一步降低。

黃仁勳這位英偉達「掌舵人」也在日前現身說法。在接受Altimeter Capital採訪時,他強調,對英偉達的持續看漲與互聯網泡沫頂峰時期圍繞思科的狂熱完全不同。英偉達正在「重塑計算」,未來將是「高度機器學習」的時代。

「摩亞定律已經基本宣告終結」,他表示,為了提供必要的算力以跟上未來計算密集型軟件的步伐,未來4~5年內,現有數據中心將需要價值約1萬億美元的GPU來實現升級

必須承認的是,「AI泡沫」論的警鍾敲了又敲,「AI投資回報難達預期」的質疑聲音一浪高過一浪,一邊是OpenAI抱怨算力上線不及時不夠用、英偉達新品售罄,另一邊是算力租賃價格不斷下降,還有公司「甩賣」GPU。

但局部、短期的算力過剩或短缺,似乎已難以代表AI的全盤局面,對於供需兩方、多空兩邊來回博弈的AI領域來說,在硬件端之外,或許亟待更多新故事。

本文來自微信公眾號:科創板日報 (ID:chinastarmarket),作者:鄭遠方