上海電信開「算力超市」 大模型訓推按時付費

上海電信開「算力超市」 大模型訓推按時付費

作者/  IT時報記者  郝俊慧

編輯/  錢立富  孫妍

大模型應用元年,AI正逐漸浸潤至千行百業,能否靈活便捷獲取算力資源,成為不少企業進入AI時代的第一道門檻。

11月11日,上海電信正式推出公共算力服務門戶——算力超市(https://gpushop.sh.189.cn),彙聚各類算力服務,支持算力在線磋商、算力交易,以公共普惠的算力供給,算、存、運一體的綜合算力服務模式,促進算力資源有效流通,賦能上海市人工智能產業生態。

同日,上海電信在算力超市中推出「一戶一卡」免費體驗計劃,12月31日前,企業用戶可申請兩週內免費體驗100卡時智能算力,針對個人版的體驗計劃也正在醞釀中。

讓算力真正隨需取用

讓算力像水電一樣,作為公共服務隨需取用,是一直以來各家雲/算力服務商致力達到的目標,但在當前階段,無論技術還是模式,都有巨大的障礙需要跨越。

「算力使用的邏輯和水電使用邏輯正好相反,水是從中心到每個家庭,屬於分佈式輸出,而算力其實是上傳算力任務到雲端,並不能真正像自來水那樣,一擰就來。」上海電信一位算力專家告訴《IT時報》記者,近兩年來,隨著各方加速建設,算力資源已日益豐富,但用戶仍面臨著算力分散、驅動不兼容、專業軟件難以尋找、複雜配置導致項目進度受阻等一系列痛點,有AI計算任務卻很難找到合適的算力。

以很多行業正在研發的行業垂直模型為例,如果在普通公有雲上運行,由於數值計算需要調優模式,需多次調整才能把模型運轉起來。

此外,對中小型創意公司而言,已有的PC端算力不足以支撐生產太多的AIGC內容,而配置一套算力服務器成本又太高,通過雲的方式獲取算力,是最便捷和成本集約的方式。

據瞭解,上海電信推出的算力超市以息壤-異構算力一體化調度平台的底座,推出「1+3」公共算力服務產品,包括「1」個基於自研創新技術打造的交易撮合「算力超市」門戶和「3」個提供普惠能級算力服務的智算產品。

這些智算單卡/多卡產品支持一鍵部署開發環境,用戶可以通過簡單的操作完成開發環境的搭建,無須手動安裝操作系統、驅動程序或是配置軟件環境,同時內置多種主流框架,極大地簡化了前期準備工作。

由於一些必要設置都已由平台預先完成,用戶只需關注自己的業務邏輯和算法實現,不必擔心底層的技術細節;只需集中精力在分析結果和解決問題上,不僅為企業節約了專業AI人才儲備,也大大降低了AI的應用門檻。

免費體驗100卡時

目前,算力超市可以提供各類算力資源,無論是需要單張GPU卡進行輕量級任務處理,還是需要多張GPU卡構建強大的計算集群,智算單卡/多卡產品都能滿足不同規模項目的需求。

記者看到,智算產品共分為三個版本:普通版、黃金版和鑽石版,其中普通版著重性價比,適合用戶做開發調測,單卡算力10+TFlops;黃金版的單卡算力可達30+TFlops;鑽石版則在開發調測之上,增加了訓練推理能力,單卡算力70+TFlops。

上述算力專家告訴記者,算力超市支持多種主流顯卡資源,可以基於容器實例為客戶的開發調測、推理、訓練、微調任務提供靈活便捷的智算服務。比如一些科研機構或者創意公司可以直接購買卡時做一些推理調測,或者也可以將一些已經調優好的大模型做成鏡像,在單卡上跑測,隨需購買,按時付費。

此外,算力超市還提供多卡智算產品,用戶可以根據自己的訓推需求購買足夠量的算力卡。或者針對深度學習、科學計算、圖像渲染等高性能場景,直接購買 GPU 算力物理機。

為了讓更多企業用戶瞭解算力超市,即日起,上海電信推出智算單卡/多卡產品「一戶一卡」免費體驗計劃,體驗資源涵蓋單卡容器、對象存儲100G、共享帶寬。活動從11月11日正式開始,持續至2024年12月31日,限量100家客戶,客戶可通過算力超市或撥打10009上海電信政企客戶服務熱線,免費申請100卡時的專屬體驗時長(即單卡使用100小時),每位客戶的體驗有效期為自領取日起2周。

未來:算力交易門戶

據瞭解,算力超市的底座是中國電信息壤—異構算力一體化調度平台,平台支持納管各個運營商數據中心的智能算力,包括國產加速芯片、英偉達等,並且基於智能作業調度引擎,可以實現作業分發、算網資源拓撲、算力感知等功能,支撐多種不同的人工智能技術框架、大模型和應用軟件,而且聯合眾多第三方算力廠商,以多雲、多MSP模式共建算力生態。

正如前文所述,目前上線的算力超市一期功能集中於訂購各類算力算網產品,內置AI開發一站式入口,便於用戶購買指定產品後可隨時隨地進行開發調測、訓練、推理。

今後,算力超市還將逐漸發展算力交易磋商業務,成為同時面向算力供應商、中小企業和公眾用戶算力需求市場的算力交易門戶。

基於息壤—異構算力一體化調度平台,算力超市將不僅連接上海電信在青浦和臨港「東西兩翼」智算中心的澎湃算力資源,也支持廣大算力供應商入駐,在與其他算力服務平台深度對接後,可實現多方產品信息、庫存信息共享,深度參與產業生態構建,共拓商機,共享技術服務能力,有效提高市場算力資源利用率。

目前,這樣的模式已經在摸索。算力超市為上海某區定製化開發專屬區級算力超市,提供算力資源服務上架、區屬算力優惠政策發佈、交易結算等功能,設有多級帳號體系、計量計費等能力,可充分滿足區域算力運營管理需要,企業可通過該專區完成裸金屬、GPU雲主機等算力服務的優惠訂購。

排版/ 季嘉穎

圖片/ 上海電信

來源/《IT時報》公眾號vittimes