不煉大模型的互聯網公司,趟出AI轉型第一波經驗
一水 發自 凹非寺
量子位 | 公眾號 QbitAI
AI應用落地,算力不足仍是擺在眾人面前的第一道檻。
這不,作為國產芯片設計公司,燧原科技成立時就碰上了這個老大難。
好在後來通過上雲,其驗證、benchmark測試效率從2周準備環境縮短至30分鐘,算力充足加速了芯片研發。
當下,雲+AI基礎設施已成為企業智能化轉型的關鍵支撐。
在以生成式AI為代表的技術驅動下,互聯網行業作為雲+AI應用的先鋒,已經找到了新的增長點。
具體是如何做到的呢??
9月6日,騰訊數字生態大會「互聯網AI應用專場」在深圳拉開序幕,現場人從人…(頭頂颱風摩羯)
整場大會只做一件事,講乾貨、講乾貨、講乾貨。例如:
-
作為C端消費玩家,值得買科技如何讓AIGC內容點擊率是用戶生產內容的103% ?
-
作為國產算力先鋒,燧原科技最初如何擺脫峰值算力供給難題?
-
作為和技術沒那麼近的文娛行業,貓眼娛樂如何完成幾十上百TB動畫渲染?
-
……
話不多說,這就挑重點為大家奉上。
關於用AI轉型升級,他們有話說
在大會現場,大家達成了一個基本共識:
技術方案的選擇將影響AI應用的效率。
至今為止,有3條技術路徑成為趨勢:
-
結合專業領域知識做RAG
-
Agent將成為應用落地的主要方式
-
雲計算是夯實基礎的重要底座
引用騰訊雲副總裁許華彬的話來解釋:
RAG結合企業自有知識,無需企業花費較多人力和算力,以及對大模型SFT精調,是當前企業級AI應用落地的成熟方案。
近期來多行業場景的AI Agent蓬勃發展,面向C端的原生應用,以及B端企業級業務流程自動化,將成為後續應用落地的主要方式。
雲計算是夯實基礎的重要底座,雲原生技術助力企業實現敏捷開發,以新技術、新市場的創新,實現增長突破。
那麼問題來了,不同行業/企業如何根據自身情況做選擇?
下面有請幾位代表性玩家為我們「現身講案例」:
用戶更喜歡點擊AIGC內容了
作為聚焦消費領域的玩家,值得買科技分享了一個有意思的數據:
在最新內部測試中,通過AIGC生產的內容,它的點擊率已經是用戶生產內容的103%。
該公司CTO王雲峰坦言,一般情況下,人們不太喜歡AI生產的內容(擔心虛假信息),而現在,這一點擊率已經打破了舊有印象。
why??
複盤背後的原因,王雲峰首先分享了值得買對AI的不同認知:
AI不僅僅是一個技術,其實它本身也是一個生態。
按他的話說,如果AI純粹是一個技術,那麼AI應用落地可能意味著單純使用通用模型;而實際上,AI不僅僅是生產力,很多時候它在重塑我們的生產流程。
放到消費領域的AI生態,一個明顯特徵讓它區別於金融、醫療等領域。
在消費領域,經驗遠大於知識。
也就是說,不同於金融、醫療等領域有很多確定性的知識可供模型訓練學習,用戶消費主要憑藉經驗,個性化非常強。
概括下來,消費領域的特點主要包括:
-
內容場景靈活。用戶消費更多憑藉個人經驗而非知識,且動態變化;
-
能力外延拓展。消費不單指買東西本身,還有之後的一系列體驗,邊界非常廣;
-
消費需求複雜。消費需求複雜多樣,個性化強;
認知有了,行業特點也理清了。
所以,AIGC內容之所以能逐漸贏得青睞,答案正式揭曉:
讓AI在更大程度上幫助用戶做功課。
值得買發現,讓AI幫用戶去做那些以前要做很多功課才能解決的問題,用戶點擊率和閱讀效率、閱讀時長都會比通過AI單純生成內容要好很多。
具體而言,值得買的做法是:推出一套AI解決方案。
包括1個「值得買消費大模型」(自研13B消費模型),「商品庫」和「內容庫」2大數據庫,AIUC分析引擎、AIGC生成引擎和AGENT調度引擎3個應用構建框架,以及提供針對性的AI解決方案的4類應用AI戰略。
在這一方案中,上雲是值得買戰略的關鍵:
-
通過騰訊混元大模型等理解語音、影片、圖像的多模態數據;
-
自購算力託管+多雲算力,迅速進行模型訓練和推理部署;
-
通過騰訊雲容器場景GPU虛擬化,實現對單個GPU的更細粒度劃分,提升資源利用率、減少資源和人力消耗;
-
實現10億+條商品庫與近百億條內容庫的數據處理;
芯片設計也能上雲了
作為國產AI算力先行者,燧原科技副總裁任樹峰一上台就回顧了創業初期面臨的痛點:
對一家芯片設計創業公司來說,如何保證峰值算力供給一直是個難題。
據他介紹,一個芯片設計項目的研發週期大概在1~2年,不同時間對算力的需求呈現波峰波穀狀態。
實際情況是,公司一般會集中在兩三個月內做很複雜、壓力很大的模擬仿真和各種運算。
與此同時,通常大家認為芯片設計就是寫IP或者寫代碼,但實際上,一家芯片公司還需要建機房、買服務器,以及管理服務器。
那麼問題來了,對當時的燧原來說:
面對擴容需求,公司需要買服務器,這個過程需要工程師等待算力;而且,整個機房的建設也屬於一件很複雜的工程。
結果就是,千萬級IT開銷花出去了,工程師還是因為算力不夠需要等物理擴容、等算力。
後來的解決方案是:上雲。
據任樹峰介紹,芯片設計上雲在整個行業還不太常見,原因主要是相關數據過於敏感。
對此,燧原科技聯合騰訊雲打造了本地+上雲的存算分離式新架構。
效果上,通過騰訊雲保障燧原的峰值算力供給,燧原驗證、benchmark測試效率從2周準備環境縮短至30分鐘,提升作業併發100%、縮短仿真週期30%。
動畫渲染更絲滑了
到了看似和技術沒那麼近的文娛行業,貓眼娛樂副總裁徐曉也揭露了業內痛點:
在動畫電影製作時,涉及跨城市協作且數據量達到數十至上百TB時,使用傳統網絡進行傳輸非常緩慢。
這裏要補充下,一般一個動畫項目的服務公司和工作人員可能分散在全國各地,需要將四散的工程文件進行彙總並統一渲染。
通常情形是,大家只能依賴快遞U盤或硬盤給對方,跨市傳輸至少需要1天,跨省則需2天,而跨國協作甚至可能拖延到十幾天。
經過試驗,貓眼基於騰訊雲數據傳輸、數據存儲安全方面能力打造了貓眼渲染平台。
讓工作者全部用遠程桌面登錄到集群,集群上安裝了常用工作軟件。
如此一來,工作者只需遠程在集群裡製作,不僅省去了素材交換下載環節,還能更好保護版權方。
解決了這個大問題後,再用AI去做建模……
另外,關於貓眼AI轉型之路,徐曉在會中透露:
(我們)沒有基建建設能力,只能做一些垂類模型。
他重點分享了票房預測這一場景,當前,貓眼能夠根據單個影片特徵和同期大盤預估票房。
這裏依託了基於騰訊雲打造的大數據平台。具體包括:
-
基於騰訊雲Wedata數據開發治理平台,提供數據集成,數據開發、數據資產管理等;
-
基於騰訊雲DLC數據湖產品,提供Serverless方式使用存儲計算資源,按需自動彈性擴縮容;
-
基於騰訊雲DLC數據湖產品,提供統一湖格式存儲、實時寫入和更新數據入湖;
-
騰訊雲BI提供查詢加速能力,聯合TCHouse-D提供的高性能查詢和加載報表數據到緩存,提供秒級交互式分析能力;
數據顯示,該平台可實現日均3萬+離線數倉調度任務穩定運行,核心任務執行效率提升20%。
還有哪些看點
事實上,本次大會聚齊了SaaS、文娛、社交、營銷、電商、招聘等多個泛AI應用場景,到場分享的企業還有金蝶雲、趣丸科技、智譜、獵聘、筷子科技……
篇幅有限,下面只能分享部分嘉賓看法。
作為LLM的頭部玩家,智譜企業商業技術中心總經理柴思遠分享了:
把大模型真正變成企業生產力,有幾件事值得思考。
具體而言,企業要選一個好的基座模型,同時內部最好也有類似業務BP的角色(懂模型價值、懂業務)。
更重要的是,最好發動全員去使用AI。
真正好的應用還是基於業務場景當中一些原生應用,而這些應用的創新肯定是來自於自下而上的組織內部的元素。
隨著數據資產的沉澱和變現,企業可以構築自身競爭優勢。
今天我們在大模型上落地應用,大家做的所有的指令工程和SRT的內容,隨著這個場景越來越深入的探索,這就會成為我們企業自身在大模型這個時代數據的資產或者是數據的壁壘。
最後是業務場景,前期可能適合將大模型嵌入已有工作流程;更長遠的,企業需要找到一些新的場景和業務模式,然後把模型的能力使用進去。
另外,趣丸技術保障負責人劉亞丹分享了:
應用AI賦能工具要回答的3個問題。
展開來說,劉亞丹首先提醒AI轉型也要講ROI,即「願意為AI轉型花多少?想得到怎樣的成果?」。
然後還要尋找切入點。按他的說法:
提升3到5倍效率的事情,我們才投資去做。
同時,基於以往向客戶交付顛覆性東西的嘗試,他還分享了一條經驗教訓:
在切入點上,不要改變現有的流程。
最後,騰訊混元高級AI策略產品經理張漢策分享了如何構建AI角色。
他們構建的《長相思》AI角色獲得了成功:長相思AI角色對話總熱度超3.7億,「相柳」 單角色熱度超2億。
重點是,他詳細介紹了不同訓練方法踩過的坑,包括純prompt法、RAG法,以及Agent法。
並最終總結了長相思採用的方法。
騰訊云:讓企業更聚焦自身核心業務
相信大家也發現了一個華點:這些企業在AI轉型升級中都用上了騰訊雲。
據瞭解,騰訊雲擁有廣泛的全球基礎設施,覆蓋21個地區,運營58個可用區,全球服務器數量超過100萬台,全球加速節點超過3200個,帶寬儲備達到200Tbps。
一直以來,騰訊雲都以深厚的公有雲實力和分佈式雲戰略,持續推動各行各業的數字化轉型。
截至目前,騰訊雲AI產品已覆蓋超過400家互聯網頭部企業,累計服務超過12萬家互聯網客戶。
從AI應用落地面臨的挑戰出發,騰訊雲行業架構副總監邱浩分享了騰訊雲AI全棧解決方案。
從基礎設施層、模型層、模型加速層、機器學習平台層、應用平台層和業務應用層闡述了騰訊雲在計算、存儲、網絡,一站式AI開發平台騰訊雲TI-ONE以及雲原生產品等方面的能力,並給出了對應不同階段AI應用開發的具體方案。
具體而言,騰訊雲提供了如下開箱即用的產品:
-
騰訊混元大模型。企業和個人開發者,都可以通過API直接調用騰訊混元;
-
騰訊雲TI平台。打通從數據獲取到模型訓練部署、最後到AI應用開發的全流程鏈路;
-
數據庫TDSQL。涵蓋金融級分佈式、雲原生、分析型等多引擎融合的完整數據庫產品體系,支持數據庫遷移;
-
大數據處理套件TBDS。可在公有雲、私有雲、非雲化環境,根據不同數據處理需求組合合適的存算分析組件;
-
……
總之,一句話概括騰訊雲的作用,那就是可以讓企業更聚焦自身核心業務。
借用值得買科技王雲峰的說法:
企業面臨的不確定性不會消失,但可以讓專業的人來解決。
BTW,就在大會前一天,騰訊混元發佈了全新Turbo大模型,作為新一代的旗艦模型。
相比上一代混元pro,推理性能提升超過100%的情況下,成本降低了50%,效果對標GPT-4o。
此外,新模型也支持角色扮演、代碼生成FunctionCall,以及全新推出的支持騰訊生態整合的AI搜索聯網的能力。
對了,Turbo模型這一次的定價也降低了50%。