一邊訓一邊跑,京東雲搶跑大模型產業落地
眼瞅著大模型的熱鬧就兩週年了,市場不再相信故事。大模型玩家們,也逐漸分成了兩大派別。
第一派繼續卷性能。比如Meta發佈Llama 3.1,最大參數可達405B 。法國AI公司Mistral AI則推出新一代旗艦模型Mistral Large 2,以1230億參數應戰Llama 3.1,GPT4-o和Claude 3.5 Sonnet。
第二派開始聚焦大模型應用。比如OpenAI剛剛發佈了全新AI搜索引擎SearchGPT,號稱是一種「新搜索方式」。而國內的企業也開始愈發重視模型的落地,比如京東公佈超35萬小哥已經用上了大模型。
模型大不大與應用好不好,是否存在必然的聯繫?一個超強的大模型,又是否能解決一切難題?我相信市場沒有絕對正確的答案,但每個企業都有適合自己的選擇。
基礎大模型靠卡堆出來的,企業模型要自己用出來的
據測評,Llama 3.1 405B能力超強,在超過150個基準測試集中的表現追平甚至超越了GPT-4o 和 Claude 3.5 Sonnet 等強大的閉源模型。但訓練Llama 3.1也是代價極高。儘管Meta 優化了整個訓練堆棧,還是使用了超過 1.6萬塊H100 GPU。
GPU萬卡集群已是超大規模,僅僅是GPU的採買就極其燒錢。然而,科技狂人馬斯克今年底的新目標,再次推高了大模型訓練算力資源規模上限。他計劃年底推出Grok-3大模型,「有可能超越目前的人工智能基準」,但需要10萬塊英偉達的H100。
雖然模型能力越來越強大,但堆卡訓練超大參數的模型應用卻有兩難。
第一難是「你太貴了」。現實情況是,Llama 3.1405B的參數規模太大,本地部署及運行非常消耗算力。外國網民用一張英偉達4090運行Llama 3.1405B,僅僅一個問題的回答,就整整用了20個小時。
第二難是「你不懂我」。儘管大模型越來越強,但通用大模型依舊缺乏特定領域的知識,無法滿足企業的業務需求,所以企業應用還需要對模型進行微調。這背後又是大量的財務和時間成本。
![](http://n.sinaimg.cn/spider20240730/200/w1080h720/20240730/7fff-785d5f229034d0b3f55334dcf73f8a59.jpg)
2023年7月,京東雲發佈言犀大模型。經過一年來大模型在京東供應鏈場景的大規模應用,京東雲對上述問題的回應是:基座大模型是靠卡訓出來的,企業大模型是靠人用出來的。
與其等待或費盡心思挑選能力強大的大模型,不如對現有的低成本模型進行適企化改造,通過持續的數據注入和場景迭代,實現大模型在企業的落地。
讓企業把大模型先用起來,首先需要解決大模型的應用成本和效率問題。為此他們提出了模型壓縮及拉升技術,使模型耗能更低的同時,更符合企業需求。其次需要找到真正體現大模型價值的應用的場景。讓大模型在特定場景跑出業務價值絕非易事。京東的策略是,把大模型業務應用場景的決策權交給一線員工。
比如,京東雲言犀打造的采銷東哥數字人、京東618總裁數字人直播,在直播電商賽道率先實現大規模商業化。還依託全新升級3.0版本,以超100位個性化角色、超50個行業特定屬性場景,閑時直播超30%的轉化率提升,向企業提供更加個性化、風格化的數字人定製解決方案。
![京東雲言犀數字人3.0](http://f.sinaimg.cn/spider20240730/750/w480h270/20240730/35b9-gif88b9307d385cc7daab5ef3ea153d0fa8.gif)
又比如,京東科技金融運營團隊,將數十年在行業理解、營銷流程、運營策略知識、實操經驗的積累,結合大模型封裝進AI增長營銷平台,大幅優化營銷機會洞察、營銷素材生成、營銷策略製定與投放全流程,據京東數據顯示,實現整體運營配置提效超30%,推動業務增長25%。
大模型先在供應鏈上跑起來了
從本次京東雲峰會發佈的多個產品來看,近35萬京東自有配送員、超20萬商家、超5萬副主任級別以上醫生、超2萬采銷運營、超1萬研發人員,已經在京東100多個AI場景開始應用。
![](http://n.sinaimg.cn/spider20240730/200/w1080h720/20240730/2bec-b598ba54b79b1e244c455967fb7ff0a2.jpg)
京東言犀大模型深度融入業務流程,得益於京東供應鏈長鏈路、複雜協同的原生數據,更適合產業大模型訓練及落地。回看過去這一年,京東在產業土壤中種植大模型,秉承「把大模型做實、把供應鏈做透」的理念,越來越多的大模型應用,正在京東供應鏈上生長。
在零售行業,基於京東言犀大模型的AIGC營銷工具「京點點」,不僅可以幫助商家一鍵生成商品圖,還支持了超過2000種視覺元素道具;不僅可以豐富圖片的視覺層次,還能根據商品的特點和營銷需要個性化佈局。支持能生成商品賣點文案、商品種草文案、直播腳本,還具備商品短影片、AI店舖運營等多個場景的生成能力。如今,據京東數據統計,京點點AIGC營銷生成圖片的採納率能達到65%,生成營銷文案的準確率能達到95%以上。它服務了京東商城20多萬商家,幫助平台商家提升經營轉化。
![大模型在零售全流程應用](http://f.sinaimg.cn/spider20240730/68/w568h300/20240730/6f44-gif870ca4bd8b7934e6fe3163a4ebbef26b.gif)
在物流行業,小哥終端智能助手將物流配送這一流程複雜的工作效率,大幅提升。小哥的工作包括攬收、派送、站內、輔助、客戶服務五大類,需要熟悉的規範包括貨物處理規程、安全操作標準、客戶服務要求等多達上百個,把這些統統記牢,需要耗費大把時間。如今有了小哥終端智能助手,這些問題就都迎刃而解,關於物流的問題它都能回答。不僅會「動腦」,還能直接「下手」,只需要快遞小哥動動嘴,小哥終端智能助手就能將送貨通知直接發給客戶。如今,小哥終端智能助手已服務近35萬京東自有配送員。
在健康行業,基於行業內首個實物與服務相聯通、知識與數據相融合的醫療大模型京醫千詢,免費智能醫生「康康」,結合京東健康億級高質量醫患會話和豐富的實物、服務、內容等供應鏈資源,提供專業、有溫度的健康諮詢服務;專屬個人醫助,可以支持病情收集、診斷推薦、治療方案推薦、病情解釋、智能病曆等功能,全流程輔助醫生提升問診效率。京東數據顯示,如今,京東健康皮膚醫院基於大模型的AI輔診準確率超過95%。
開放平台支持企業用出自己的大模型
基於內部豐富的場景打磨,京東雲構建了簡單、開放的全棧產品,從基礎設施到Agent應用,構建面向全場景的大模型服務能力。
![](http://n.sinaimg.cn/spider20240730/199/w1080h719/20240730/5722-2767ca3871f81b9ce5ccd27e3e91acd2.jpg)
在Agent應用方面,京東雲最新發佈了言犀智能體平台。作為一站式 AI Agent 開發平台,言犀智能體平台平台目前已接入數十個大模型,無論用戶是否有編程基礎,從解決簡單的問答到處理複雜邏輯的業務問題,都可以在言犀智能體平台上低成本快速搭建基於 AI 模型的各類快捷應用。通過言犀智能體平台,AI場景的探索落地從3個月縮短到1周,新應用的創建,從以前幾個月排期研發一個應用,到每個月產生上千應用。目前,京東內部基於言犀智能體平台的智能體超過3300個。
![言犀智能體平台](http://f.sinaimg.cn/spider20240730/68/w568h300/20240730/4145-gif7353407c661bd824445502d9fa953e31.gif)
在模型服務方面,京東雲推出了企業大模型服務,將垂直領域知識注入到模型的同時,不損失模型的通用能力,且更加經濟適用。通過大模型壓縮技術,減去對企業權重低的模型神經元,同時提高模型推理速度,使模型耗能更低;基於大模型拉升技術,通過激活更匹配企業訴求的神經元,實現特定領域數據自進化並注入拉升模型中,使得問題處理結果更符合企業使用訴求;大模型推拉技術的使用,讓推理側模型顯存節約 70%,速度提升 1.5倍,極大提升企業模型使用效率。
在工具鏈方面,京東雲言犀AI開發計算平台2.0,提供包括數據準備、模型開發、模型訓練、模型部署在內的AI開發全鏈路服務,讓用戶可以快速把一個通用模型,轉化成適合自身場景的專業模型,新版本進一步簡化了模型開發流程,內置20餘種開源模型和豐富的數據集,並提供100餘種算法和工具鏈,為客戶的大模型開發,提供低門檻、高性價比的AI服務能力。
在基礎設施方面,京東雲高性能計算集群、超低延遲網絡、高性能分佈式存儲等,提供極致的數字基礎設施能力,並基於混合多雲操作系統,對AI異構資源進行靈活調度,更好地滿足大模型的算力需求。最新升級的新一代存儲雲海3.0,在性能層面持續提升,基於融合超低延時RDMA網絡及軟件架構優化,4K隨機寫IOPS達到1000萬級,平均延遲在100微秒級,支持百GB級超大帶寬,更好地支持千億級參數AI大模型。
在產業的沃土中孕育而生,大模型正以不可阻擋之勢,成為企業數智化轉型的中堅力量。京東雲以其深厚的技術底蘊和創新實踐,不僅為大模型在行業落地和企業應用提供了堅實的基石,更在這場技術革新的征途中,率先邁出了堅定而有力的一步。