一邊訓一邊跑，京東雲搶跑大模型產業落地

眼瞅著大模型的熱鬧就兩週年了，市場不再相信故事。大模型玩家們，也逐漸分成了兩大派別。

第一派繼續卷性能。比如Meta發佈Llama 3.1，最大參數可達405B 。法國AI公司Mistral AI則推出新一代旗艦模型Mistral Large 2，以1230億參數應戰Llama 3.1，GPT4-o和Claude 3.5 Sonnet。

第二派開始聚焦大模型應用。比如OpenAI剛剛發佈了全新AI搜索引擎SearchGPT，號稱是一種「新搜索方式」。而國內的企業也開始愈發重視模型的落地，比如京東公佈超35萬小哥已經用上了大模型。

模型大不大與應用好不好，是否存在必然的聯繫？一個超強的大模型，又是否能解決一切難題？我相信市場沒有絕對正確的答案，但每個企業都有適合自己的選擇。

基礎大模型靠卡堆出來的，企業模型要自己用出來的

據測評，Llama 3.1 405B能力超強，在超過150個基準測試集中的表現追平甚至超越了GPT-4o 和 Claude 3.5 Sonnet 等強大的閉源模型。但訓練Llama 3.1也是代價極高。儘管Meta 優化了整個訓練堆棧，還是使用了超過 1.6萬塊H100 GPU。

GPU萬卡集群已是超大規模，僅僅是GPU的採買就極其燒錢。然而，科技狂人馬斯克今年底的新目標，再次推高了大模型訓練算力資源規模上限。他計劃年底推出Grok-3大模型，「有可能超越目前的人工智能基準」，但需要10萬塊英偉達的H100。

雖然模型能力越來越強大，但堆卡訓練超大參數的模型應用卻有兩難。

第一難是「你太貴了」。現實情況是，Llama 3.1405B的參數規模太大，本地部署及運行非常消耗算力。外國網民用一張英偉達4090運行Llama 3.1405B，僅僅一個問題的回答，就整整用了20個小時。

第二難是「你不懂我」。儘管大模型越來越強，但通用大模型依舊缺乏特定領域的知識，無法滿足企業的業務需求，所以企業應用還需要對模型進行微調。這背後又是大量的財務和時間成本。

2023年7月，京東雲發佈言犀大模型。經過一年來大模型在京東供應鏈場景的大規模應用，京東雲對上述問題的回應是：基座大模型是靠卡訓出來的，企業大模型是靠人用出來的。

與其等待或費盡心思挑選能力強大的大模型，不如對現有的低成本模型進行適企化改造，通過持續的數據注入和場景迭代，實現大模型在企業的落地。

讓企業把大模型先用起來，首先需要解決大模型的應用成本和效率問題。為此他們提出了模型壓縮及拉升技術，使模型耗能更低的同時，更符合企業需求。其次需要找到真正體現大模型價值的應用的場景。讓大模型在特定場景跑出業務價值絕非易事。京東的策略是，把大模型業務應用場景的決策權交給一線員工。

比如，京東雲言犀打造的采銷東哥數字人、京東618總裁數字人直播，在直播電商賽道率先實現大規模商業化。還依託全新升級3.0版本，以超100位個性化角色、超50個行業特定屬性場景，閑時直播超30%的轉化率提升，向企業提供更加個性化、風格化的數字人定製解決方案。

又比如，京東科技金融運營團隊，將數十年在行業理解、營銷流程、運營策略知識、實操經驗的積累，結合大模型封裝進AI增長營銷平台，大幅優化營銷機會洞察、營銷素材生成、營銷策略製定與投放全流程，據京東數據顯示，實現整體運營配置提效超30%，推動業務增長25%。

大模型先在供應鏈上跑起來了

從本次京東雲峰會發佈的多個產品來看，近35萬京東自有配送員、超20萬商家、超5萬副主任級別以上醫生、超2萬采銷運營、超1萬研發人員，已經在京東100多個AI場景開始應用。

京東言犀大模型深度融入業務流程，得益於京東供應鏈長鏈路、複雜協同的原生數據，更適合產業大模型訓練及落地。回看過去這一年，京東在產業土壤中種植大模型，秉承「把大模型做實、把供應鏈做透」的理念，越來越多的大模型應用，正在京東供應鏈上生長。

在零售行業，基於京東言犀大模型的AIGC營銷工具「京點點」，不僅可以幫助商家一鍵生成商品圖，還支持了超過2000種視覺元素道具；不僅可以豐富圖片的視覺層次，還能根據商品的特點和營銷需要個性化佈局。支持能生成商品賣點文案、商品種草文案、直播腳本，還具備商品短影片、AI店舖運營等多個場景的生成能力。如今，據京東數據統計，京點點AIGC營銷生成圖片的採納率能達到65%，生成營銷文案的準確率能達到95%以上。它服務了京東商城20多萬商家，幫助平台商家提升經營轉化。

在物流行業，小哥終端智能助手將物流配送這一流程複雜的工作效率，大幅提升。小哥的工作包括攬收、派送、站內、輔助、客戶服務五大類，需要熟悉的規範包括貨物處理規程、安全操作標準、客戶服務要求等多達上百個，把這些統統記牢，需要耗費大把時間。如今有了小哥終端智能助手，這些問題就都迎刃而解，關於物流的問題它都能回答。不僅會「動腦」，還能直接「下手」，只需要快遞小哥動動嘴，小哥終端智能助手就能將送貨通知直接發給客戶。如今，小哥終端智能助手已服務近35萬京東自有配送員。

在健康行業，基於行業內首個實物與服務相聯通、知識與數據相融合的醫療大模型京醫千詢，免費智能醫生「康康」，結合京東健康億級高質量醫患會話和豐富的實物、服務、內容等供應鏈資源，提供專業、有溫度的健康諮詢服務；專屬個人醫助，可以支持病情收集、診斷推薦、治療方案推薦、病情解釋、智能病曆等功能，全流程輔助醫生提升問診效率。京東數據顯示，如今，京東健康皮膚醫院基於大模型的AI輔診準確率超過95%。

開放平台支持企業用出自己的大模型

基於內部豐富的場景打磨，京東雲構建了簡單、開放的全棧產品，從基礎設施到Agent應用，構建面向全場景的大模型服務能力。

在Agent應用方面，京東雲最新發佈了言犀智能體平台。作為一站式 AI Agent 開發平台，言犀智能體平台平台目前已接入數十個大模型，無論用戶是否有編程基礎，從解決簡單的問答到處理複雜邏輯的業務問題，都可以在言犀智能體平台上低成本快速搭建基於 AI 模型的各類快捷應用。通過言犀智能體平台，AI場景的探索落地從3個月縮短到1周，新應用的創建，從以前幾個月排期研發一個應用，到每個月產生上千應用。目前，京東內部基於言犀智能體平台的智能體超過3300個。

在模型服務方面，京東雲推出了企業大模型服務，將垂直領域知識注入到模型的同時，不損失模型的通用能力，且更加經濟適用。通過大模型壓縮技術，減去對企業權重低的模型神經元，同時提高模型推理速度，使模型耗能更低；基於大模型拉升技術，通過激活更匹配企業訴求的神經元，實現特定領域數據自進化並注入拉升模型中，使得問題處理結果更符合企業使用訴求；大模型推拉技術的使用，讓推理側模型顯存節約 70%，速度提升 1.5倍，極大提升企業模型使用效率。

在工具鏈方面，京東雲言犀AI開發計算平台2.0，提供包括數據準備、模型開發、模型訓練、模型部署在內的AI開發全鏈路服務，讓用戶可以快速把一個通用模型，轉化成適合自身場景的專業模型，新版本進一步簡化了模型開發流程，內置20餘種開源模型和豐富的數據集，並提供100餘種算法和工具鏈，為客戶的大模型開發，提供低門檻、高性價比的AI服務能力。

在基礎設施方面，京東雲高性能計算集群、超低延遲網絡、高性能分佈式存儲等，提供極致的數字基礎設施能力，並基於混合多雲操作系統，對AI異構資源進行靈活調度，更好地滿足大模型的算力需求。最新升級的新一代存儲雲海3.0，在性能層面持續提升，基於融合超低延時RDMA網絡及軟件架構優化，4K隨機寫IOPS達到1000萬級，平均延遲在100微秒級，支持百GB級超大帶寬，更好地支持千億級參數AI大模型。

在產業的沃土中孕育而生，大模型正以不可阻擋之勢，成為企業數智化轉型的中堅力量。京東雲以其深厚的技術底蘊和創新實踐，不僅為大模型在行業落地和企業應用提供了堅實的基石，更在這場技術革新的征途中，率先邁出了堅定而有力的一步。