浪潮信息劉軍：速度就是金錢，AI超節點的商業價值核心是Token交互速度！
在AI超節點系統的設計上，不應該再依照慣性思維，過分追求規模，而是應該從客戶視角出發，把token交互速度作為關鍵衡量指標，這是智能體時代AI超節點的核心商業價值。
這是浪潮信息首席AI戰略官劉軍近期接受採訪時，反復強調的一點。
浪潮信息首席AI戰略官劉軍
智能體時代，速度就是金錢
規模擴展定律（Scaling Law）一直是驅動大模型智能持續增長的底層邏輯，推動著模型參數量從百億、千億邁向現在的萬億。在後訓練階段更多的算力投入，能顯著提升模型的推理能力，而以推理能力為代表的複雜思維的湧現，是構建智能體應用的基礎。另一方面，以DeepSeek為代表的開源大模型極大的降低了創新門檻，加速了智能體產業化的到來。
Scaling Law驅動智能持續進化
劉軍指出，「智能體產業化的核心三要素是能力、速度和成本。其中，token交互速度決定了智能體的商業價值。在當下最常見的人機對話場景中，基本上按照大概50毫秒的水平，就是每秒輸出20個token，人的閱讀速度就能跟得上。但很多人還沒意識到，未來的智能體時代會更多的出現機器與機器之間的交互場景，對於智能體之間的交互而言，這個速度遠遠不夠，比如說直播電商、量化交易、欺詐防控等特定業務場景中，對token生成速度的最低要求都是10毫秒以下。」
以高強度、實時互動的直播電商場景為例。2024年底，某知名直播電商平台進行了專家組合智能體的A/B實驗，實驗組部署了經過深度優化的智能體，對照組則使用未經優化的標準版本智能體，優化後的智能體平均響應延遲相較於對照組降低了38%。實驗結果表明，部署了低延遲智能體的直播間，其商品交易總額（GMV）平均提升了11.4%，同時用戶的複購率也取得了7.8%的顯著增長。
38%的延遲降低，並非提升了智能體回答內容的質量，而是確保了這些回答能夠被精準地投遞在用戶購買意圖最為強烈的「黃金窗口」期內。在直播電商這類場景中，用戶的購買意圖是瞬時且易逝的。一個高延遲的回答意味著當智能體還在「思考」時，用戶的注意力可能已經轉移，或者主播已經開始介紹下一件商品，從而錯失了最佳的銷售轉化窗口。
「在智能體時代，快，不再是可選項，而是商業成功的剛性約束。」劉軍強調，「只有當智能體的響應快於業務決策的窗口期，快於用戶耐性消逝的臨界點……AI才能真正成為核心生產力。」
token交互速度正在重塑AI算力價值評估體系
事實上，對於token交互速度的考量正在重構AI算力系統的價值評估體系。最近廣受關注的InferenceMax™ 開源AI基準測試，正在創造一種動態追蹤模型更迭的算力評估體系，試圖在真實AI推理環境下衡量各類AI算力系統的綜合效率。在這一基準測試中，token生成速度被列為最重要的一項衡量指標。
SemiAnalysis InferenceMAX™ 開源AI基準測試
橫軸：交互速度（Interactivity，單位：tok/s/user）；縱軸：單位GPU token吞吐量（Token Throughput per GPU，單位：tok/s/gpu）
同時，清華大學與中國軟件評測中心（CSTC）對20餘家主流大模型服務提供商的綜合表現進行了全面評估，聯合發佈了大模型服務性能排行榜，明確指出延遲指標是用戶體驗的核心，直接決定用戶留存，是平台差異化競爭的首要技術門檻。因此，速度同樣也成為了大模型API服務提供商的核心競爭力。當前，全球主要大模型API服務商的token生成速度，基本維持在10~20毫秒左右，而國內的生成速度普遍高於30毫秒。
全球大模型API服務商DeepSeek Token生成速度
元腦SD200將token生成速度帶入「10毫秒時代」
要實現更低延遲的token生成能力，必然要求底層算力基礎設施在系統架構、互聯協議、軟件框架等關鍵點上進行協同創新。
浪潮信息對元腦SD200超節點AI服務器進行了大量的軟硬件協同創新與優化，實現DeepSeek R1大模型單token生成速度低至8.9毫秒，帶動國內AI服務器token生成速度率先進入「10毫秒時代」。
元腦SD200超節點AI服務器
對於為何能在token生成速度上實現如此出色的性能，劉軍表示，智能體中各個模型之間的交互，很多時候通信數據包並不是很大，超高的帶寬會出現浪費，「就像是從a地到b地修了16車道的高速公路，但是車輛在16車道上只跑了很短的距離，反而在上高速和下高速這兩個節點花了很長時間。浪潮信息的優化重點，就是解決車輛上高速和下高速的卡點問題，讓車輛直通上來，直通下去。」
元腦SD200採用了獨創的多主機3D Mesh系統架構，實現單機64路本土AI芯片高密度算力擴展，原生支持開放加速模組OAM，兼容多元AI芯片。同時，元腦SD200通過遠端GPU虛擬映射技術創新，突破跨主機域統一編址難題，實現顯存統一地址空間擴增8倍，單機可以提供最大4TB顯存和64TB內存，為萬億參數、超長序列大模型提供充足鍵值緩存空間。基於創新的系統架構設計，元腦SD200單機即可承載4萬億單體模型，或者同時部署由多個萬億參數模型構成的智能體，多模協作執行複雜任務。
元腦SD200創新多主機3D Mesh系統架構
互連協議的設計是元腦SD200實現極低通信延遲的關鍵，浪潮信息做了大量的通信優化和技術創新，如採用極致精簡的3層協議棧，並原生支持 Load/Store等「內存語義」，讓GPU可直接訪問遠端節點的顯存或主存，將基礎通信延遲縮短至百納秒級；另外Open Fabric原生支持由硬件邏輯實現的鏈路層重傳，重傳延遲低至微秒級，特別是分佈式、預防式的流控機制，實現全局任務均在發送前確保接收端有能力接收，從根本上避免了擁塞和丟包。
元腦SD200極低Latency通信
除了硬件方面的創新，浪潮信息也針對DeepSeek、Kimi等模型的計算特徵和元腦SD200的硬件架構特徵，完成了通信庫、計算框架、PD分離策略等多方面的優化，大幅提升了DeepSeek、Kimi等大模型的推理輸出速度。通信庫層面，針對Allreduce、Allgather、Alltoall等典型通信算子，浪潮信息製定了與元腦SD200深度適配的通信算法；框架層面，浪潮信息完成了並行方式、算子融合、多流水線等多方面優化，來保證計算的低延遲；在推理階段，浪潮信息開發了預填充-解碼 (Prefill-Decode) 分離軟件，針對預填充與解碼不同的計算特性，使用不同的並行計算策略、硬件配置等，提高系統整體的計算性能。
實測數據顯示，元腦SD200搭載64張本土AI芯片運行DeepSeek R1大模型，當輸入長度為4096、輸出長度為1024時，單用戶token生成達到112 tokens/s，每token生成時間僅為8.9ms，率先實現國內AI服務器token生成速度低於10ms，將推動萬億參數大模型在金融、科研、智能製造等領域快速落地。
未來十年AI經濟的增長邊界，從某種意義而言，將取決於整個行業在算法、軟件和硬件層面協同攻克延遲挑戰的能力。「速度就是金錢」不僅是一種新的商業主張，更是驅動下一代人工智能增長的核心經濟邏輯。浪潮信息將面向智能體產業化需求，持續以架構創新激發產業創新活力，讓AI成為百行千業的生產力和創新力。
