英特爾至強6獨享MRDIMM，內存帶寬飆升，加速推理達2.4倍！

新智元報導

編輯：編輯部 HYZ

【新智元導讀】英特爾至強6性能核處理器加速推理達2.4倍，可謂是獲得了業界的一波關注。通過深入分析其架構，核數、內存帶寬大幅提升的加持可謂功不可沒。也正因此，至強6得以推理性能激增，進一步提升了推理性價比。而推理成本正是大語言模型落地最後最關鍵的挑戰。

之前的文章中，有業者預測至強6性能核處理器每顆計算單元芯片中的內核數量為43，加上每個計算單元有兩組雙通道內存控製器各佔一個網格，那麼總共佔用43+2=45個網格，可以由5×9的佈局構成。

但這個假設有一個問題，要構成128核的6980P，三顆芯片只屏蔽1個內核，這良率要求比較高啊。

至今還未在公開渠道看到至強6性能核處理器的Die shot或架構圖，但英特爾發佈了晶圓照片作為宣傳素材。

雖然晶圓照片並不能提供每顆芯片的清晰信息，但隱約能感覺到，網格構成更像是5×10，而不是5×9或6×8。

另外，左上角和左下角疑似內存控製器的區域面積比預想的要大得多，每一側佔了三個網格。

如果接受了兩組內存控製器共佔用6個網格的設定，那麼每個芯片中就是50-6=44個內核，在構成6980P的時候分別屏蔽一到兩個核即可，感覺就合理多了。

在獲得相對可信的內核數量後，新的疑惑就是：為什麼至強6性能核的內存控製器這麼佔地——這個區域有其他未知功能？還是因為增加了MRDIMM（Multiplexed Rank DIMM）的支持？

畢竟在此之前，英特爾的雙通道DDR5、三通道DDR4內存控製器只佔一個網格，甚至，連信號規模更大、帶寬更高的HBM控製器（至強CPU Max處理器）也是一個網格。

至強CPU Max處理器的HBM2e是工作在3,200MT/s，那麼每個控製器帶寬是410GB/s，整顆CPU有超過2TB/s的HBM帶寬。

雖然對疑似內存控製器區域所佔芯片面積的疑惑未解，還需要進一步解惑，但我們至少可以確定，英特爾在這一代至強的內存控製器上是下了大班錢的。

至少在相當一段時間內，它是可以「獨佔」MRDIMM的優勢了。

至強6性能核的NUMA與集群模式

談服務器的內存就繞不過NUMA（Non-Uniform Memory Access，非統一內存訪問）。因為隨著CPU內核數量的增加，各內核的內存訪問請求衝突會迅速增加。

NUMA是一個有效的解決方案，將內核分為若干組，分別擁有相對獨立的緩存、內存空間。規模縮小後，衝突就會減少。

一般來說，NUMA劃分的原則是讓物理上臨近某內存控製器的內核為一個子集。這個子集被英特爾稱為SUB-NUMA Clustering，簡稱SNC。同一SNC的內核綁定了末級緩存（LLC）和本地內存，訪問時的時延最小。

譬如，在第三代至強可擴展處理器中，一個CPU內可劃分兩個SNC域，每個SNC對應一組三通道DDR4內存控製器。如果關閉NUMA，那麼整個CPU的內存將對稱訪問。

而第四代至強可擴展處理器使用了4顆芯粒的封裝，可以被劃分為2個或4個SNC域。

如果希望每個內核可以訪問所有的緩存代理和內存，可以將第四代至強可擴展處理器設置為Hemisphere Mode或者Quadrant Mode，預設是後者。

第五代至強可擴展處理器是2顆芯粒，可以劃分為兩個SNC域。

在至強6性能核中，可以將每個計算單元芯片作為一個SNC，每個域擁有4個內存通道，這被稱為SNC3 Mode。

如果要通過其他芯粒的緩存代理訪問所有內存，那就是HEX Mode。

根據英特爾提供的數據，幾種不同模式的內存訪問時延差異較大，與內核、內存控製器之間的「距離」直接相關。

至強6性能核的內核規模、內存控製器數量增加之後，相應的訪問時延也會上升。

例如，根據我們前面的觀察，至強6性能核內每個計算單元芯片中，內核與內存控製器的最遠距離為10列，而第四代/第五代至強可擴展處理器無NUMA的為8列。這反映在英特爾的數據上，就是至強6900P在SNC3 Mode的時延略高於上一代至強處理器的Quad Mode。

如果至強6900P設為HEX Mode，那麼內核與內存控製器的最遠距離將達到13甚至15列，時延增加會比較明顯。

整體而言，由於SNC3 Mode時延低，其將成為至強6服務器的預設模式。這種模式主要是適合虛擬化/容器化這類常見雲應用，以及並行化程度高的計算（如編解碼）等。

當然，HEX Mode可以直接訪問更大規模的內存，這對於大型數據庫，尤其是以OLTP為代表的應用來說更為有利。

Oracle和SQL通常建議關閉NUMA以獲得更佳的性能。Apache Cassandra 5.0這類引入向量搜索的數據庫也能從HEX Mode顯著獲益。部分科學計算也更適合HEX Mode，譬如通過偏微分方程建模的PETSs、分子動力學軟件NAMD等。

HEX Mode的另一個典型場景是配合CXL內存使用。

譬如英特爾在今年12月11日發佈的一篇利用CXL內存優化系統內存帶寬的論文中，使用了至強6900P搭配12條64GB DDR5 6400以及8個128GB CXL內存模塊，其中至強6900P本地的768GB DDR5內存在HEX Mode下配置為NUMA0，所有的1TB CXL內存配置為NUMA1，採用優化交錯配置（Interleaving Strategy）。

測試表明，在內存帶寬敏感的應用中，使用CXL內存擴展可以提升20%～30%的性能。

MRDIMM領跑者

對於至強6性能核處理器而言，提升內存帶寬最直接的方法莫過於MRDIMM。這也是這款處理器相比其他同類產品比較獨佔的一項能力，近期看不到任何其他CPU廠商有明確支持MRDIMM的時間表，更不要說推出實際產品了。

相對而言，內存廠商對MRDIMM的支持比較積極，美光、SK海力士、威剛都推出了相應的產品，包括高尺寸（Tall formfactor，TFF）。

第一代DDR5 MRDIMM的目標速率為8,800 MT/s，未來會逐步提升至12,800 MT/s、17,600 MT/s。

MRDIMM增加了多路複用數據緩衝器（MDB），改進了寄存時鍾驅動器（MRCD）。

MDB佈置在內存金手指附近，與主機側的CPU內存控製器通訊。MDB主機側的運行速度是DRAM側的雙倍，DRAM側的數據接口是主機側的雙倍。

MRCD可以生成4個獨立的芯片選擇信號（標準的RCD是兩個，對應兩個Rank）。

MDB可通過兩個數據接口將兩個Rank分別讀入緩衝區，再從緩衝區一次性傳輸到CPU的內存控製器，由此實現了帶寬翻倍。

由於MRCD可以支持4個Rank，也意味著可以支持雙倍的內存顆粒。已經展示的MRDIMM普遍引入更高的板型（TFF），單條容量也由此倍增。

由於至強6900P插座尺寸大增，導致雙路機型的內存槽數量從上一代的32條減少到24條。要能夠繼續擴展內存容量，增加內存條的面積（增加高度）確實是最簡單直接的手段。

通過使用256GB的MRDIMM，雙路至強6900P機型可以獲得6TB內存容量。除了更大的內存帶寬，更高的內存容量也非常有利於AI訓練、大型數據庫等應用的需求，進一步強化至強6900P在AI機頭領域的優勢。

與DDR5 6,400MT/s相比，MRDIMM 8,800MT/s的實際運行頻率略低（4,400MT/s），導致輕量級的應用不能從內存帶寬的增加當中明顯獲益。

其實類似的問題在內存代際轉換之初均會存在，能夠充分利用更大內存帶寬的主要還是計算密集的應用，譬如加密、科學計算、信號處理、AI訓練和推理等。從目前的測試看，對MRDIMM受益最大的應用主要包括HPCG（High Performance Conjugate Gradient）、AMG（Algebraic Multi-Grid）、Xcompact3d這些科學計算類的應用，以及大語言模型推理。

內存帶寬與大模型推理

上一節有提到，並非所有應用都能充分利用MRDIMM的內存帶寬收益。

就本節重點要談的推理應用而言，根據目前所見的測試數據，卷積神經網絡為代表的傳統推理任務在MRDIMM中獲得的收益就比較小，不到10%的水平。

而在大語言模型推理當中，MRDIMM的帶寬優勢將得到充分的發揮，性能提升在30%以上，因為大模型是確定性的渴求顯存/內存容量和帶寬的應用場景。

在這裏就得提一下英特爾至強6性能核處理器發佈會資料中的另一個細節：在多種工作負載的性能對比中，AI部分的提升幅度最為明顯，而且僅用了96核的型號（至強6972P）。