萬卡集群的AI數據中心，到底是如何運作的？

11月07日 20:19 新浪網 news-china-auto-hilite

2024年7月22日淩晨，xAI創始人Elon Musk在Twitter上正式宣佈，在淩晨4:20分正式啟動了世界上最強的AI訓練集群。

這個訓練集群建設在美國田納西州莫菲斯市，集合了10 萬個液冷H100芯片。

然而，這在當地卻引發了居民們的抗議和不滿。

這樣巨大的AI訓練集群每天會消耗100萬加侖的水和150兆瓦的電力，因此也是引發了當地環保人士的擔心和抗議。

隨著萬卡集群，甚至十萬卡集群成為科技巨頭們訓練AI大模型的標配，這樣的巨型數據中心到底意味著什麼？

消耗電力好理解，那為什麼會消耗如此多的水呢？冷卻系統與供電系統等關鍵基礎設施是如何運作的？目前數據中心的主計算芯片開始從CPU轉向GPU，這會帶來如何的變革？

可能大家對CPU、GPU這類計算芯片瞭解較多，卻很少會關注配套的基礎設施。

但事實上，它們就像冰山藏在水下的部分一樣，不僅是整個數據中心的支柱，還是至關重要的安全樞紐。

我們來揭秘一下萬卡集群的數據中心到底是如何運作的，也非常榮幸邀請了專注於數據中心基礎設施的公司維諦技術的多位專家一起來探討，AI爆發給數據中心的基礎設施帶來的挑戰與機遇。

AI時代數據中心面臨的挑戰

首先，我們先簡單瞭解下，數據中心的組成結構。

從物理結構上來看，數據中心會劃分成三個系統，主機房、供電系統和冷卻系統。

如果咱們把數據中心類比成一支軍隊，你看這主機房陳列的一排排機櫃，像不像前線征戰的士兵，它們承擔著整個數據中心的核心功能——運算。

而冷卻與供電系統則是軍隊後方的保障機構。冷卻系統負責保障士兵的健康與安全，供電系統負責糧草的運送與分配。

此外還有綜合管理系統來維護兵器等等，它們就像數據中心的「兵部尚書」，雖然不在一線征戰，卻起到了關鍵作用。

如今一些數據中心開始由通用計算轉向專用計算，其中以AI為主的數據中心被稱為「智算數據中心」，主力芯片從CPU變成了GPU，這也將對所有基礎設施帶來巨大的挑戰。

顧華

維諦技術市場營銷與產品應用高級總監：

因為傳統的CPU其實過去十多年的時間一直在採用的X86的結構，它CPU的功耗，包括服務器的功耗都相對比較標準和恒定，所以我們在過去的近十多年的時間，看到數據中心的平均的機櫃的功率密度，大概一直在3~5千瓦左右。

但是現在隨著GPU的採用，AI模型的推理和訓練，需要集中大量的GPU來進行並行的浮點運算，需要通過集群的方式，通過軟件互聯通信在非常小的空間裡面集中大量的GPU。

這使得GPU的服務器，包括單機櫃的功率密度會迅速的提高。所以我們也看到機櫃的功率密度從過去的5千瓦，現在迅速的提升到了10千瓦、 20千瓦、 40千瓦，甚至80千瓦、100千瓦以上。

智算機櫃功率密度的提升對基礎設施來說，我覺得主要有四大方面的挑戰。

首先是給散熱能力帶來的挑戰，第二個方面是給高效的能源供應帶來的挑戰，第三個是佔地面積，第四是快速的部署。

所以，GPU芯片的迅速更新迭代給數據中心配套設施帶來了這四大挑戰。如何應對這四個問題，我們先來看看冷卻系統，為什麼它會如此耗水？

冷卻系統

Chapter 2.1 冷卻系統的重要性

電子器件運行時會產生熱量，而芯片對熱量尤其敏感，如果過熱，輕則觸發芯片的自我保護機制，降低運行頻率，重則導致服務器故障，業務中斷，甚至燒燬硬件。

隨著數據中心的功率密度越來越高，這時如果冷卻系統發生故障，留給維護人員的反應時間，可能只有一兩分鐘。

王超

維諦技術熱管理解決方案部高級經理：

如果單機櫃到了10千瓦，按照我們過去的仿真經驗，可能很快，一兩分鐘，（環境）就能到 30多度甚至40度，那就宕機了。

因此，芯片算力的升級也直接帶來了對數據中心冷卻系統的升級需求。我們在《搶電、圈地、對賭，深聊科技巨頭的千億美元AI能源大戰》那期文章里也講過，隨著功率密度的提升，廠商們開始轉向液冷方案。

而恰恰是這個液冷，導致了不少環保人士抵製。

除了開頭說的xAI訓練集群外，2023年烏拉圭民眾也聯合抗議Google建設數據中心，還有新墨西哥州的農民抗議Meta數據中心遷入。

大家抵製的原因之一就是，這些數據中心耗水太多，甚至加劇了當地的乾旱情況。

那為什麼液冷會消耗如此多的水呢？

Chapter 2.2 液冷為何如此耗水

在回答這個問題前，我們需要簡單科普下冷卻系統的結構。目前冷卻系統主要分為兩個大類，風冷與液冷。

我們先來聊聊風冷。如果你進入過數據中心，那第一感覺應該是：太吵了！這個噪音就來自於機櫃中用於給芯片降溫的風扇。

風扇的作用是將芯片的熱量散發到空氣中，但如果熱量全部堆積在空氣中，也會降低散熱效果，所以還需要空調對空氣降溫。

空調也分為很多種，我們這裏就不一一舉例了。

顯而易見的是，空氣的熱交換效率較低，在功率密度不斷提升下，必須採用效率更高的散熱介質，那就是液體。

液冷散熱的原理就是通過水的蒸發潛熱帶走芯片的熱量，液冷散熱也分為很多種，目前全球主流的兩類是冷板液冷和浸沒液冷。

王超

維諦技術熱管理解決方案部高級經理：

當然在國內還有一種是噴淋液冷技術。噴淋也是一個比較創新的技術，但這個技術目前還是受到了一定的限制，所以不是很多。

冷板液冷是讓冷板與芯片緊密貼合，讓芯片熱量傳導至冷板中的冷卻液，並將冷卻液中的熱量運輸至後端冷卻。

而浸沒液冷是將整個主板都浸沒在特定液體中，但對於目前主流的GPU設備來說，浸沒液冷卻不太適用。

王超

維諦技術熱管理解決方案部高級經理：‍

因為所有GPU它都是還是按照冷板液冷這種規格來開發的，所以不太適配浸沒。

冷卻系統會分為一次側和二次側，一次側是將整體熱量散走，並與二次側的冷卻分發單元（Cooling Distribution Units，簡稱CDU）來交換熱量。

通常提到的液冷散熱，都是指二次側，由CDU將冷水分配到各個機櫃中。而當前的液冷散熱系統一次側大部分也是水冷方式，最終在室外通過水的顯熱交換和潛熱交換帶走全部熱量。

顯熱交換是水在加熱或冷卻過程中，會吸收或釋放的熱量，水的狀態不變。

而潛熱交換就是水在相變過程中，如蒸發、凝結、融化、凝固時，吸收或釋放的熱量，而溫度保持不變。

就像咱們天氣熱時，如果給房間放一盆水，水溫慢慢升高，這就是顯熱交換；同時水會慢慢蒸發，這就是潛熱交換，兩種交換共同進行，使得水盆上方的空氣溫度降低。

前面我們說到環保人士抵製AI數據中心，就是因為萬卡集群的AI數據中心，浪費的水實在太多了。

王超

維諦技術熱管理解決方案部高級經理：

這其實就回到那個規模效應了，如果說咱們只是建一兩個數據中心，比如就是像20兆瓦，或者甚至即使到100兆瓦都沒事。但是如果進一步擴大，那個耗水量是非常巨大的，可能會對當地的地下水資源有一定的影響，可以肯定一定會存在數據中心和人搶水的這個問題。

你可能想問，就算水蒸發了，那不是還會變成雨降下來嗎？為什麼會被稱為「浪費」呢？我們分兩個方面來說。

首先，水蒸發後變成雲，飄到哪兒降落就不好說了，數據中心就像個抽水機，把當地的水抽走後送到了其他地方，對於原本降雨量低的地區，加劇了乾旱情況。

其次，數據中心對水的質量要求也不低，但高質量的水蒸發後，如果降落在汙染地或海面，這些水很難再利用了。

同時，使用高質量的水，也意味著數據中心要和居民搶水，甚至可能造成民用水不夠的情況。

那為什麼一定要用高質量的水呢？

王超

維諦技術熱管理解決方案部高級經理：

水如果蒸發，它就會跟製冷設備的一些部件會有接觸，不管是水滴還是水霧，它到製冷設備上面，如果水質不太好，比如酸堿度不太好，偏酸偏堿都可能會導致腐蝕。如果鈣鎂離子的含量比較多，就像咱們家裡燒開水一樣，那可能水垢就會附著在表面上。

一旦水垢附著在換熱設備的表面，帶來的影響就是換熱設備的效率會下降。本來我是 200千瓦的散熱量，但是因為水溝問題，可能會導致它衰減到80%，甚至更低，那帶來的就是冷量可能不夠這一類的問題。

有報導稱，每個數據中心平均每天要消耗100萬到500萬加侖的水，比如開頭提到的xAI萬卡集群，每天消耗100萬加侖的水，可供3000多戶家庭使用一天。

而GPT-3在訓練期間消耗了700萬噸水，後續的推理階段，每回答20個問題，就相當於倒掉了一瓶500毫升的礦泉水。

NPJ的一份名為《數據中心用水調查》報告顯示，數據中心耗水來源58%是飲用水，這其中還存在耗水不透明度的問題，長此以往甚至會造成氣候風險。

所以也難怪AI數據中心會遭到抵製了。

同時，也有企業做過海底數據中心，如此一來不就解決了耗水問題嗎？但很遺憾，這就涉及到冷卻系統面臨的另一大挑戰，經濟賬的問題了。

Chapter 2.3 冷卻系統的經濟賬

海底數據中心就是把服務器放置在殼體內並沉到海水裡，因為海水的溫度較低，可以直接為殼體降溫，而且不需要額外補充機械能。

聽上去是個既節能又環保的方案，但維諦的專家告訴我們，這將對技術提出更高的要求。

王超

維諦技術熱管理解決方案部高級經理：

因為沉到海水裡邊，整個數據中心的殼體、包括一些光纜還有電纜之類的，它都要能下海，其實提出了更高的要求。

更高的技術要求，就意味著企業需要在研發上投入更多，但長期來看，這確實是一個創新的解決方案。

除了技術難題外，冷卻系統的用電也一直居高不下。有數據顯示，冷卻系統通常佔數據中心平均電力消耗的40%，不少巨頭都在努力降低冷卻系統的能源消耗，但搞不好反而會弄巧成拙。

有論文研究稱，數據中心每將送風溫度提高1°C，可以降低大約2-5%的製冷功率，因此數據中心開始呈現把冷卻系統溫度從75℉（約23.9℃）提高到85℉（約29.4℃）的趨勢，連Google也採取了這樣的做法。

但這個做法還挺危險的，這相當於你設置的溫度，距離數據中心能承受最高溫度的緩衝區間縮窄了，反倒會導致系統性風險。

比如，2021年，新加坡一家數據中心運營商為了節省冷卻成本，將溫度提高到危險的臨界水平，結果導致數據中心服務器大面積故障，這種情況持續了近一週，真是得不償失。

同時，這篇論文也發出了警告：數據中心受到熱攻擊的原因之一，是因為採用了激進的冷卻策略，也就是系統溫度設置的太高，減少了冗餘度。

所以如何讓冷卻系統更節能，成為了AI時代的挑戰之一。

維諦技術的專家告訴我們，要降低冷卻系統能耗，主要分為三大方向。

王超

維諦技術熱管理解決方案部高級經理：

現在從節能角度來講，其實是可以分為三大方向。一個是從風側來做自然冷來做節能，然後另外的話就是水側自然冷，還有就是氟側自然冷。

所謂的「自然冷」（Free-Cooling），是指利用室外的低溫冷源，來給室內降溫，達到降低能耗的一種技術方法。

想像一下冬天我們悶在房間里非常熱，如果打開窗戶讓室外的冷空氣進入，房間就涼快了，這就是自然冷。

而風側自然冷，就是在窗戶邊放一些風扇向房間吹風，加速室外冷空氣進入。

水側自然冷和氟側自然冷，則是將導體替換為了水和氟。

王超

維諦技術熱管理解決方案部高級經理：

風側自然冷它是受地理條件的限制比較大，因為它是會把新風引到機房裡來，對空氣質量之類有一定的要求，其實就是即使做新風也是會結合一些機械冷的。從我們來講，我們還是更專注於水側自然冷和氟側自然冷。

氟側自然冷就是我們常規的風冷空調這個系統，在溫度相對來說比較低，以及冬季的時候，來通過氟泵工作來利用室外自然冷源，那這會就不需要開壓縮機了，壓縮機的功耗就是整個系統裡邊製冷功耗最大的部分，那如果可以在一部分時間裡邊把壓縮機替換成氟泵，因為氟泵的功率是很低的，那當然可以大大的節約能耗。

水側自然冷，做節能就是通過室外的一些蒸發之類的，把它的那個冷的能力間接的帶到室內來。

風側自然冷受到地理限制較大，水側自然冷蒸發的水太多，所以目前既省電又省水的方案，就是氟側自然冷。

王超

維諦技術熱管理解決方案部高級經理：

氟側自然冷它就是一個無水的智能解決方案，天然的它就不需要水，它是靠氟泵、靠冷媒來實現自然冷的，不需要靠水的蒸發。

但這種方式就對技術提出了很大挑戰，需要長期的積累經驗，才能控制好整套系統。

王超

維諦技術熱管理解決方案部高級經理：

怎麼才能更好的控制，讓氟泵的工作時長更長一點點，讓氟泵和壓縮機的切換能夠更加的穩定、更少的波動、然後讓它更節能。它的難度是比做水側自然冷是要更難的，所以最大的難點就還是在於技術儲備。

除了節能環保外，如今數據中心還面臨著芯片升級的挑戰。

我們之前的文章中有提到，英偉達新出的Blackwell芯片，由於功耗上升，老舊的數據中心難以直接部署，甚至一些公司由於業務轉型，需要將以CPU為主的計算設備，升級到以GPU為主，如何改造成了當下的難題。

Chapter 2.4 數據中心如何升級？

‍

王超

維諦技術熱管理解決方案部高級經理：‍

在AI來之前，數據中心的分類其實都是以風冷為主的，那它的單機櫃功率密度才5~10千瓦，而且其實10千瓦的都不是很多了，主要是5~6千瓦這樣的為主。那現在我要升級智算，首先要把風冷設備的散熱量加夠，然後再去額外的再去補充液冷部分。

既然冷卻系統可以升級，為什麼還有些企業會選擇花很多資金重建數據中心呢？這就不得不說到，舊機房升級的瓶頸了。

王超

維諦技術熱管理解決方案部高級經理：

對於製冷它主要就是空間的問題，一般情況下，從我們當前的設計經驗來看，製冷設備的空間往往可能是夠的。因為原先的單機櫃6千瓦，現在單機櫃40千瓦，那單機櫃的功率密度提升了6倍還多，原先6個機櫃解決的問題，現在只需要一個機櫃。

行業裡邊有一個說法，就是數據中心的盡頭其實是電力，所以咱們在擴容的時候，往往首先要考慮的還是電力的問題。

為什麼電力是製約數據中心升級的因素？AI爆發又給供電系統帶來了哪些挑戰呢？接下來我們聊聊供電系統。

供電系統

Chapter 3.1 AI給供電系統帶來的挑戰

我們在 AI電力爭奪戰那期文章里講過，AI數據中心帶來了大量電能消耗，未來將給電網帶來供應缺口，其實不止是外部的電網，AI數據中心內部的供電也同樣面臨巨大壓力，其中很大的因素就在於佔地面積。

趙呈濤

維諦技術ACP解決方案部高級經理：

因為整個的功率密度提升，供配電和IT機房的佔比出現了很大的偏差，佔地面積成為了一個很大的挑戰。

正是因為這些難點，成為了老舊數據中心升級困難的原因，其中最為棘手的就是佔地問題。

在解析這個問題前，為了便於大家理解，我們先簡單介紹下供電系統的結構。

Chapter 3.2 供電系統結構及佔地問題

供電系統的結構主要分為四個層級：市電或發電機將電能輸送到變配電系統，變配電系統會給冷卻系統、不間斷電源（Uninterruptible Power Supply，即UPS）供電，UPS再將電能送到主機房的電源分配單元（Power Distribution Unit，即PDU），由PDU給每個機櫃分配電能。

其中發電機是為了在市電發生故障時有應急的電力輸入，但發電機啟動需要一定時間，而UPS包含了大容量電池，能保證服務器繼續運行5到15分鐘，為發電機啟動爭取時間。

當然，供電系統還會根據市電線路數和冗餘結構的不同，分為DR架構、RR架構、2N架構，這裏我們就不多贅述了。

那回到佔地面積的問題，由於服務器功耗增加後，需要額外的供電設備，但是，供電設備實在太佔地了。

趙呈濤

維諦技術ACP解決方案部高級經理：

從傳統的數據中心建設來看，它會有傳統的中壓室、低壓室、電力室、電池室等等，這些傳統的產品都會通過線來做連接，這些物理連接由於它是分散於各個廠家的產品，它的標準的製式、標準的體積都不是很融合，另外一個它們的整個的部署的物理距離，中間的一般都是都會有一些間隙。

所以有限的空間成了製約老舊數據中心升級的痛點，想發展AI，重建數據中心成了更好的選擇。

但數據中心的設計壽命有20到30年，GPU換代一般是3~5年，總不能隔幾年就重建一次吧，為此行業發展出了新的方向，那就是設備一體化。

Chapter 3.3 設備一體化與效率提升

趙呈濤

維諦技術ACP解決方案部高級經理：

我們針對佔地面積的問題，推出了交流直流供配電一體化的電力模組，就像我們傳統的組裝式的電腦，現在變成了一體機是一樣的，我們通過將UPS、供配電、變壓器、補償、饋電櫃多個產品融合為一體，提供了一個工程產品化的一個產品，這樣可以將我們佔地面積減少至少30%。

當然我們還有一個新型的解決方案，我們的供配電電力模組，採用背靠背的這種方式，通過上送風，這樣的話我們可以把傳統的電力層面積再縮小50%。

縮小其他設備的佔地面積不光有利於老舊數據中心的升級，新的數據中心也能帶來更高的經濟效益，因為騰出來的空間就可以多擺點計算用的機櫃、多一些算力，縮短模型的訓練與推理時間。

除了縮小設備佔地外，供電系統的另一個趨勢是提升電能傳輸效率。

眾所周知，每個設備都有電阻，電能在一層層設備的轉換中，總會伴隨著能量損失，如此一來為了滿足服務器機櫃的電能需求，前端的供配電設備需要留有更多冗餘、佔據更大面積。

而提升傳輸效率後，不僅能減少設備的數量，還能降低數據中心的能耗，達到節能減排的效果。

那該從哪些方面來提升效率呢？

趙呈濤

維諦技術ACP解決方案部高級經理：

第一，UPS我們採用了碳化矽的產品線，將整個的效率提升了很多。第二，我們採用了SCB的多晶合金的變壓器，第三通過以傳統的線纜方式改用銅牌的方式來連接，進一步降低了線路的損耗來提升它整體的效率。

為了提升末端配電的負載，我們推出了1000 安培的小母線，這樣服務器未來可以擴容 100 千瓦、 150 千瓦。

最後，我們來聊聊顧華提到的第四個挑戰，快速部署。有意思的是，行業為此竟然呈現出了「預製化」的趨勢，這能行得通嗎？

建設週期與快速部署

如今全球的AI戰正打的火熱，急劇增長的算力需求促使著各大公司新建AI數據中心，這就對整行業提出了建設速度的要求，畢竟AI數據中心早一天上線，就能帶來更多經濟效益。

大家也在紛紛嘗試創新的解決方案，譬如「木質數據中心」，用木材作為關鍵結構部件，來建設數據中心。

難道他們就不怕遇到地震、颱風或者火災什麼的，把整個數據中心都弄沒了嗎？

其實儘管木質數據中心聽上去是個非常激進的概念，但早在2019年就有公司就建成並投入使用了。

他們使用的也並不是那種直接從樹上鋸下的木板，而是名為正交膠合木（Cross-Laminated Timber，簡稱CLT）的建築材料。

這種材料具有極高的強度和均勻性，直接作為承重牆板或者樓板使用都沒問題，同時它還有耐火的特性，英國就有棟名為Stadthaus的九層樓公寓，採用了CLT材料建成。

木質材料不僅能滿足環保的要求，還能通過預製化，將整體的建設速度，加快40%~80%。

當然，數據中心的建設不光是外部建築，還有內部的基礎設施需要定製。而現在，冷卻系統與供電設備也走向了預製化的道路。

雷愛民

維諦技術綜合解決方案架構部總監：

現在的智算中心，客戶可能需要在6個月之內建設好，這也是傳統建造方式的最快完工時間。

我們在海外和一些算力公司、互聯網公司有合作，會根據它需要的算力，來定製全套的預製化基礎設施。就是說已經提前把數據中心的基礎設施配套好了，同時對裡面的供電、製冷、軟件，甚至工程的材料的預製化，都進行了詳細的部署。