GTC對話黃仁勳：我眼中的GPU，和別人有很大差別

來源：觀察者網

氣氛突然嚴肅了起來。

‘有媒體認為你要麼是 AI 時代的達芬奇，要麼是 AI 時代的奧本海默，你怎麼看？’

‘奧本海默是造炸彈的，我們（英偉達）不幹這個。’面對這個多少有點戲謔的問題，英偉達創始人、CEO 黃仁勳遲疑片刻，非常認真地回答了出來。

當地時間 3 月 19 日，以堪比流行巨星的熱度完成了 GTC 2024 的開場演講後第二天，黃仁勳接受了全球媒體採訪。

無論是宏大問題例如‘AGI 何時到來’、‘英偉達如何看待中國市場’，或者是具體到新推出的 NIM 軟件如何應用，這位全球市值第三公司的掌舵人，都能將問題分解並抽像成更容易理解的層次，用簡單的比喻回答出來，雖然其中可能不乏‘太極’的嫌疑，但至少令人難以懷疑回答者的誠懇。

兩萬億的市值新高度下，老黃認為，GPU 芯片市場，不是英偉達的追求——‘英偉達不造芯片，英偉達造數據中心’，為此，英偉達搭建了所有：硬件、軟件、服務，讓客戶決定怎麼購買自己的數據中心。

GTC 2024 Keynote 演講中，老黃展示的 5 個要點：新工業革命（加速計算和生成式 AI）下，英偉達的新基建包括：Blackwell 平台；NIMS；NEMO 和 NVIDIA AI Foundry；Omniverse 和 ISAAC 機器人。|圖片來源：Nvidia

01。

GTC 新品的中國市場計劃

問：新的網絡和技術計劃向中國銷售多少？有任何中國特定SKU的信息可以披露嗎？是否為該市場做出了任何考慮或改變？

黃仁勳：我還沒有向你宣佈這一點，你很貪婪（哈哈），這就是全部答案。現在對於中國，我們有 L20 和 H20 芯片符合出口要求，我們正在盡最大努力為中國市場組織調配資源。

02。

AI Foundry 的目標

問：你在主題演講里提到AI Foudry 正在許多企業起作用，這個計劃的總體戰略和長期目標是什麼？

黃仁勳：AI Foundry 的目標是構建軟件。這不是指軟件作為工具，任何人都有這樣的軟件。很久以前創建的兩個最重要的軟件，一個叫做 Office，它讓軟件變得 RTS（Real-Time Software，實時軟件）。

另一個非常重要的軟件叫做 cuDNN（CUDA 深度神經網絡庫）。我們有 AI 所有這些不同的。未來的庫是一個微服務，因為未來的庫不僅僅用數學來描述，還用 AI 來描述。未來，它們都將變成 NIMs（微服務）。

這些 NIMs 是超級複雜的軟件，你所要做的就是來到我們的網站。你可以選擇用戶在那裡，或者下載它、在另一個雲端運行它，或者下載在你的本地計算機上運行。當運行你的工作站、你的數據中心時，這項服務將使它們非常高效，所以這是一種在環境中使用的新方式。現在，當你作為一個企業運行這些庫時，我們有一個軟件許可（Liscence）的授權操作系統可用，你可以以 4500 美元/GPU/年的價格使用這些服務。

03。

Blackwell 定價

問：你之前說最新一代 AI 芯片 Blackwell 的定價在 3 萬至 4 萬美元，有更精確的信息嗎？

黃仁勳：這很難說，我也只是試圖讓大家對我們產品的定價有一定體感，並不打算給出具體報價。

Blackwell 系統的定價非常不同，因為每個人要的配置不同。如果不僅使用 Blackwell，Blackwell 系統通常包括 NV-Link 在裡面，所以不同系統的定價不同。像往常一樣，定價範圍通常視 TCO（總體擁有成本）而定。

英偉達不造芯片，英偉達造數據中心，為此我們搭建了所有任務，引入所有軟件，調整它使數據中心繫統儘可能地運轉良好。然後，瘋狂的部分來了，我們將數據中心聚合成更小的部分，允許客戶根據自己的特定需求對其進行修改，這包括網絡、存儲、控制平面、安全和管理模塊，想辦法把數據中心整合到客戶的系統中，最終，客戶決定如何購買它，所以跟過去銷售芯片不同，Blackwell 的定價不是芯片的事，我們的商業模式也反映了這一點。

英偉達的機會不是 GPU 芯片，是數據中心，數據中心正在快速走向加速，這是每年 2500 億美元的市場，並以每年 20% 至 25% 的速度增長，這主要是由於 AI 方面的需求。其中，英偉達會佔據重要的份額，從 1 萬億美元升至 2 萬億美元，我認為是合理的。

04。

Sam Altman 要擴張到芯片行業

問：Sam Altman 一直在與芯片業的人們談論擴大AI芯片的規模。他和你談過這個問題嗎？

黃仁勳：我不知道他的意圖。他認為生成式 AI 會變得很大，在這一點我很認同。

今天計算機產生像素的方式是從數據集中檢索數據，處理數據，然後傳遞數據。在整個過程中，人們認為需要消耗的能源非常少，但這恰恰相反。原因是每次你觸摸手機、每個提示，需要與數據集賽跑並返回。從數據集中檢索數據，使用 CPU 收集所有必要的部分，然後以一種從推薦系統的角度看有意義的方式組合信息，然後將結果信息發送回用戶，這個過程需要大量的計算。

這就像每次問我一個問題，我都需要跑回辦公室檢索信息，這需要大量的精力。未來，越來越多的計算將是生成的，而不是基於檢索的。當然，這個生成過程必須是智能的、與上下文相關的。我相信，未來人們電腦上的幾乎每一個像素、每一次交互都將通過生成過程產生，我相信 Sam 也這麼認為。希望通過 Blackwell 新一代架構能為生成式 AI 這個領域做出重大貢獻。現在大多數體驗還是基於檢索的，但是如果未來每個人的人機交互都是生成式的體驗，我會很驚訝。這是一個巨大的機遇。

05。

個人大模型會是什麼樣子？

問：我完全同意你對未來軟件的定義，我們的生活也在通過 LLM 發生很大變化。在基礎模型方面，你認為未來會是什麼樣的？

黃仁勳：核心是，我們如何擁有個人的大模型？有一些方式可以做到。開始，我們認為這個過程可能需要微調（fine tuning），在持續的使用過程中，持續微調。

但是，正如你所知，微調是相當耗時的。然後我們發現了提示詞工程（prompt engineering），發現了上下文學習（context learning），發現了工作環境（working environment）等等。

我認為答案將是所有這些的組合。在未來，你可以通過只微調一層叫 Lora 的權重（weights），鎖定其他部分不必微調，從而低成本地做微調，你可以做提示詞共創、上下文學習、增加模型記憶，所有這些成就了你獨特的大模型，可以在雲端運行，也可以在你的本地電腦上運行。

06。

對 AI 芯片初創公司的看法

問：昨天在你的主題演講後，芯片公司 Groq 發推文說自家芯片跑得仍然更快，你怎麼看 AI 芯片初創公司的評論？

黃仁勳：我還沒瞭解那麼多（哈哈），不評論了。

任何以 token 方式做生成的模型都需要其獨特的方式，因為 Transformer 不是任何一個模型的名稱。

這些模型總體基於 Transformer 技術，都利用了 Transformer 注意力機制，但模型與模型之間存在巨大差別。有的模型用了混合專家模型（Mixture of Experts），混合模型里有的是兩個專家模型，有的是四個專家模型，這些模型等待消息，以及路由分發，裡面的一切步驟都不同，模型中的每一個都需要特殊優化。

此時，如果計算單元被設計成只能以特定的方式、做特定的事情，它就是一個可配置的電腦，而不是可編程配置的計算機，就無法受益於軟件創新的速度和潛力。

就像 CPU 的奇蹟不可低估一樣，這麼多年，CPU 一直是 CPU 的原因，是它克服了這些年來設置在 PC 主板上的可配置硬件，軟件工程師的才能可以通過 CPU 來實現。相反，如果你把它固定在芯片上，你就斷了軟件工程師能帶給芯片的聰穎智慧。

這就是英偉達芯片能夠在不同的 AI 模型架構（從 AlexNet 一直到 Transformer）下，都能表現出色的原因，英偉達找到了一種方法，從一種非常專業的計算形式中受益。芯片在這裏被用來促進軟件，而英偉達的工作是促進發明，促進像 ChatGPT 的發明。

07。

機器人空間模擬如何利用語言模型？

問：你講述了使用生成式 AI 和模擬/仿真（simulation）來大規模訓練機器人，但是有很多事情我們不知道如何很好地模擬，特別是當涉及到結構性的環境，如何突破限制繼續訓練機器人？

黃仁勳：有多種方法可以做到這一點。首先，你可以在我們的語言模型上下文中構建你的問題或觀點。

大型語言模型以不受約束和非結構化的方式運行，這同時也是它的潛力之一。它從文本中學到了很多東西，但可能不適合泛化。它們如何在空間泛化是一種‘魔力’，機器人的 ChatGPT 時刻可能就在眼前。

為了克服這個問題，你可以指定上下文和問題，例如告訴它處在特定條件的廚房中。通過應用 ChatGPT 的魔力，機器人可以有效地泛化並生成對軟件有意義的 token。一旦你的計算機感官識別了這些 token，機器人可以根據這些例子進行歸納。

08。

預判下一個 ChatGPT 時刻

問：你提到一些行業先迎來 ChatGPT 時刻。哪些行業會率先變化？可以分享你看到的突破，尤其讓你激動人心的案例嗎？

黃仁勳：有很多例子。我對 Sora 非常興奮，去年在 wayve 上看到了同樣的能力，這是關於文生影片的例子。

為了生成一個這樣的影片，模型必須對物理規律有感知，比如把放在桌子上，而不是中間；走路的人是在地面上。不能違背物理規律。

另一個例子是我們用 Earth-2 來預測極端天氣影響。這是一個關鍵的研究領域，因為極端天氣事件會對當地社區造成毀滅性的影響。利用 Earth-2，可以在 3 公里尺度上預測極端天氣事件的影響。這是對現有方法的重大改進，現有方法需要的超級計算機要大 2.5 萬倍。

生成新藥物和蛋白質是另一個非常令人印象深刻的潛在用例。這是通過像 Alphago 這樣的強化學習循環來實現的，它允許在不消耗純物質的情況下探索大分子空間，這有可能徹底改變藥物發現。

這些是非常有影響力的東西，機器人技術也是如此。

09。

芯片出口管製如何影響英偉達

問：對芯片的出口管製，以及地緣政治，會對英偉達產生什麼影響？

黃仁勳：有兩件事我們必須馬上去做。第一，瞭解所有政策，以確保其合規；第二，也要提高供應鏈韌性。

關於後者，我舉個例子。當我們把 Blackwell 芯片配置成 DGX 處理器時，其中有 60 萬個零件來自世界各地，很多來自中國。就像全球汽車供應鏈的複雜性一樣，供應鏈的全球化很難被打破。

10。

和台積電的關係

問：你能談談與台積電的關係嗎？在過去的幾年里，隨著不斷芯片封裝的複雜性，台積電如何幫助英偉達實現目標的？

黃仁勳：與台積電的合作是我們最緊密的合作之一，因為我們要做的事情非常難，而他們能做得非常好。

我們從台積電得到了計算單元，CPU、GPU 裸芯片，良率很好。存儲器是來自美光、海力士、三星，並且這些組裝必須在台灣完成。所以，供應鏈並非易事，需要公司之間的協調。這些大公司與我們一起合作，也逐漸意識到，更加密切的合作是非常必要的。

我們從各家公司獲取部件，然後組裝，第三家公司測試，第四家公司組成系統，當然這個大系統最後是為了建成一個超級計算機，再進行測試。最終，我們建立了數據中心。想像下，所有的加工製造就是為了形成一個巨大的數據中心。整個供應鏈從上到下複雜度非常高，因為我們不僅僅是組裝，除了芯片本身是個奇蹟外，我們做成了巨大而龐雜的系統。

所以，當人們問我對 GPU 是什麼感受時，可能一部分覺得它有點像 Soc（集成芯片）而已，而我看到的是架子、線纜、交換機等等。這才是我心中 GPU 和軟件的模型。台積電真的很重要。

11。

雲業務的戰略

問：英偉達正在向雲業務轉型，其他雲廠商則在做自己的芯片。他們會影響你的定價策略嗎？英偉達雲業務的策略是什麼？會向中國客戶銷售 DGX 雲業務嗎？

黃仁勳：英偉達與雲服務提供商合作，將其硬件和軟件放入他們的雲中，這樣做的目標是將客戶帶到他們的雲中。

英偉達是一家計算平台公司，我們開發軟件，我們有一批追隨英偉達的開發者，因而，我們為使用英偉達 DGX 的雲服務供應商（CSP）創造需求、帶去客戶。

12。

‘當代達芬奇’，還是‘奧本海默’？

問：你曾說 AGI 將在 5 年內到來，這個時間預測有發生變化嗎？AGI 的加速到來會讓你感到害怕嗎？有人說你是當代達芬奇（多才多藝、做出如此貢獻），也有人說你是當代的奧本海默，你怎麼看？

黃仁勳：奧本海默是造炸彈的，我們（英偉達）不幹這個。

先具體定義 AGI，這樣我們才能知道什麼程度才算到達 AGI、什麼時候到達。如果 AGI 意味著在大量的測試集上，數學測試、閱讀測試、邏輯測試、醫學考試、法律考試、GMAT、SAT 等等，軟件程序可以做到比大多數人類都更好，甚至比所有人都好，那麼計算機在 5 年內可以實現 AGI。

本文為極客公園原創文章，轉載請聯繫極客君微信 geekparkGO