NVIDIA OpenUSD 佈局加速 結合生成式 AI 技術應用加速

NVIDIA 再次引領技術革新,通過推動通用場景描述(OpenUSD)在行業中的廣泛應用,為在千行百業進行仿真模擬打下基礎,NVIDIA 正在重塑工業和製造業的未來。

2023 年 8 月,NVIDIA 與比基斯、Adobe、蘋果和 Autodesk 共同成立了 OpenUSD 聯盟,旨在推動通用場景描述(OpenUSD)功能的開發,以實現 3D 生態系統的標準化。

而進入 2024 年 7 月 29 日,OpenUSD 標準接近發佈一週年的時間點,這一標準的通用性已經取得了長足的進步。

微軟、索尼等多家公司和組織成為了 OpenUSD 聯盟的新成員,OpenUSD 的連接能力也在不斷增強——打通了多種機器人數據格式和 Apple Vision Pro 流式傳輸。

除此之外,更激動人心的是,NVIDIA 推出了第一個以 NVIDIA NIM 微服務的形式提供的用於 OpenUSD 開發的生成式 AI 模型。

生成式 AI 助力 OpenUSD 開發

NIM 是 NVIDIA 在 2024 年 GTC 推出的一種平台,專門為開發者提供了一種更簡單、快速的方式來部署和使用 AI 模型。

通常,當你開發了一個 AI 模型後,需要經過一些複雜的步驟才能讓它在實際的應用中運行,比如優化模型的性能、確保它能高效地處理大量數據、打包成可以在各種環境中使用的形式。這些工作可能需要花費很長時間,並且需要相當的專業知識。

NIM 通過將這些複雜的過程自動化並打包成小的「微服務」(microservices),極大地簡化了開發過程。開發者只需要調用這些微服務,就能快速將 AI 模型部署到實際應用中,而不需要自己處理所有的技術細節。這對那些想快速利用 AI,但缺乏深厚 AI 技術經驗的公司特別有用。

而此次,在 SIGGRAPH 2024 上,NVIDIA 推出了用於 OpenUSD 的微服務,專門旨在解決開發者應用 OpenUSD 所面對的一些挑戰。

已經推出的服務包括三項:USD Code NIM 微服務、USD Search NIM 微服務和 USD Validate NIM 微服務。

分別負責解答 OpenUSD 相關的代碼問題、查找相關的 OpenUSD 文件,和生成渲染圖像,

USD Code NIM 微服務對於剛剛接入 OpenUD 的開發者十分實用。對初學者來說,USD Code NIM 微服務可以幫助他們加快學習進程,熟悉語法。而對於中級和高級的 USD 開發者,他們可以利用代碼生成、代碼註釋和自動化階段修改等工具來提高工作效率,從而騰出更多時間去處理開發過程中的複雜任務。

而 USD Search NIM 微服務,則能夠通過書面提示快速提供海量視覺資產庫,大大提高企業流程化檢索並處理材料的速度。WPP 公司展示過一個利用新 NIM 微服務快速生成的例子。

直接和 AI 講「給我建一張桌子,上面放著塔可和莎莎醬,沐浴在晨光中」,USD Search NIM 微服務能在龐大的 3D 資產庫中搜索出對應的 3D 資產,幫助 WPP 充分利用大型模型庫來創建品牌資產,而 USD Code NIM 則可以將這些模型組合成場景,開發人員輸入提示就可以獲得用於創造新穎 3D 世界的 Python 代碼,大大增強了他們的創作能力。

而 USD Validate NIM 微服務,則可以查上傳文件與 OpenUSD 發佈版本的兼容性,並生成由 NVIDIA Omniverse Cloud API 驅動的全 RTX 渲染的光線追蹤圖像。

這些服務,尤其是前兩項服務,仍然利用的更多的是大語言模型對 3D 內容的理解能力。

而 NVIDIA 即將推出的 5 項新的功能,則進一步讓我們看到了生成式 AI 未來可能為基於 OpenUSD 的工作流帶來的助力。

NVIDIA 即將推出 USD Layout NIM 微服務、USD SmartMaterial NIM 微服務、fVDB Mesh Generation NIM 微服務、fVDB Physics Super-Res NIM 微服務和 fVDB NeRF-XL NIM 微服務。

這些服務,將更強地利用 AI 的生成能力,賦能 3D 管線的生產效率。

如 USD SmartMaterial NIM 微服務,將能預測並將逼真的材料應用於計算機輔助設計對象。這意味著未來的 3D 資產生產中,材質貼圖的時間將大大節省。

工業的生成式 AI 潮進入新階段

隨著 OpenUSD 正加速被企業接納,工業的生成式 AI 潮有望進入新階段。

OpenUSD 作為一種通用的 3D 數據交換框架,具有極高的互操作性和兼容性。

這意味著,企業傳統使用的不同的軟件、平台和設備,在兼容 OpenUSD 後,可以通過 OpenUSD 無縫交換和共享 3D 數據,更容易接入 Omniverse 平台進行複雜的數字孿生、仿真和設計項目。

NVIDIA Omniverse 與仿真技術副總裁 Rev Lebaredian 表示:「重工業的生成式 AI 潮已經到來。直到最近,數字世界的主要用戶還是創意行業;而現在,借助 NVIDIA NIM 微服務為 OpenUSD 帶來的增強功能和可訪問性,各個行業都可以創建基於物理學的虛擬世界和數字孿生,在加快創新的同時,為機器人這次新一輪 AI 技術熱潮做好準備。」

事實上,不少企業目前已經開始將 Omniverse 與仿真技術應用在自己的工業場景中。

除了上文提到過的全球領先的營銷與傳播服務公司 WPP,另一個 Ominiverse 的早期用戶是全球製造業的領導者 Foxconn。

受益於 NVIDIA 的計算平台,Foxconn 利用 NIM 微服務和 Omniverse 為一家正在開發中的工廠創建了數字孿生。

Foxconn 首席數字官兼智能製造平台負責人史喆表示:「數字孿生將幫助我們加速新一波工業製造和自主機器的發展。NVIDIA Omniverse 和全新的 NIM 微服務將使數字孿生的開發變得更加普及,並幫助我們的團隊以前所未有的速度構建基於物理的虛擬工廠。」

NVIDIA 也在與全球工業自動化和軟件領先者西門子擴大合作。

西門子將把 OpenUSD 流水線與其 Simcenter 仿真技術組合集成,以支持基於證據的決策和關鍵利益相關方之間的協作。

該集成可實現複雜仿真數據的高保真、實時、逼真可視化,讓企業能夠更加深入地瞭解產品在實際操作環境中的性能。西門子將把 Omniverse 納入到其 Teamcenter 產品生命週期管理軟件組合中,為這項工作打好基礎。

除此之外,在未來的工業生產中,通用人形機器人將是非常重要的一部分。

而 NVIDIA 目前也正在就此發力。

NVIDIA 發佈了一個從統一機器人描述格式(Unified Robotics Description Format)到 OpenUSD 的連接器,讓機器人專家能夠將他們的機器人數據無縫導入到用於設計、仿真和強化學習等用途的各種應用中。

除了工業場景,NVIDIA 也推出了適用於 Apple Vision Pro 流式傳輸的全新 USD 連接器,希望打通未來的 C 端場景。

開發者現在可以通過這些全新 USD 連接器與各種開發者工具,將海量 NVIDIA RTX™全光線追蹤數據集傳輸到 Apple Vision Pro。

從模仿光走向模仿智能 NVIDIA 一直充滿技術遠見

NVIDIA 成立於 1993 年,與互聯網同年。

當普通大眾幾乎不知道互聯網是什麼的時候,NVIDIA 已經開始探索如何使用更先進的計算方式,通過軟件+硬件深度配合,解決更先進的技術難題。

剛成立的時候,NVIDIA 追求的是遊戲的實時渲染,是對光的物理原理如何與物質相互作用的模擬。

在進一步提高了芯片的可編程性後,NVIDIA 為高性能計算打開了大門,開始可以模擬各種物理現象,無論是流體還是布料。

而進入人工智能時代,整個人工智能的誕生是在加速核心算法的相同技術之上。在 NVIDIA 的計算堆棧之上,人類開始模擬智能。

Omniverse 與仿真技術正是 NVIDIA 最新的探索。

首先,通過 OpenUSD 對現有的工具進行連接,以構建高保真的虛擬世界。

而未來,就是模擬,整個世界都可以在 Omniverse 中被模擬出來,這將釋放巨大的生產力。

在與《連線》雜誌資深撰稿人 Lauren Goode 的對談中,NVIDIA 創始人兼首席執行官黃仁勳提到他眼中的未來:OpenUSD 是第一種幾乎將所有工具的多模態表達融合在一起的格式。理想情況下,隨著時間的推移,人們可以將幾乎任何格式引入其中,讓每個人都能進行協作並使內容永遠留存。而生成式 AI,一定能夠助力 Omniverse 產生更好的仿真效果。

正如 SIGGRAPH 期間,黃仁勳與朱克伯格對談的時候,朱克伯格所感歎道的:「看著你們的旅程真的很有趣。你們經歷了一個時期,每個人都在說,一切都將轉移到這些設備上——超級便宜的計算設備。而你們只是繼續堅持下去,開發這些可以並行計算的大系統。有一段時間,這樣的技術路線不太流行,但在現在看來真的很酷。」

從成立至今,NVIDIA 一直展現出非凡的技術遠見,不但在每一個時代的技術浪潮中屹立不倒,更是不斷創造出新的可能性。

通過 Omniverse 平台和 OpenUSD 框架,NVIDIA 正在引領一場新工業革命。OpenUSD 作為通用的 3D 數據交換標準,徹底打破了不同軟件和平台之間的壁壘,使企業使用複雜的數字孿生和仿真項目變得前所未有地容易。Omniverse 平台加速了數字孿生和仿真的落地應用。

目前,NVIDIA 造出一個能夠模擬世間萬物的 Omniverse 幫助千行百業的願景,仍然只是漫漫長路的第一步。不過,NVIDIA 在這方面的推動力度之大,投入資源之多,戰略方向之堅決也是獨一份的,展現出了無與倫比的遠見和執行力。