英偉達、高通競相押注,「AI插幀」如何改變遊戲?
在過去半個世紀里,電子遊戲一直是推動計算機技術變革的關鍵力量。從雅達利的第一代遊戲機到持續幾個世代的主機大戰,從 NVIDIA(英偉達)的顯卡到手機芯片里的 GPU,實質上都離不開遊戲的推動作用。反過來,遊戲的發展也離不開計算機技術。
過去幾年,不管是在 PC 還是手機上,遊戲性能的提升除了得益於 GPU 的持續改進,在另一方面也得益於超分、插幀技術的快速進步。稍早前,AMD 就又推出了新一代幀生成(俗稱「插幀」)技術——AFMF 2 的技術預覽,引起了玩家群體的廣泛關注。
AMD AFMF 2 也來了:遊戲體驗進入新一輪「插幀」賽
AFMF 的全稱是 AMD Fluid Motion Frames,第一代 AFMF 實際上今年 1 月才面向所有用戶正式推出,結果僅僅半年後,又火速推出了新一代 AFMF 2 的技術預覽。
相比第一代,AFMF 2 的重點是大幅降低延遲、優化流暢度、提升性能,其中還針對快速運動進行了優化,此外還有更廣泛的遊戲兼容性以及更多的設置和玩法。AMD 官方也表態襯,AFMF 2 是一次幀生成技術的重大進步。
數毛社(Digital Foundry)的成員在體驗過 AFMF 2 技術預覽版後,總體上也是肯定了 AMD 帶來的遊戲性能提升,儘管在《賽博朋克 2077》的部分建築場景下會出現明顯的偽影。
理論上,配合 AMD FSR 3 的超分技術,AFMF 2 還能帶來更好的遊戲性能和畫質表現。
而不僅是 AMD,其他各家廠商也都已經推出或者計劃推出各自的插幀技術,同時推動技術的迭代和普及。在主要的幾家大廠中,最早喊出 AI 驅動圖形革命的 NVIDIA,旗下 DLSS(包含超分、插幀技術)已經發展到了 3.5 版本;高通基於驍龍平台的 AFME 超幀技術,2.0 版本也開始有了遊戲進行適配。
此外,英特爾 XeSS 也在計劃推出自己幀生成技術,英特爾圖形研究副總裁 Anton Kaplanyan 去年介紹了名為 ExtraSS 的解決方案,其中就包含了插幀技術。不過聯發科就有些耐人尋味,雖然最早嘗試將超分技術引入手機遊戲場景,但在插幀技術上還停留在影片上。
事實上,當我們回顧插幀技術在遊戲領域的發展歷史,其實可以追溯到早期的線性插值技術,通過簡單的算法在兩個關鍵幀之間生成過渡幀,較早就被應用在影片領域。而隨著算力的提升和算法的進步,插幀技術逐漸演變為更為複雜和智能的系統,也終於能夠應用在可以互動的遊戲上。
尤其是這幾年,以 NVIDIA 的 DLSS 技術為代表的超分和插幀技術,經歷了多次的迭代,從最初的 DLSS 1.0 到現在的 DLSS 3.5,從靠 AI「腦補」像素到基於 AI 算法的渲染,並且還引入了幀生成技術。
不過,儘管 AI 插幀技術帶來了諸多優勢,但在遊戲領域的應用仍然面臨一些挑戰和問題。比如對於快速變化的場景,AI 可能會生成不準確的幀,導致畫面偽影和模糊。此外,不同廠商的實現方式和技術路徑差異較大,也給很多用戶在選擇時帶來了疑問和困惑。
都是插幀,大家有什麼區別?
雖然各大廠商的插幀技術都能夠實現「插幀」這一基本功能,但它們在實現方式和效果上卻存在顯著差異。
我們都知道,影片本質上是由一張張照片組成的,比如電影主流格式是 24 幀每秒,意味著 1 秒有 24 張照片。具體到遊戲,插幀技術的核心就是在原始幀(圖形渲染)之間通過 AI 生成新的幀,以此提升遊戲的幀率和流暢度。
但如何生成新的幀以及如何處理,都會影響到實際遊戲體驗中插幀技術的延遲和畫面效果。不同廠商在實現這一功能時採用的不同方法和路徑,會直接導致效果不同,受到玩家群體的評價也不同。
NVIDIA DLSS 3:真正的 AI 驅動
比如 NVIDIA 的 DLSS(Deep Learning Super Sampling,深度學習超采樣),從 3.0 開始引入基於運動向量和運動檢測的幀生成技術,通過深度學習和 AI 算法生成新幀,從而提升遊戲的幀率和圖像質量。
和其他算法通過分析圖像變化和猜測運動相比,DLSS 的幀生成準確率更高,幀生成效果也更好,在對原始幀渲染影響不大的前提下插到 2 倍甚至更高。
數毛社(Digital Foundry)的測試就表明,在 RTX 4090 這張卡上,《漫威蜘蛛俠》4K 畫質在開啟 DLSS 3 的性能表現甚至可以到關閉 DLSS 的 203.6%,並且可以將畫面劣化程度控制在基本無法感知的範疇內。
不過需要指出,基於運動向量和運動檢測的另一方面,是 DLSS 幀生成的實現依賴於 Tensor Core(AI 計算單元)和運動向量數據,通過獲取幀間的運動信息,並生成高質量的中間幀。所以具體到實際中,DLSS 幀生成既依賴於集成 Tensor Core 的英偉達顯卡,也依賴於遊戲的適配和支持。
好在,憑藉在遊戲顯卡市場的領先地位和長久的合作關係,英偉達對於遊戲廠商的影響力不可小覷,很多 3A 大作也都適配了 DLSS 3 中的幀生成技術。
AMD AFMF 2:邁向 AI 驅動前,大幅改進延遲
相比之下,AMD 最新推出的 AFMF 2 不需要遊戲的主動適配就能用,支持所有 DX11 和 DX12 遊戲;還支持 AMD RDNA 2 架構的所有產品,包括 AMD Radeon RX 6000 和 7000 系列 GPU 或更新產品,以及基於 700M 的 APU。
簡言之,AMD AFMF 2 在硬件和遊戲層面都有更強的兼容性。核心在於,AFMF 2 並不基於運動向量,也不同於 NVIDIA DLSS 依賴 AI 計算單元的硬件加速。
雖然在幀生成質量上距離 DLSS 3 可能還有一定的差距,但在延遲上,AMD 宣稱 AFMF 2 在《賽博朋克 2077》(4K、最高檔光線追蹤)中,AFMF 2 比起上一代 AFMF 降低了 28%的延遲。
在配備 AMD Ryzen 7 8700G 處理器以及 Radeon 780M 集成顯卡的電腦里運行 《CS 2》,可以在 1080p 解析度、畫質非常高的設置下實現 120fps 以上的顯示幀率,同時還有 12%的延遲降低。
另外在設置上,AFMF 2 還有「Search」和「Performance」兩種模式,前者是最大力度提升畫質和幀率,後者則是儘可能降低功耗來保證遊戲流暢運行。
不過按照 AMD 首席技術官 Mark Papermaster 的說法,「(AMD)正在利用 AI 來升級我們的遊戲設備。」再加之,RDNA 3 開始 AMD 終於加入了 AI 計算單元,似乎一切都在暗示:下一代 FSR(包括 AFMF)將真正基於 AI 進行設計和運行。
高通 AFME 2.0:解放手機功耗的「利器」
高通的 AFME,全稱是 Adreno 圖像運動引擎(Adreno Frame Motion Engine),最早在 2021 年引入,到去年驍龍峰會終於升級到了 2.0。而與手機上常見的其他遊戲插幀方案不同,AFME 2.0 不需要外掛芯片,也不需要 CPU,僅僅依賴 GPU 進行計算。
在 7 月舉辦的驍龍遊戲技術賞上,騰訊遊戲的《塔瑞斯世界》就宣佈引入了 AFME 2.0 技術,由於不調用 CPU,幀數實際表現更加穩定。
相比 PC 上插幀技術的重點是提高遊戲畫面和幀率,插幀在移動端的應用,更大的意義其實還是在降低負載、降低功耗。
按照騰訊遊戲國內發行線生態發展部引擎組負責人胡豪翔給出的數據,AFME2.0 在能耗上相較原生 60 幀方案降低大約 30%,畫面更加流暢的同時,畫質沒有任何損失。
同時,一加也在利用驍龍平台實現更強的遊戲性能,通過將幀生成與計算的整個過程放在高通芯片上完成,讓生成幀與遊戲渲染幀之間,只間隔一個 120Hz 的垂直同步週期。
AI 插幀,真正的遊戲改變者
遊戲與 GPU 的相互成就,早就不言而喻:
伴隨遊戲畫質和複雜度的提升,GPU 的圖形渲染性能需要不斷提升,才能滿足玩家對高幀率、高解像度和逼真畫面的追求。而為了支持最新的遊戲大作,GPU 廠商不斷提升計算能力和優化圖像處理技術,也會推動遊戲畫質和複雜度的提升,從而提升玩家的沉浸感和互動體驗。
不過肉眼可見的是,GPU 圖形渲染性能的提升在一定程度上陷入了瓶頸,而基於 AI 的插幀技術,則為遊戲和 GPU 的發展帶來了新的契機。
在傳統的圖像處理中,需要在每一幀中進行複雜的圖形渲染,佔據大量算力。而 AI 插幀技術則通過生成新的中間幀,減少了每幀所需的計算量,從而顯著提升了幀率和流暢度。
以 NVIDIA 的 DLSS 3.5 為例,該技術通過 AI 算法和光流加速器,能夠在不犧牲圖像質量的前提下,顯著提高遊戲的幀率。這不僅提升了玩家的遊戲體驗,也減少了對 GPU 的負擔,使得中低端顯卡也能夠運行高要求的遊戲。
插幀技術的影響是多方面的。在它的影響下,遊戲開發商能夠在保持高幀率的同時,提升遊戲的畫質和細節,從而吸引更多玩家。
此外,以 DLSS 3 為代表的 AI 插幀,還有望降低開發成本和時間,因為開發商不再需要為每個場景和動作單獨優化圖像處理算法。AI 插幀的普及使得遊戲市場更加多元化,獨立開發者和小型工作室也更容易利用這一技術,製作出高質量的遊戲作品,增加了市場競爭力和創意空間。
另一方面,傳統的 GPU 設計主要關注於提升計算能力和圖像渲染性能,而 AI 插幀技術的引入則要求 GPU 具備更強的 AI 計算能力。
為此,GPU 廠商開始在其產品中集成更多的 AI 處理單元,以支持 AI 插幀和其他 AI 驅動的圖像處理技術。NVIDIA 的 RTX 40 系列顯卡中就頗具爭議地集成了更多的 Tensor Cores,專門用於 AI 計算和深度學習任務。包括 AMD,也開始引入 AI 計算單元。
同時,AI 技術的快速發展,也必然帶動 AI 插幀的進步與普及。
按照目前的趨勢來看,軟件和硬件都在越來越傾向於 AI 加速計算,在根本上改變各種硬件的計算環境。而相比圖形渲染,AI 驅動帶來的遊戲性能提升,不僅效益更高,還有更大的提升空間。
本文來自微信公眾號「雷科技」,作者:雷科技,36氪經授權發佈。