Nature重磅：改寫AI氣象預測，可在台式電腦上運行，速度快千倍

作者｜錦鯉 

在全球變暖、自然極端天氣頻發的當下，準確的氣象預測對於人類生命健康與社會發展至關重要。

例如，在農業方面，為播種、灌溉和收割等農事活動提供參考，減少自然災害對農作物的影響，提高產量和經濟效益；在航空領域，幫助航空公司合理規劃航班，避免因惡劣天氣導致的延誤和事故；在公共安全領域，為應急管理部門的工作提供參考，減少人員傷亡和財產損失……

從科學研究的角度來看，氣象預測能夠幫助科學家更好地理解大氣的物理過程和氣候變化的趨勢。分析氣候系統的複雜性，探索極端天氣事件的成因，以及評估人類活動對氣候的影響。

然而，現有的人工智能（AI）氣象預測領域面臨諸多挑戰。傳統數值天氣預測（NWP）系統依賴複雜流程和超級計算機，難以快速改進，且改進成本高昂。AI 模型雖具潛力，但多依賴 NWP 初始狀態，性能受限，且在數據處理上面臨數據缺失和融合難題，影響其預測性能和實際應用。

Google GenCast、GraphCast、NeuralGCM 等 AI 氣象預測技術取得了顯著進展，但它們在數據依賴性、預測時效和解像度、模型複雜性和計算成本以及實際應用的局限性等方面仍存在一些缺點。

作為新一代 AI 氣象預測系統，由來自劍橋大學和艾倫圖靈研究所的研究團隊開發的 Aardvark Weather 有望帶來氣象預測的範式轉變。

Aardvark Weather 是首個可用在台式電腦訓練和運行的單一 AI 模型取代天氣預報流程所有步驟的系統，速度快數千倍，可處理來自衛星、氣象站和氣象氣球的多模態複雜數據，生成 10 天全球預報。

相關研究論文以「End-to-end data-driven weather prediction」為題，已發表在權威科學期刊 Nature 上。

研究團隊表示，這將為缺乏超級計算機、複雜基礎設施和專業知識的發展中國家帶來真正的價值，以及在任何地方發揮作用，提高效率和準確性，甚至減少天氣預報的大量碳足跡。

AI氣象預測：更便宜、更準確、更高效

傳統的數值天氣預報（NWP）需 3 步，包括：收集信息估計大氣當前狀態、用複雜計算模型產生預報、處理預報確保其在特定位置可用。

過去兩年，AI 雖用於流程第二步，使其速度更快、更準確，但第一步尚未取得更大進展，仍需消耗大量資源。NWP 依賴數據同化、流體力學方程求解、後處理等多個步驟，需超級計算機支持，這使得其運行成本高昂，且難以快速迭代和改進。生成全球預報需約1000節點小時，且依賴高解像度模型。

在這項研究中，Aardvark Weather 通過其端到端的數據驅動方法，顯著降低了氣象預測的計算成本。它還能夠在幾秒鍾內生成全球天氣預報，相較於傳統方法需要數小時甚至數天的計算時間，極大地提高了預測效率。

此外，Aardvark Weather 在多個氣象變量和預測時效上展現出與傳統 NWP 系統相當甚至更優的準確性，尤其是在處理小範圍極端天氣事件時表現出色。這種高效、經濟且準確的特性，使其成為未來氣象預測領域的一個重要發展方向。

具體而言，Aardvark 的速度更快。它是首個完全數據驅動的端到端天氣預報系統，比傳統 NWP 更快、成本更低，其生成速度比現有系統快幾個數量級，並且不依賴 NWP 預報產品。

在 4 個 NVIDIA A100 GPU 上，Aardvark 由觀測數據生成完整預報大約只需要一秒鍾。相比之下，高解像度預報（HRES）僅執行數據同化和預報就需要大約 1000 個節點小時，這還未考慮下遊本地模型和處理。

而且，Aardvark 是端到端的。Aardvark 學習端到端模型提供了額外的功能，即能夠優化系統，以在任意感興趣的變量或區域上實現性能最大化。與傳統 NWP 系統相比，機器學習系統不僅速度更快、計算成本更低，而且改進和維護起來也容易得多。

該系統的簡單性，不僅使其更容易被已經運行 NWP 的用戶部署和維護，還為發展中國家的一些地區提供了運行定製 NWP 的潛力，這些地區的機構通常缺乏運行傳統系統的資源和專業知識。

此外，端到端預測還展示了能夠針對特定區域和變量優化定製模型以最大化預測能力的潛力，這引起了農業、可再生能源、保險和金融等多個領域終端用戶的極大興趣。

那麼，Aardvark Weather 是如何做到這些的呢？

Aardvark Weather 是一個深度學習模型，能夠從多種觀測數據源中攝取信息，並生成全球網格化預測和本地站點預測，三個主要模塊組成：編碼器（encoder）、處理器（processor）和解碼器（decoder）。它在訓練階段利用高質量的再分析數據，而在部署階段完全獨立於傳統 NWP 產品。

首先，編碼器模塊整合多種來源的觀測數據，包括網內和網外觀測數據，並生成網格化初始狀態。網內觀測數據是規則網格上的數據模態，而網外模態則是一組經緯度位置上的數據。

為此，他們利用了深度學習在處理離網數據和缺失數據方面的最新進展。這一過程採用非遞歸方法進行狀態估計，以避免傳統數據同化系統中的複雜性。

對於編碼器模塊，他們通過掩碼通道區分缺失數據與真實觀測數據，使用 SetConv 層處理非網格化數據，並利用 ViT 提取特徵，最終輸出 24 個大氣變量的初始估計值，訓練過程中採用 VLW-RMSE 損失函數，並通過 AdamW 優化器進行優化。

其次，處理器模塊以編碼器估算出的初始大氣狀態作為輸入，會在 24 小時內生成網格預報。通過自回歸方式生成未來 24 小時的天氣預測。對於更長的預測時間，處理器模塊會將其自身的預測作為輸入，逐步推算未來的天氣狀態。

該模塊由 10 個獨立的 ViT 串聯構成，每個 ViT 負責預測未來 1 天的氣象狀態殘差（residual，即當前預測與真實狀態的差異），並通過疊加殘差逐步生成 1 至 10 天的全球網格化預報。

例如，第一天的 ViT 以初始狀態為輸入預測第 1 天殘差，第二天的 ViT 則以第 1 天修正後的狀態為輸入，依此類推。

最後，解碼器模塊收到處理器模塊輸出的網格化預測數據，任務特定的解碼器模塊將網格化數據轉換為具體的本地氣象預測。

該模塊採用 U-Net 為主架構，對全球預報數據進行空間特徵提取，捕捉局部氣象細節，隨後通過 SetConv 層將網格數據插值到任意目標站點坐標，並結合多層感知機（MLP）融入地形輔助信息（如海拔、坡度）。

邁向新一代端到端氣象預測系統

雖然 AI 氣象預測工具正在快速發展，但這仍然是一項實驗技術，需要在一段時間內進行嚴格的評估。要想在實際中部署 Aardvark Weather 這樣的端到端數據驅動模型，必須考慮當前模型的局限性。

與所有當前的 AI-NWP 系統一樣，Aardvark Weather 尚未以 IFS 的解像度運行。需要進一步研究以提高網格解像度，並通過擴散等方式生成預報集合。

此外，Aardvark Weather 在觀測數據的使用上也存在一些局限性。增加更多的觀測方式很可能會提高預報能力。同時，還需要考慮如何將那些尚未有訓練數據的新儀器的數據有效地整合到系統中。例如，可以通過對模擬數據進行訓練來實現。

對於氣象預測工具來說，颶風和洪水等極端天氣尤其重要。不幸的是，這類罕見事件在訓練數據中較少出現，這意味著人工智能系統在這些現象上可能會遇到更多困難。

另一個需要考慮的問題是應對觀測數據漂移以及數據隨時間的其他變化，比如氣候變化，這可能會降低基於過去數據訓練的模型的準確性。這可以通過定期使用最近幾個月的數據對所有模塊進行微調，從而適應儀器特性的變化。

對此，研究團隊表示，他們將在未來的工作中通過擴展 Aardvark Weather 以支持更多其他預報變量，無論是在其網格化預報中，還是通過其解碼器模塊，都可以進一步增加其功能。例如，Aardvark Weather 可以支持多種解碼器模塊，以提供不同類型的終端用戶預報，如颶風、洪水、嚴重對流、火災和其他極端天氣預警。

另一個令人興奮的方向是，利用端到端系統進行更長時間的預報，來生成季節性預報產品。

此外，增加更多的觀測模式將允許對地球系統的其他組成部分進行建模。例如，用於空氣質量預報的大氣化學和用於海洋預報的海洋參數。

他們設想，Aardvark Weather 將成為新一代端到端氣象預測系統中第一個能夠應對這些多樣化任務的系統。

本文來自微信公眾號 「學術頭條」（ID：SciTouTiao），作者：學術頭條，36氪經授權發佈。