最高精度1公里*1公里*1小時!達摩院發佈氣象大模型,大山東已經在用了

明敏 發自 凹非寺

量子位 | 公眾號 QbitAI

今天,達摩院發佈名為「八觀」的氣象大模型,預測時空精度最高可達1公里×1公里×1小時

什麼概念?

俗話說「十里不同天」,換算下也要5公里。

預測範圍精準到每平方公里,大概也就是一個大型小區、大學校園的佔地面積。

露天演唱會被突如其來的大雨殺個措手不及?觀眾毫無準備變成落湯雞?不存在了。

更何況還是小時級動態更新,這正是AI氣象模型的優勢之一,計算快速

這個模型,現在已經落地國網山東電力調度中心

在對溫度、風速、雲量、輻射等重要氣象指標的預測上,最新AI氣象模型相較於傳統預報,都更貼近實測值。

為什麼是電力系統最先「嚐鮮」?在北京舉行的阿里巴巴達摩院決策智能產品發佈會上,達摩院和行業技術專家進行瞭解讀。

率先把MAE用到氣象預測

AI正在徹底改變天氣預報依賴「暴力計算」的現狀。

傳統上,氣象學家們根據物理規律,將大氣運動變化編寫成一系列數學物理方程再進行數值計算,耗費大量算力資源,且受到物理模型的瓶頸製約。

如今,DeepMind提出的GraphCast,能在1分鐘內預測未來10天的天氣預報,可以快速準確預測全球範圍氣候。

清華&中國氣象局曾發表在Nature上的氣象模型NowcastNet,則主要針對極端天氣的預報,比如短時強降水、暴風雨、暴雪、冰雹等。

而八觀從被提上開發日程時,就更加關注行業領域對氣象預測的需求,致力於填補從「全球大模型」到行業落地的GAP。

以電力行業為例,隨著極端天氣發生愈加頻繁,電網面臨來自發電、輸電、配電各個階段的挑戰。

比如高溫夏季突遭特大暴雨,氣溫大幅降低,全社會用電需求就會驟減(涼快了就不用開空調了嘛),電網如果沒有動態調整發電量,就給電網穩定運行帶來隱患。

以及光伏、風能這類新能源發電廠,其發電量直接受到天氣影響。需要提前預測其發電量,才能更好匹配實際電力需求,避免短缺或過剩。

如上方方面面,其實給氣象預測模型提出了新要求:

  • 響應速度更快、完成高頻預報

  • 時空精度更高、具體到發電廠當地的天氣變化

由此,八觀採用「全球-區域」協同預測策略,即在全球氣象模型基礎上引入區域多源多模態數據,從而將時空精度最高逼近到1公里×1公里×1小時。

在模型架構上,八觀創新性使用了孿生MAE掩蔽自編碼器的結構。

掩蔽自編碼器是一種自監督學習模型,廣泛應用於圖像、文本等數據的特徵學習和表示。在掩蔽自編碼器中,部分輸入數據被隨機掩蔽(即隱藏或屏蔽),模型的任務是重建這些被掩蔽的部分。

這種方法迫使模型學習數據的內部結構和特徵,從而提高其泛化能力和表示能力。

對應到氣象領域,可以理解為將氣象圖劃分成一個個小塊,將其中一定比例的小塊掩蔽,然後讓模型通過學習6小時前的氣象數據和6個小時後沒有被掩蓋的區域來重建6小時後的掩蓋區域。

這樣模型就能學習隱藏在高波動的天氣數據下的魯棒性特徵表示,實現更精準預測。

在數據上,八觀模型使用了多模態、多元數據集訓練。基於來自氣象觀測站的場站數據(如氣溫、降水量、風速風向等)、氣象實況數據、開源衛星雲圖、開源地形等,利用數據驅動和物理驅動雙重方法,八觀對次網格尺度局地的微氣象過程進行精細建模。

這意味著模型可以模擬小尺度氣像現象,包括湍流、局地風、微風系統、表面能量交換等。進一步增強預報結果細粒度和準確度。

在具體技術指標表現上,達摩院分別展示了全球氣象大模型部分和區域氣象大模型部分的表現

結果和國際主流的歐洲中期天氣預報中心綜合預報系統(EC-IFS)的預測結果進行對比。

先來看全球部分。

對比EC-IFS預測結果,八觀模型在各維度上的預測均十分接近,達到國際前沿水平。

再看行業更關注的區域氣象大模型部分,從今年在山東電網系統中實際運行的數據來看,八觀模型與主流EC-IFS預報結果對比,在多個重點指標上都有大幅提升。

在空間解像度及細節上,八觀氣象大模型也更精細、更接近實況天氣。

除了預測效果更為精準,面向實際落地,八觀模型支持輕量化部署,能更好滿足行業用戶的落地需求。

八觀的「細心」,正在於給行業提供一份專屬天氣預報。

山東電網已經搶先體驗

以八觀在山東電力系統的落地為例。

今年夏天是山東省有數據統計以來降水同期第二、溫度同期第一的一個夏季,迎峰度夏期間天氣波動較大(在用電總量最大的時候天氣多變)。

8月25日-8月28日,山東地區出現強降雨天氣,導致氣溫大幅變化,負荷總量在3天內下降20%。

八觀區域氣象模型把握到了這一變化,對負荷進行精準預測,3天內綜合準確率達到98.1%,超過傳統天氣預報。

△針對溫度預測,八觀氣象大模型(右)與數值天氣預報(左)的對比針對溫度預測,八觀氣象大模型(右)與數值天氣預報(左)的對比

同樣,在發電領域,隨著新能源的裝機與並網不斷攀升,電力系統希望通過高頻更新的區域氣象預報更準確反映出一天內新能源發電的出力情況。結果顯示,基於八觀氣象大模型,下遊新能源發電功率預測準確率同樣表現優秀,達到96.5%。

新上崗的「AI天氣預報員」,幫助電力系統平穩度過了山東這個不同尋常的夏天。

來自達摩院決策智能實驗室

最後,來看一下八觀氣象大模型的幕後團隊——阿里達摩院決策智能實驗室

該實驗室主要致力於決策智能系統需要的機器學習、數學建模、優化求解、 時序預測、因果分析、決策方案可解釋性、決策推理大模型等技術的研究和創新,為實際業務提升運營效率和收益,減少運營成本。

實驗室累計發表頂會頂刊文章120餘篇,參與阿里集團內外部多個重點AI項目,研發了包括敏迭優化求解器(MindOpt)、eForecaster在內的代表作。尤其在電力能源行業,達摩院決策智能實驗室的技術落地非常深入。

其中,求解器被譽為「工業軟件之芯」,很長一段時間都被國外壟斷。MindOpt正是突出的國產代表,已經在權威賽事中取得了電力用國產求解器第一名。本次最新發佈中,MindOpt更新V2.0版本,增加了對非線性規劃(NLP)和混合整數二次錐規劃(MIQCP)兩類模型的支持,覆蓋石油、化工、生物製藥等更多場景的需求,並且深度集成了自研全流程優化套件,在國內獨家通過雲平台提供在線開發求解能力,助力各行業便捷、快速獲取。

而憑藉AI預測新能源發電功率、從而促進綠色能源發展的成績,eForecaster也入選了聯合國AI for Good案例集。在某光伏和風電重點發展地區,由於地處江畔,氣候變化複雜,分佈式光伏裝機量大增長快,風電和光伏預測難度較高。在八觀氣象大模型助力下,eForecaster的分佈式光伏功率預測月平均準確率提升1.4%,風電功率預測月平均準確率提升5.5% 。

目前,八觀氣象大模型、eForecaster、MindOpt已經構成了從前期預測到後期決策的完整智能鏈條。

未來,達摩院還將針對民航、體育賽事、農業生產等領域的特性需求,不斷提升八觀氣象大模型的表現,堅持做「最懂行業」的氣象大模型。