世界通行天氣預報法稱為數值分析,採集夠多氣象數據後,代入複雜方程式,得到結果就是常見天氣預報。
難以捕捉的蝴蝶
方程式背後是堅固理論,如流體動力學方程式、熱力學方程式和不同介面空氣、水、陸冰物質能量交換方程式等,代表的物理、化學規律已經嚴密計算和驗證。但天氣預報也不能絕對準確。數值預測是透過已發生氣象因素推測將來,準確度嚴重受觀測數據精確與否影響。何況隨時間、空間變化,氣象系統複雜性也劇烈增長,分析氣象一方面百密必有一疏,另一方面數據誤差會更多,又反過來影響預測結果。
範圍大到一定程度,氣象會進入混沌狀態。這不是比喻,氣象系統是典型的混沌系統,混沌理論最早就是氣象學家1963年提出。混沌系統代表非常小擾動也可能造成巨大後果──這現象的另一個名字叫蝴蝶效應,加州蝴蝶拍動翅膀,德州和墨西哥灣就掀起風暴。
這要求數值開始測算就須非常精準,然而我們都知道絕對精準不存在,更何況面對複雜的氣象運動,要採集的數據種類和數量實在太多。人類天氣預測就像努力學習蝴蝶翅膀與暴風眼移動軌跡的關係,既壯觀又令人絕望,甚至有玄祕成分。一面構建越來越複雜的函數方程式,盡可能收集數據,一方面又依賴近乎直覺的經驗判斷。
時至今日,所有天氣預報依然由兩部分決定──數值分析,加上預報員本身判斷。天氣預報依然高度依賴人的經驗。某種程度人類是用感覺對抗大自然。
超級電腦
因此氣象預測呈現詭異特質──因為只要靠人類經驗感覺,總會遇到失靈時,某些極端氣候更如此,因極端氣候數據還不夠多,導致我們無法形成連貫經驗。但數值預測精準度幾十年來提升許多,現在天氣預報已達十分準確,中期可用性預報時效近10天,短期預測如冷空氣什麼時候來、會降溫多少,人類判斷十分準確。這是因儘管總體全球氣候環境變化混沌,但微觀層面如氣團形成、氣壓變化、雲層運動軌跡,越來越多函數和公式都能準確預測。
天氣預報幾乎完全準確預告一場極端降雨,背後是天氣預報幾十年來巨大進步──數值分析從簡單方程式發展成世界最複雜的演算法之一,畢竟要掌握天氣,數據和演算法越多越好,為了處理大量數據和複雜演算法,超級電腦開始插手。
許多人可能對氣象數據多龐大沒有概念,舉個簡單數字:每天中國氣象數據增加高達40TB。中國整套天氣觀測網路,有七萬多個氣象觀測站涵蓋99.6%鄉鎮,數據傳輸時間從以往1小時縮短到現在1分鐘。
如此大量數據處理就很有難度,再與數值分析方程式結合,幾乎是不可能完成的任務──複雜的偏微分方程式和浮點計算都需消耗大量算力,特別是天氣預報有時效性,種種條件下,只有超級電腦能滿足需求。
(Source:)
停滯與新路
總結就是成百上千顆CPU組成的超算構成天氣預報堅實的基礎,但仍有做不到、很難做到的事。如颱風。最近造成北京大災情的杜蘇芮,中國預測顯示未達特大暴雨程度。國際主流颱風預測法均是動力模型,據大氣物理定律如流體動力學和熱力學等模擬大氣運動,預測颱風行徑與變化。
動力模型有許多不準確之處,故杜蘇芮路徑預測五花八門,公認權威的歐洲中期天氣預報中心一度認為杜蘇芮會直衝珠三角。颱風預報一直是世界性難題,因短時間可發生劇烈變化,路徑範圍又廣,受多因素影響故變幻莫測,就是典型的混沌系統。
數值預測為主的天氣預報成為矛盾綜合體,再提升空間儘管很大又十分受限──人們逼近準確性的方法除了積累經驗,只能盡可能多收集數據和構建越來越複雜的函數,但邊際效益也越來越強,更多數據也不能大幅提升天氣預報準確性,通用計算成本卻一直增長。
大量數據、複雜演算法及高算力需求,讓數值分析某種程度走向瓶頸,但三個條件看起來是不是有點眼熟,似乎有點像大型模型的三要素?某氣象技術研討會資料,有專家宣稱:人工智慧和氣象方法論相通。既然數值分析公式並不能窮盡混沌系統所有因果,為什麼不用神經網路,把大量數據導入,讓電腦自己尋找和學習規律?這看起來真像不可言說又異常合理的解釋。
人類第一台電子電腦ENIAC和第一台據約翰·馮紐曼結構打造的電腦EDSAC都進行過氣象學相關計算,氣象學發展始終和電腦科學進步緊密相關──高性能計算推動氣象科學解決複雜問題,跳出通用計算迴圈後,神經網路和大型模型看起來就是氣象學和天氣預報非常有趣且合理的前進方向。
另闢蹊徑
氣象大型模型並不是隨著去年底生成式AI暴紅才出現,一直以來使用強大算力、海量數據和各種深度學習預測天氣的大模型很多,有名的有輝達FourCastNet、DeepMind和Google的GraphCast及微軟ClimaX,中國有華為盤古大模型和上海風烏大模型,後者來自上海人工智慧實驗室。盤古和風烏都使用歐洲氣象中心ERA5氣象再分析資料庫,提供60餘年地表37個等壓面各種氣象數據共2,000TB。
這些數據給大型模型發揮的空間──不再使用精準對應的數值分析,而是讓AI更靈活自己挖掘數據間各種複雜關係。
盤古構建3D transformer結構,使海洋、大氣和陸地複雜互動物理過程融為一體,以往氣候大模型如輝達FourCastNet是2D結構──每個等壓面為一層,顯然2D平面沒辦法完美反應氣象變化過程。
華為使用絕對位置編碼,加速模型收斂,也訓練四個基礎模型分別對應1小時、3小時、6小時和24小時預測,透過時域融合減少模型小步長、多次更新造成的誤差。預測颱風,盤古使用平均海平面氣壓為基準,結果比歐洲氣象局好。風烏大模型用6個獨立編碼器對不同氣象參數(濕度、風、溫度等)編碼解碼,不同變量間用獨立transformer網路學習。與華為時域融合減少誤差不同,風烏設計緩存空間儲存和重播訓練結果,讓神經網路適應誤差,達到更佳預測效果。
新氣象大型模型預測成果,儘管還很初步,成績也只是具體指標比傳統方法好一點,還要全面測試最佳化,但無疑代表與傳統氣象預測不同的新模式。華為盤古大模型已在歐洲中期天氣預報中心初步執行,風烏宣稱是最精準全球高解析度AI氣象預報模型,24小時前杜蘇芮預測誤差值為38.7公裏,優於歐洲中期氣象預報中心54.11公裏。
(Source:shutterstock)
漫漫前路
改革即將來臨。氣象大型模型許多方面都有可能顛覆現有氣象預報,如速度。風烏用一張GPU在1分鐘內就能產生14天內全球37層高精準度高解析度氣象預報,盤古7天天氣預報產生時間只需9.8秒。
為數值分析建立即時天氣數據傳輸系統和通用算力基礎設施會因此改變。中國氣象局觀點,儘管短期還只是參考,但中長期看,氣象大型模型潛力巨大。這些氣象大型模型主要問題或許有兩方面,首先是最佳化,極端氣候等數據如何正確標註是個問題,AI模型模擬力很強,因此長期預報有可能出現錯誤,這或許可稱為氣象大型模型的幻覺。
且大型模型還沒有更深業界know how儲備,模型構建都由電腦科學家而不是氣象專家完成,也就是說這些垂直大模型還缺乏人類回饋。另一個問題是老生常談的算力,所幸氣象大型模型需要的直接算力成本不高,幾十張輝達顯卡(甚至不需用到最高階)就可幾週內最多兩個月內訓練完模型,也成為相較傳統數值預測模式的優勢。
有氣象大型模型加持,「天有不測風雲」這句話或許會變成偽命題,有一天我們真的可同時預測拍動的蝴蝶翅膀與颶風究竟來自何處,去往何方。
(本文由 授權轉載;首圖來源:)
標題:有了超級電腦和大型模型,就能預測任何氣象災害?
地址:https://www.utechfun.com/post/251758.html