大數據

                      藍海大腦高性能氣象大數據平臺為氣象局掌握風云變幻提供助力

                      2025China.cn   2022年07月29日

                        隨著氣候預測、氣候模擬、智慧氣象、并行計算集群、氣象大數據平臺、高性能數值計算、氣象高性能計算集群的發展,人類步入全新的人工智能大數據時代。

                        “雷聲大雨點小”“久晴大霧必陰,久雨大霧必晴”……自古以來,人們從云卷云舒、風停雨歇中學會了觀天象,并將這些經驗用于出行、農事活動中。進入現代社會,天文學、流體力學等學科的快速發展,氣象站、氣象氣球和衛星等工具的利用,人類對氣象的理解邁進了新的臺階。

                        對于如何增強氣象科技自主創新能力,賦能高質量發展。有專業人士指出一方面是利用人工智能、大數據等技術把氣象服務做得更加精細化、準確化;另一方面是創新行業解決方案,挖掘更多行業或場景的氣象需求,讓氣象服務更加緊密結合生產生活。

                      大數據如何滿足

                      未來氣象預報的發展

                        超級計算機、大數據應用將能夠滿足未來氣象預報在三個關鍵領域的需求:

                        管理和利用龐大數據集

                        環境數據的數據量和多樣性將以指數形式成倍增加,將對基礎設施管理和存儲這些數據提出極大的需求,也要求更大計算能力模擬使用。這也為公立和私營機構研究人員專業化服務提供了新機遇。

                        提高模型的分辨率

                        高分辨率模型是一個關鍵因素,可以更好地評估長期氣候系統狀態,提高氣象預報能力,特別是對災害性天氣的預報能力。美國國家大氣研究中心和大學的研究人員使用超級計算機對于颶風的模擬,已經提高到500米分辨率,相當于幾個街區的預報。

                        解決技術障礙

                        鑒于天氣建模和分析變得更加數據密集型,需要更大計算能力,研究人員必須更加關注性能瓶頸,如內存、I / O、互連延遲和帶寬。天氣模擬需要成千上萬微處理器并行運算,突破硬件和軟件的可擴展性限制。此外,可擴展的操作系統、編譯器和應用程序庫正在發揮作用。最終,底層技術基礎設施必須緊密集成,支持模擬和分析工作流程。

                      大數據疊加AI算法

                      天氣實現分鐘即、公里級預報

                        在過去,全球廣泛采用的天氣預報模式是數值模擬法,通過實驗室內的大型計算機作數值計算,用物理方程表達天氣演變,從而預測一段時間內大氣運動狀態和氣象。盡管很長一段時間的天氣預測都是依靠數值模擬法,但是數值模擬由于精準度和準確率有限,慢慢達到了瓶頸,難以滿足現代社會的發展需求。

                        中國氣象局高級工程師卡贊表示:天氣預報和人工智能有著天然耦合的關系。天氣預報需要大量的、多種多樣的資料,人工智能天生就是處理大數據的工具;現有資料的時空數據密度不夠,人工智能具有對不完全不確定信息的推斷能力;此外人工智能還可以總結專家的知識經驗,提高平均預測水平以及利用統計與數值模式中無法利用的抽象預報知識等。

                        人工智能預測主要的方法是用大量的訓練數據加上人工智能模型,通過數據進行計算優化的方法,可以和數值模擬進行很好的互補。

                        直接采用端到端的AI技術,通過長時間收集到的雷達云圖運動的時間序列數據及人工智能和模式數據的融合,進行預測云在未來移動的方向、下雨積雨云運動的方向等。

                        天氣是一個混沌系統,從現有技術看,不可能實現100%準確,但人工智能、大數據等新興技術的加入,使得預報結果與真實情況之間不斷接近,目前已可實現公里級、分鐘級的格點化天氣預報。

                        通過人工智能和大數據的加持,智慧氣象已經在各個領域發揮作用,其優勢也逐漸顯現。與傳統氣象預測手段相比,人工智能具有數據處理能力更強、預測準確性更高、精細化程度在空間維度達到公里級甚至百米級,時間維度達到分鐘級、并與其他的生產生活相關的指數等相結合。

                      用好預報工具

                      “ 氣象+” 賦能經濟社會發展

                        人們日常的生產生活與天氣變化之間的關系密切,而災害性天氣對農業、交通、經濟、生活等方面影響更加顯著。

                        國家應急管理部發布的2021年全國自然災害基本情況數據顯示,2021年全年各種自然災害共造成1.07億人次受災;倒塌房屋16.2萬間,不同程度損壞198.1萬間;農作物受災面積11739千公頃;直接經濟損失3340.2億元。

                        如何盡量規避天氣風險并利用好天氣為經濟社會發展服務成為當今社會的一道“必答題”。國務院印發的《氣象高質量發展綱要(2022-2035年)》提出,要筑牢氣象防災減災第一道防線,提高氣象災害監測預報預警能力;提高氣象服務經濟高質量發展水平,實施氣象為農服務提質增效行動、海洋強國氣象保障行動、交通強國氣象保障行動、“氣象+” 賦能行動。

                        在國家層面,氣象科技賦能高質量發展要把氣象技術觀測設備,衛星觀測站基礎設備能力提升。對氣象服務企業來說,利用好這些設備和技術,創新行業解決方案,賦能各個需求場景和行業,更深入的為經濟社會發展服務。

                        在農業領域,農業是國民經濟的基礎,“三農”工作與氣象工作息息相關。墨跡天氣負責人黃渤海表示“在農業種植決策上,通過預測天氣,農民可以選擇合適的時間進行春播秋收,通過判斷整年的氣候情況和水土選擇合適的作物種植,增加產量。耕作后,農民可以通過天氣預報進行防災減災,減少損失。此外,通過預測降水情況還可以幫助農民減少灌溉成本,提升對水資源的利用效率?!?/FONT>

                      藍海大腦氣象大數據平臺

                        項目背景

                        某省是我國受臺風、暴雨、干旱、寒潮、大風、冰雹、凍害、龍卷風等災害影響最嚴重地區之一。在氣象災害相對頻發的情況下,某省氣象局在服務經濟社會發展中作用日益突出,提高氣象觀測、數據共享和精細化預報水平變得至關重要。通過與藍海大腦合作,擺脫原有IT基礎構架對于氣象工作的限制,實施彈性的統一架構,實現了高水平的氣象觀測、預測和服務業務。

                        客戶需求

                        由于天氣預報模擬具有計算量大、通訊密集、I/O要求高和規范的模式系統化集成等特點,對高性能計算系統的計算性能有著超高的要求,具體要求表現如下:

                        ● 計算量大

                        氣象預報本身具有時效性,要求定時定點自動運行,無需人工干預。一般每天在固定的2-4個時段運行,每個時段2小時內運行完。因此,必須使用計算性能卓越的高性能計算系統來進行并行計算。

                        ● 通訊密集

                        由于采用并行計算,因此各CPU間的通訊量很大。主要體現在WRF各計算域間的通訊及各類不同數據劃分間的通訊。因此,要求本高性能計算系統在具有高性能計算的同時,兼具高性能的通訊網絡。

                        ● I/O要求高

                        由于涉及大量的用戶和大量的小文件讀寫,氣象模式對整個系統的IOPS性能有較高要求,存儲系統的穩定性和可用性對整個業務系統的運行至關重要,要求存儲系統具有故障自愈功能。另外,考慮到氣象數據的周期性訪問特點,需要支持基于策略的分級存儲功能。

                        ● 模式系統集成化

                        從軟件的處理流程上看,一般分為前處理、主模式和后處理。整個模式系統從前處理到主模式再到后處理,需要系統具有較高的穩健性,所以優秀的模式軟件應用專家支持、硬件級的系統技術支持,對預報模式的良好使用也是關鍵。

                        解決方案

                        藍海大腦依托接收的常規氣象觀探測資料、氣象衛星資料、雷達資料、數值預報產品等多源數據,基于定量反演、機器學習、云計算、云存儲、大數據分析、 快速循環同化、虛擬現實等前沿技術,研發了具備多元化高性能算力、精準化短臨預報、一站多源數據融合及多樣化氣象服務等優勢的氣象大數據平臺,面向整個氣象行業提供信息化系統頂層設計、 軟件研發應用、數據共享服務等,同時也向道路、航空、物流、農業等行業領域開展針對性的精準氣象預報保障服務。

                        藍海大腦為滿足客戶需求,結合行業特點從計算節點、網絡、存儲、功耗、擴展、散熱等方面出發,提出完善的解決方案。

                        ● 計算節點

                        采用高性能英特爾酷睿系列處理器,計算節點采用雙路混搭方案。四路計算節點依靠其突出的計算能力與內存容量,可在一臺機器上完成中小模式的處理分析,減少資料預處理、計算、分析的時間,提高計算效率。

                        ● 高速網絡

                        采用高性能專用高速IB網絡,將計算節點、管理節點、登錄節點全線速互聯,保證集群通訊網絡的高性能。并將NAS存儲通過萬兆連入高速網絡,配合集群并行文件系統,實現全部節點的數據共享。

                        ● 存儲系統

                        綜合以往存儲硬件解決方案,系統應用要求存儲設備具備的特點及藍海大腦在多年高性能計算領域的實施經驗,充分滿足用戶現階段使用及未來擴展需求。

                        ● 低功耗

                        解決方案不僅強調整體運算效率,同時強調單位體積內的計算能力以及單位能耗可提供的計算能力。

                        ● 可擴展

                        計算系統采用機架式服務器,既可保證節點內的擴展性,又可保證整個集群的橫向擴展性??傮w上,滿足用戶對未來集群的擴展需求。

                        ● 液冷散熱

                        藍海大腦液冷服務器 HD210 H系列突破傳統風冷散熱模式,采用風冷和液冷混合散熱模式——服務器內主要熱源 CPU 利用液冷冷板進行冷卻,其余熱源仍采用風冷方式進行冷卻。通過這種混合制冷方式,可大幅提升服務器散熱效率,同時,降低主要熱源 CPU 散熱所耗電能,并增強服務器可靠性。經檢測,采用液冷服務器配套基礎設施解決方案的數據中心年均 PUE 值可降低至 1.2 以下。

                        用戶收益

                        ● 資源重新整合,實現更好的業務連續性

                        通過應用的分區分域部署,顯著提高關鍵應用程序的性能、穩定性和容量,從而更好的保障業務連續性。

                        ● 氣象信息分發服務更高效

                        幫助客戶建立更高效、及時的氣象信息分發服務,以減輕極端天氣事件對某省社會和經濟結構的影響。

                        ● 數據安全性提升,人力投入降低

                        整合后的架構將加強災難恢復計劃,降低管理復雜性和成本,解放氣象局的團隊,使其專注于更具戰略性的任務。

                        ● 運營敏捷性提升,快速響應資源請求

                        穩定、安全的新存儲,可有效地管理和保存大量雷達數據。統一的基礎架構將有助于優化運營敏捷性,使氣象局能夠快速響應開發團隊對資源的請求。

                      (轉載)

                      標簽:藍海云 大數據平臺 我要反饋 
                      西克
                      專題報道
                      全新的可視化組態軟件AVEVA?  InTouch HMI 和應用實踐
                      全新的可視化組態軟件AVEVA? InTouch HMI 和應用實踐

                      12月7日,AVEVA劍維軟件《全新升級版可視化組態軟件AVEVA™ InTouch HMI 及其在水行業的

                      福祿克新一代C4.0緊湊型紅外測溫傳感器
                      福祿克新一代C4.0緊湊型紅外測溫傳感器

                      新一代C4.0緊湊型紅外測溫傳感器可耐受180°環境溫度,測溫范圍達0~300°C,可用于各種嚴苛的工業過程生產環節。

                      西門子《能源轉型策略軟件》電子書
                      西門子《能源轉型策略軟件》電子書

                      在能源與公共事業行業,企業賦能更加可持續發展的運營并讓環境、社會和治理 (ESG) 策略透明化的風險在不斷提高。為了應對

                      使劲别停好大好深好爽