文獻標識碼:B文章編號:1003-0492(2024)11-070-03中圖分類號:TP29
★王曉東,郭亮亮(山西省信息產業技術研究院有限公司,山西太原030012)
關鍵詞:工業物聯網;時序數據;智能緩存;數據處理技術
目前,工業物聯網數據管理系統的相關應用和產品已經得到了初步的探索,但海量時序數據的產生導致工業數據規模變大,工業物聯網場景下海量數據的高并發寫入、高吞吐存儲和寫多讀少等特征導致數據管理和運營面臨新挑戰。由于工業物聯網缺乏端邊云協同場景下海量數據全鏈路管理的基礎理論和技術體系,導致數據并發寫入速度慢、分組聚合速率低、存儲和處理不及時,難以實現數據采集、存儲、查詢、處理一體化。當前由于對工業大數據軟件系統的構建邏輯與方法論存在模糊的認識,制約了工業大數據應用價值創造和良性持續發展,影響了工業物聯網應用的推廣。
針對以上問題,本文通過研究端邊云協同的工業物聯網時序數據管理理論、新型工業時序數據存儲與高魯棒處理技術、工業物聯網時序數據管理原型平臺研發及應用示范等基礎理論與關鍵技術,建立了新一代工業物聯網數據管理關鍵技術方案,為解決我國工業物聯網數據處理困境提供了一種新思路。
1 端邊云協同的工業物聯網時序數據管理理論
時序數據作為工業大數據中最為基本和普遍的數據形式,其海量性、多源性、連續性和高動態性強的數據特征,給提供支撐服務的各種資源的優化管理帶來了前所未有的挑戰。同時,工業物聯網設備的分散性與管理決策過程的集中性之間的矛盾,導致大體量數據在服務執行過程中帶寬資源消耗增加、數據共享代價大,嚴重阻礙了工業物聯網設備互聯、數據快捷流通和交互聚合。
本文擬采用“端邊云協同”思路,構建分布式一體化的數據管理架構(如圖1所示),為工業時序數據的管理、調度和共享服務提供低時延、低能耗和高可靠性的算力支撐;研究“端邊云”節點的粒度劃分策略和聯合建模理論,建立以“信息-模型-資源”為驅動的要素分級治理和信息整合方法,實現工業數據跨系統、跨層級的全局流通和鏈接共享;研究以數據流動為導向的多方資源協同管理機制,定義各角色、功能、組件及其相互之間的作用關系,構建面向工業時序數據的數據存儲分布式架構;研究邊緣節點的統一管控和動態擴展策略,建立基于工業物聯網的端邊云協同數據管理模型,提升多業務場景下邊緣節點數據管理的自治與協作能力。
圖1 分布式一體化的數據管理架構
為實現“節點自治、分層多級、協同調度、統一管理”的分布式數據管理,本文面向工業物聯網體系,采用分布式架構,建立基于支持現場智能終端-邊緣計算中心-云端互聯互通的端邊云協同架構,以解決傳統工業數據孤島的缺陷。本文探索以數據流動為導向的多方資源協同管理方法,定義面向工業時序數據的分布式數據管理架構,構建跨層級、協同調度的信息廣播和數據管理機制,融合數據查詢與處理機制,構建工業物聯網時序數據管理模型。
2 工業物聯網存-算-網資源協同調度與智能緩存技術研究
工業物聯網時序數據存儲在海量的分布式資源中,具有數據量大、冷熱訪問特征明顯等特點。網絡系統為任意應用提供數據傳輸、存儲與計算支持,而同一應用被部署在任意網絡下均可工作。
如何管理調度這些海量的存儲、計算與網絡資源,提高熱時序數據的訪問效率,對于提高工業物聯網時序數據存儲與處理效率至關重要。為解決上述問題,本文研究了工業物聯網海量多類資源的協同調度與智能緩存技術。首先,提出存-算-網資源通用抽象理論,為工業物聯網海量資源提供高精度、高隱私的抽象視圖;其次,設計高效的存-算-網資源分布式調度算法,以資源抽象視圖及應用的數據存儲需求為輸入,快速計算數據傳輸與存儲的最優資源分配方案;最后,監測應用對數據訪問的模式,訓練熱數據預測模型,構建多級智能緩存與替換策略。技術路線如圖2所示。
圖2 存-算-網資源協同調度與智能緩存技術路線
此外,針對傳統物聯網分布式網絡系統模塊化架構、網絡與應用互為黑盒、互不感知的問題,本文提出了工業物聯網-應用融合的新型工業物聯網架構,并以此為基礎,研究設計了低成本、高效的時序數據存儲方法與高魯棒、低時延的時序數據處理方法。在工業物聯網-應用融合的新型架構中,網絡與應用對彼此的黑盒抽象被打開,可以互相感知。應用可以向網絡提供更多的存儲與處理需求信息,而網絡在執行數據存儲與處理任務時可以充分考慮不同應用的不同業務特性,選擇最優的存儲策略與數據處理資源分配,從而實現工業物聯網時序高效數據存儲與高魯棒性處理。
3 基于可編程硬件的高效網內時序數據處理技術
工業物聯網應用需要對網內產生的海量時序數據進行實時高效的處理分析。傳統的物聯網數據處理方式需將數據從存儲設備傳輸至計算設備進行處理,不僅會消耗大量的網絡資源,也會造成較高的延遲,降低數據處理的效率。
為此,本文將研究基于可編程硬件與機器學習的網內時序數據處理技術。首先,為時序數據處理算子設計適用于可編程硬件的網內處理原語;其次,收集應用運行時不同算子的發生頻率及其之間的依賴關系等信息,結合物聯網資源信息,設計基于強化學習的時序數據處理任務調度算法,將數據處理操作分配到可編程硬件與傳統計算硬件上,降低數據處理延遲。技術路線如圖3所示。
圖3 高效網內時序數據處理技術路線
為解決當前時序數據庫存在的架構復雜、查詢困難、一致性弱、成本高等問題,本文將構建多模數據實時分流、多級任務動態配置的分布式任務調度框架,分析工業物聯網時序數據的冷熱、時效等特點,構建基于人工智能的冷熱存儲空間智能配比方法,形成基于時效、資源、負載等多場景驅動的數據庫軟件配置策略,設計統一的、與環境無關的多模引擎和外部計算系統標準接口,構建新型工業物聯網時序數據庫軟件架構,為新型工業物聯網數據管理原型平臺提供技術支持。
4 工業物聯網時序數據管理原型平臺研發
未來的工業物聯網時序數據管理將向云端邊一體化方向演進。數據管理平臺支撐匯聚海量工業時序數據資源,數據資源通過時序數據庫軟件實現實時數據互聯互通,提供面向工業數采、預防維護、數字孿生等復雜工業應用場景的數據存儲與組織、查詢、分析以及維護等管理服務。
為此,本文擬研究工業物聯網時序數據管理原型平臺的研發。首先,研究多模數據庫多層級、多場景、可拓展的自動配置方案,分析工業物聯網時序數據的冷熱、時效等特點,構建基于人工智能的冷熱存儲空間智能配比方法,形成基于時效、資源、負載等多場景驅動的數據庫軟件配置策略;然后,研究企業多源異構生產數據的接入和融合方法,挖掘工業物聯網時序數據間的運行規律和因果影響機理,建立基于分布式的并行時序分析模型;最后,采用B/S模式和基于JavaEE三層應用體系架構的先進技術框架,研發包括異構數據集成、分布式存儲和處理、可集成智能應用的企業安全生產數據管理平臺,支持風險態勢動態研判、風險綜合分析、動態預警、趨勢分析等功能。
5 結束與展望
本文針對當前工業物聯網場景下海量數據高并發寫入、高吞吐存儲帶來的數據管理難題,從時序數據的采集、存儲、處理與管理等環節著手,解決了工業數據的流動、轉換、分析和互聯困難等核心問題。本文研究的內容將支撐“新一代工業物聯網數據管理關鍵技術研究”的一系列基礎理論與技術創新,研發的工業物聯網時序數據管理原型平臺將為工業時序數據的全流程一體化管理提供實施手段,將滿足工業物聯網對工業軟件平臺及數字生態的創新發展需求,將提升我國工業物聯網數據管理平臺自主研發能力。
作者簡介:
王曉東(1995-),男,山西古交人,碩士,現就職于山西省信息產業技術研究院有限公司,研究方向為新一代信息技術、智能制造、工業互聯網等。
郭亮亮(1981-),男,山西晉城人,正高級工程師,碩士,現就職于山西省信息產業技術研究院有限公司,研究方向為政府/企業信息化技術研發與應用、工業互聯網、智慧礦山等。
參考文獻:
[1] 劉帥, 喬穎, 羅雄飛, 等. 時序數據庫關鍵技術綜述[J]. 計算機研究與發展, 2024, 61 (3) : 614 - 638.
[2] 謝偉, 盧士達, 時寬治, 等. 面向工業物聯網時序數據的異常檢測方法[J]. 計算機工程與應用, 2024, 60 (12) : 270 - 282.
[3] 王建民. 工業互聯網端邊云協同數據處理難題[C]. 中國通信學會工業互聯網委員會. 2022工業互聯網學術大會論文集. 清華大學, 2023.
[4] 關運通. 基于時序數據分析的工業互聯網異常檢測系統設計與實現[D]. 哈爾濱: 哈爾濱工業大學, 2020.
[5] 夏夢圓. 工業互聯網中邊緣數據管理架構和算法研究[D]. 長沙: 湖南大學, 2020.
[6] 王妙瓊, 魏凱, 姜春宇. 工業互聯網中時序數據處理面臨的新挑戰[J]. 信息通信技術與政策, 2019, (5) : 4 - 9.
[7] 秦宏志. 空地協同網絡的智能緩存機制研究[D]. 沈陽: 沈陽航空航天大學, 2022.
[8] 周雨彤. 邊緣計算網絡中基于區塊鏈的智能緩存策略研究[D]. 北京: 北京郵電大學, 2022.
摘自《自動化博覽》2024年11月刊