★上海華瑞眾信技術有限公司 田海濤,唐俊
摘要: 隨著重點用能單位能耗在線監測系統建設的逐步推進,覆蓋1萬家以上重 點用能單位的能耗在線監測系統正面臨著企業能耗上報數據質量低、持續性差、 企業端系統運維管理工作開展不力等諸多問題,無法為省(市)級節能主管部門 以及國家發改委、能源局等宏觀政策制定部門提供有效數據支撐。本文通過對數 據源、數據流、數據關鍵節點的深入分析,提出了一種在企業端進行數據質量提 升治理的軟件算法,并在云平臺引入了數據質量評價指標的綜合解決方案,通過 云邊協同應用技術實現了數據質量提升的目標。
關鍵詞:數據質量;數據治理;評價指標;云邊協同
Abstract: With the gradual advancement of the construction of the online monitoring system for energy consumption of key energy-consuming units, the online monitoring system for energy consumption covering more than 10,000 key energy-consuming units is facing many problems such as low quality of the reported data of energy consumption of enterprises, poor sustainability, and ineffective implementation of the operation and maintenance management of the enterprise-end system. The system cannot be used by the provincial (municipal) energy conservation authorities and the National Development and Reform Commission The energy bureau and other macro-policymaking departments provide effective data support. After an in-depth analysis of data sources, data flows, and key data nodes, this paper proposes a software algorithm for data quality improvement governance at the enterprise end, introduces a comprehensive solution of data quality evaluation indicators on the cloud platform, and achieves the goal of data quality improvement through cloud-side collaborative application technology.
Key words: Data quality; Data governance; Evaluation indicators; Cloudedge collaboration
1 引言
隨著重點用能單位能耗在線監測企業端系統建設數 量的不斷增加,各省級能耗在線監測系統平臺對企業端 實時上報的企業能耗數據質量越來越重視,各地節能主 管部門相繼發文要求重點用能單位重視企業端系統的運 維管理工作并提高能耗數據上報質量,為國家節能主管 部門基于數字化平臺上的重點用能單位能源消費總量數 據做宏觀決策分析提供重要的輔助支撐,同時也為我國 碳達峰、碳中和政策的落地實施提供扎實的數據依據。
因此,基于邊緣計算平臺的企業端數據質量治理與 提升工作將會是下一階段的工作重點,本文在詳細梳理 了重點用能單位能耗在線監測系統的技術框架和數據質 量不高的表現形式以及分析了深層次原因后,提出了一 套切實可行的數據質量治理解決方案。
2 系統概述
重點用能單位能耗在線監測系統是國家發改委和質 檢總局聯合發文推動的針對年消耗10000噸(部分地市 按5000噸統計)標準煤的約1.6萬家重點用能單位要求 建設的能源消費總量統計上報的信息化系統。文件要求 企業側建設能耗數據采集與上報的企業端系統,實現企 業用能主要指標數據上傳省(市)級能耗在線監測系統 平臺,再由省(市)級平臺將數據匯總上報至國家級能 耗在線監測平臺。
該系統建成后服務于各級政府節能主管部門和重點用能單位。通過建設重點用能單位能耗在線監測系統,健 全能源計量體系,加強能源消費總量和強度“雙控”形勢 分析和預測預警,推動完成能耗“雙控”目標任務。
3 系統架構介紹
重點用能單位能耗在線監測系統采用“國家平臺+ 省級平臺+重點用能單位企業端系統”的三層架構,為 各部委、各級節能主管部門和質監部門、重點用能單位 等用戶提供不同層次的服務,其具體架構如圖1所示。
圖1 系統架構圖
重點用能單位企業端系統由能耗在線監測端設備、 計量器具、工業控制系統、生產監控管理系統、管理信 息系統、通信網絡及相應的管理軟件等組成,部署在重 點用能單位內部,由重點用能單位負責建設,主要為用 能單位提供能源管理服務。企業端系統架構如圖2所示。
圖2 企業端系統架構圖
自2018年5月一系列重點用能單位能耗在線監測系 統建設標準技術規范發布及全國性標準宣貫培訓活動 啟動后,全國各地掀起了企業端系統及省級平臺的建設 熱潮。截至2021年底,全國共建成超過1萬家重點用能 單位企業端系統和26個省(市)級能耗在線監測系統 平臺,85%以上企業端系統實現了數據采集與上報至省 (市)級平臺或國家平臺的建設目標。
國家發改委在《關于進一步加快推進重點用能單位 能耗在線監測系統建設的通知》中明確提出,加快提升 數據質量,加強數據管理,著力提升數據傳輸穩定性、 連續性;拓展和鞏固能耗數據來源渠道,探索打破信息 孤島和數據壁壘,逐步建立跨行業、跨部門數據共享機 制;對系統數據質量進行核查,及時剔除異常數據,確 保所傳數據真實、準確、有效。
4 數據質量評價指標
4.1 數據質量評價指標國家標準
根據國家標準《信息技術 數據質量評價指標》 GB/T 36344-2018中對數據質量評價指標的定義,通用 性評價指標有6種,如圖3所示。
圖3 數據質量評價指標框架
(1)規范性:數據符合數據標準、數據模型、業 務規則、元數據或權威參考數據的程度。
(2)完整性:按照數據規則要求,數據元素被賦 予數值的程度。
(3)準確性:數據準確標識其所描述的真實實體 (實際對象)真實值的程度。
(4)一致性:數據與其他特定上下文中使用的數 據無矛盾的程度。
(5)時效性:數據在時間變化中的正確程度。
(6)可訪問性:數據能被訪問的程度。
4.2 企業實時能耗數據質量評價標準
做好重點用能單位能耗數據質量評價,需要理清企業實時數據來源、數據流經環節、數據利用方式等基本 信息,再從兩個層面進行深度分析。首先是企業端側的 各種數據源(各種計量器具、工業信息化系統、智能傳 感器等)生成的實時數據以工業現場總線、工業以太網 等傳輸介質傳輸至企業端設備系統,企業端系統對數據 進行準確性、完整性、可靠性校驗并根據數據上報要求 對數據進行封裝后按上報協議上傳至省(市)級平臺; 第二個層面是省(市)級平臺對所轄區域內的重點用能 單位上報的一定時間內的能耗數據進行完整性、上報 率、時效性、可用性等指標的量化評價與分析,并生成 數據質量報告。
圖4 能耗在線監測系統數據流向圖
常規的企業端系統設計模式是將各種數據源的高頻 實時數據,經過數據采集與實時存儲功能模塊將數據錄 入到實時數據庫中,再通過能耗數據上報軟件對采集數 據項進行能耗數據編碼匹配設定,然后按照數據上報標 準技術規范要求完成實時能耗數據上報功能。
看似流暢合理的數據處理過程,在實際項目運行過 程中會由于多種預期之外的異常情況而產生大量的異常 數據,主要表現在以下幾個方面:
(1)計量器具自身穩定性原因以及受通信網絡信 號干擾導致的數據異常擾動;
(2)自動化系統軟件及服務(尤其是OPC Server 服務)間歇性故障導致的數據不能穩定推送帶來的異 常;
(3)企業端系統的數據采集插件不具備數據過濾 與清洗功能導致異常數據錄入數據庫,給區間消費量統 計分析工作帶來極大不便,影響數據上報的準確性。目 前大部分企業端系統軟件均不具備數據深度處理及數據 治理能力;
(4)部分數據存儲記錄不連續導致的部分能耗采 集數據項定時上報指標不完整,影響企業數據上報的完 整性;
(5)企業端系統因操作系統故障、硬件不穩定等 因素導致不能持續穩定運行,進而影響企業能耗數據上 報率指標。
以上所列的幾種現象為企業端系統在實際運行過程 中比較常見的異常情況,還有諸如計量器具更換導致的 數據不能步進累加、手工填報數據滯后導致的月度消耗 數據統計不完整、省(市)級平臺同時接收多企業能耗 數據時并發處理能力不足導致的數據上報失敗等多種原 因都會對能耗數據上報質量產生影響。
綜上,重點用能單位能耗數據上報的數據質量評價 根據其采集與上報的數據特征、數據獲取方式及數據價 值利用規則,可以采用時效性、完整性、準確性、上報 率這4個關鍵性指標作為評價企業實時能耗數據質量高 低的評價標準。
從數據產生到傳遞的過程看,重點用能單位能耗在 線監測系統的數據質量提升的關鍵點在于企業端系統的 數據治理能力,即在數據產生及存儲過程的源頭進行治 理,可以有效提升系統數據質量。對企業端系統的數據 流向所涉及的各關鍵環節進行節點分析,可以找到影響 數據上報質量的關鍵因子,如圖5所示。
圖5 多維度數據質量管理
5 數據質量提升解決方案
能耗在線監測企業端系統的數據質量提升工作需要 在原有企業端系統內加入數據治理軟件包,從數據采集 插件送入實時數據庫的數據開始進行治理,包含數據預 處理、數據工程處理、數據應用處理等幾個業務模塊, 以鏈式數據管道處理模式建立一條主數據流水線,以元 數據為基礎構建數據基礎模型,源數據經過數據清洗與 過濾、模式識別與數據標識、數據分析與運算、數據插 值與補償等一系列數據治理策略,再根據業務應用模型 需要進行數據應用屬性及工程參量定義與關聯匹配,經 過處理的有效能耗數據進入到時序數據庫后,再根據業 務應用需要由數據上報插件完成數據上報任務。具備數據治理能力的企業端系統數據流向如圖6所示。
圖6 疊加數據治理軟件包的企業端系統數據流向圖
為進一步提升能耗在線監測系統的數據質量提升 效力與企業端系統的運維時效性,有必要借助云邊協同 應用技術與基于MQTT協議的數據訂閱與發布機制,建 立一套能耗實時數據上報消息推送系統,以實現能耗數 據上報成功與否的即時消息推送,方便運維管理單位及 重點用能單位第一時間掌握數據上報動態。同時,該系 統還可增加企業邊緣側的各項異常信息推送服務,為故 障診斷分析提供更加有價值的參考信息。該系統架構原 理圖如圖7所示。
圖7 基于云邊協同應用技術的能耗數據上報即時消息推送系統
基于該系統,企業端系統能耗數據上報軟件在完成 每日數據上報任務后,自行將數據上報狀態、數據上報 完整度、數據上報異常狀況等消息推送至云服務平臺, 關注并訂閱了特定企業端系統的用戶便可以第一時間接 收到平臺推送的消息。系統建設及運維單位的工程技術 人員可以同時訂閱多個相關的自建企業端系統主題消 息,當發現企業端系統有數據上報異常或故障消息后, 可以及時開展遠程故障診斷與數據補報操作,提高了企 業端系統運維管理效率及能耗數據上報質量。
6 平臺側數據質量評價方法
在解決了企業端的能耗實時數據質量問題之后,省 (市)級能耗在線監測平臺需要一套行之有效的企業能 耗數據質量的評價體系及方法,用于評價所轄區域內的 重點用能單位能耗數據上報質量并公示,進一步督促數 據質量較差企業完成數據質量提升改造工程。
根據前文所述,以時效性、完整性、準確性、上 報率這4個關鍵性指標作為評價企業實時能耗數據質量 高低的評價標準,在能耗在線監測系統從建設初期試運 行階段、驗收后的質保服務期、過保后的系統持久運行 期等不同階段,數據質量評價各項指標的權重應有所不 同,故需要能耗在線監測平臺將指標權重系數設計為可 變參量,方便不同階段靈活調整各指標權重系數。系統 初始運行階段參數設置方法見表1。
表1 評價指標及權重系數
(1)完整指標:反映重點用能單位能源消費種類 的指標,采集數據項的完整性是最重要的考察指標,該 指標不完整意味著企業上報的能源消費數據不能覆蓋全 部能源品種;
通過實際上報數據項個數與應上報數據項個數的比 值,可以發現漏報數據項指標,查證后通過補報及修正 工程配置的方式進行完整度優化。
(2)準確指標:反映重點用能單位實時上報的能源消費數據與企業實際消費情況的一致性程度;
通過計量器具配備率、計量等級、校準及年檢日期 等信息,判定企業上報的能源消費數據是否準確,可以 通過調優或更換更加精準的計量器具實現數據準確性指 標提升。
(3)時效指標:反映重點用能單位是否按照標準 技術規范要求實時上報數據到省(市)級能耗在線監測 平臺;
通過該指標可以觀察企業端系統的運行穩定性及系 統運維管理是否得當。
(4)上報率指標:反映企業在過去一段時間內 (如30天)成功上報能耗數據天數與實際區間運行天數 的比率;
該指標可以真實反映企業端系統是否處于正常運行 狀況以及企業端系統與省(市)級平臺之間的互聯互通 狀況;持續的上報率指標過低需要引起重視,大概率表 明該企業端系統已經失去正常運行能力或與省(市)級 平臺失聯,需要運維服務單位介入。
7 數據利用價值
能耗“雙控”考核是經濟規劃中的約束性指標, 最初出現在“十一五”發展規劃綱要中,重點關注重點 用能單位的能源消費總量和能源消費強度兩項指標。 “十三五”時期,我國正式建立了能耗“雙控”考核制 度,在全國設定能耗強度降低目標和能源消費總量目 標,并將目標分解到各省市自治區,嚴格考核并按季度 進行通報排名。
重點用能單位能耗在線監測系統是能耗“雙控”考 核制度中的重要手段,以信息化系統為基礎,以能耗數 據上報的高時效性、準確性、完整性為依據,全面落實 能耗“雙控”目標。隨著企業端系統建設數量的不斷增 加,企業端系統上報至各省(市)級平臺的實時能耗數 據量與日俱增,部分省(市)節能主管部門陸續出臺了 企業端系統驗收標準技術規范(指南)文件,用于指導 企業端系統項目驗收,希望從源頭把好數據質量關。數 據質量提升已成為當下能耗在線監測系統運維管理工作 的重中之重。
8 結語
在當下互聯網、云計算、大數據、萬物互聯、企業 數據上云業務應用等新興技術與應用場景蓬勃發展的年 代,數據治理是數據價值變現與數字化決策的前提,已 成為廣大企業和政府機構的廣泛共識。避免陷入大數據 積累演變為大“垃圾”數據困境,通過數據治理策略確 保企業的數據資產得到正確有效及安全地管理,通過對 數據源信息資源的有效獲取和科學處理,實現企業能耗 數據有序存儲并上報至省(市)級平臺,發揮輔助宏觀 決策分析的應用價值,成為各級節能主管部門的關注重 點。
本文中提到的從源頭對數據進行數據管道式的數 據質量治理策略,除了適用重點用能單位能耗在線監 測系統之外,也適用于工業互聯網、數字化工廠建設 等多種構建于云邊協同技術架構下的應用場景。基于 行業特征數據進行數據建模與歸類,形成一系列模式 化的數據治理規則引擎,在邊緣側實現高質量的數據 流,為大數據應用平臺的數據分析利用奠定了良好的 數據基礎。
作者簡介:
田海濤(1980-),男 ,高級工程師,現任上海華瑞眾 信技術有限公司總經理,研究方向為邊緣計算網關、 能耗在線監測端設備、OT/IT融合應用技術產品設計與 云邊協同應用技術解決方案推廣。
唐 俊(1989-),男,中級工程師,現任上海華瑞眾 信技術有限公司研發總監,研究方向為邊緣計算網關、 能耗在線監測端設備、OT/IT融合應用技術產品研發。
摘自《自動化博覽》2023年第2期暨《邊緣計算2023專輯》