★北京力控元通科技有限公司
1 背景
石油工業是全球最重要的產業之一,涉及到石油的開采、生產、存儲、運輸和銷售等方面,對我們的現代社會和經濟產生了巨大的影響。石油是全球最重要的能源之一,被廣泛應用于交通運輸、工業生產、電力生產、家庭供暖等領域。石油工業還具有地緣政治的重要意義,是世界各國重要的戰略資源之一,對現代社會的發展和經濟繁榮也具有很大的作用。隨著技術和管理的不斷創新,石油工業將發揮重要作用,為人類社會的持續發展做出貢獻。
國內某油氣田公司隸屬于中國石油天然氣集團有限公司,擁有礦權面積約10萬平方千米,累計探明天然氣地質儲量超4萬億立方米,探明率約16%;歷年累產天然氣約5700億立方米,現具備年產能力400億立方米以上;擁有集輸和燃氣管道近7萬千米,年綜合輸配能力440億立方米。
該油氣田公司長久以來原生產數據平臺采用國外數據庫產品,技術受制于人,存在較大的產業安全隱患。隨著公司管網規模不斷擴大,井口、場站數量更多,分布范圍更廣,公司與二級單位、場站之間的實時通訊與調度面臨更大的數據接入挑戰,舊有的數據應用方式、管理手段和管理模式已無法滿足新的管控需求,實時數據庫迭代升級工作迫在眉睫。
2 項目應用
為響應國家及集團內部的號召,敢于自我突破,實現生產核心數字資產自主可控。在不影響原有業務應用的前提下,該油氣田公司和相關服務單位及力控科技合力打造生產數據平臺升級改造的方案。力控科技實時數據庫解決方案幫助油氣田公司實現了數據庫的升級改造,從而保證油氣田生產數據自主可控、安全可靠。力控科技實時數據庫解決方案幫助企業實現以下功能:
(1)實現一線生產單元各類生產、物聯數據和管理數據的采集、傳輸、存儲、轉換以及分析。
(2)采用國產實時數據庫pSpace軟件平臺升級擴容,新數據庫容量從原數據庫的20萬點提升到50萬點。
(3)數據質量管理平臺有效解決二級單位、基層單位數據重復錄入問題,位號不合規問題和通訊監控不及時問題。
(4)發布油氣田公司上千張工藝流程圖,為上層40多個應用系統提供各類生產數據。
力控科技實時數據庫解決方案通過調研油氣田公司現有國外數據庫應用情況,為油氣田公司量身打造了基于國產數據庫pSpace并配套數據質量管理和設備資產管理的解決方案。針對該油氣田公司替代國外知名數據庫的需求,力控科技把主要著力點放在了原有系統評估、新數據庫評估以及如何實現平穩替代上面。項目具體實施情況如下:
(1)采用力控科技企業級實時歷史數據庫pSpace作為數據庫核心。力控科技企業級實時歷史數據庫pSpace具有高性能、高吞吐、跨平臺、分布式應用、冗余容錯機制、安全機制、驅動豐富、數據服務接口齊全、級聯交互等特征,可提供數據計算、生產流程展示、高級報警分析、數據質量管理及資產模型管理等應用擴展,實現生產監控到調度管理的完美整合,可與工業云平臺無縫對接,極大地提高企業信息化決策的準確性。油氣田公司為驗證力控科技的能力,通過多次測評驗證,最后一致認可了力控科技企業級實時歷史數據庫pSpace替代國外產品數據庫的能力。
圖1 力控科技實時歷史數據庫pSpace架構圖
(2)評估原有采集系統實現采集遷移。該油氣田公司在使用國外數據庫這幾年,部分子公司做了多次升級改造,采集測點、設備、礦區都有所調整,同時因為業務需要,在辦公網的數據庫要匯聚多家兄弟單位的生產數據,這些都是當前數據庫已經不能滿足的采集需求。力控實時歷史數據庫采用國外數據庫原有采集方式交接了采集系統,并完成了原數據庫沒有匯聚的測點。將數據庫原來20萬數據容量擴充到pSpace的50萬數據容量。
(3)為保證新庫歷史數據完整,解決原有歷史數據遷移問題。為滿足數據完整性要求,在部署力控實時歷史數據庫pSpace后,需要把原有國外數據庫中歷史數據通過遷移方式移至力控實時歷史數據庫pSpace中。在進行數據遷移過程中確保遷移數據的完整性及準確性。本方案采用了力控科技自主研發的遷移方法,最終完成了原國外數據庫從2013年到2022年9年歷史數據的遷移工作。遷移效果佳,原國外數據庫一年的歷史數據存儲空間約為4T,經過3天時間遷移到力控實時歷史數據庫pSpace中,且存儲空間大大降低到約1.2T,并且通過了客戶完整性和準確性的驗證。
(4)通過對原有流程畫面解析,避免重復工作量。為減少流程畫面工具切換后導致的工程量問題,力控科技針對原國外數據庫流程畫面進行解析。針對線、多折線、多邊形、圓、文本、矩形等基本圖元以及閥門、電機、儀器儀表等系統圖元和圖元的條件動畫、數據綁定進行逐項分析,通過統一流程圖格式的方式實現流程畫面的遷移工作,遷移過程簡單快捷,遷移后的流程圖畫面實現高保真性,并可進行二次編輯和修改操作,滿足客戶個性化應用需求。
(5)提供多種接口,解決原有第三方系統集成遷移問題。該油氣田公司原有數據庫集成的第三方系統統計約有30多個,主要應用的接口方式為OPC、OPC HDA、OLEDB、JDBC;力控科技提供應用接口為OPC、OPC UA、OPC HDA、ODBC、OLEDB、WebAPI、JDBC等多種方式,實現測點屬性、用戶、實時數據、歷史數據、報警、事件等信息的多維度查詢和訪問,實現了原有第三方系統的全部接入并對部分接口進行了升級,且并入其他原來數據庫未接入的第三方系統,共計40個業務系統。
(6)配套設備資產管理平臺。設備資產管理平臺可實現設備管理人員更便捷地查看設備基礎信息、使用記錄、設備相關的實時數據以及報警信息,相關人員能更好地管理設備,了解設備全生命周期,掌控資產動態,從而使得與設備資產相關的各種記錄實現計算機化、無紙化、數據化,讓設備相關人員與設備緊緊相連,更加高效地進行設備資產管理。
(7)配套數據資產管理平臺。數據質量管理平臺可實現用戶的測點入庫前審核和入庫后管理,了解數據通訊是否正常,測點的增刪改是否合規,報警可以通過即時通通知相關人員。平臺可以定期形成操作日志供各級用戶查看。整個管理流程可以確保數據管理的合規性,同時形成閉環管理,提高數據質量管理,數據鏈路各環節狀態監視,質量異常提醒及管理。
3 項目三大核心成果
整體項目在經過近一年的生產現場運行測試,經過專家鑒定,一致認為依托該項目形成以下三個核心成果。
(1)工業時序數據庫高效壓縮方法:組合應用物理壓縮+邏輯壓縮算法,平衡壓縮能力、失真度、所需計算資源等要素,對時序數據值、數值獲取時間、質量戳各元素分類壓縮,采用標識符代替法有效提升壓縮率,相較原始數據,降低磁盤空間占用90%。
(2)工業時序數據庫存儲與查詢優化方法:業務系統多、查詢壓力大、多樣化數據查詢需求,存儲和查詢效率直接影響用戶的體驗。本項目采用B+Tree與LSM Tree組合索引結構、分段存儲、分段壓縮,解決海量歷史歸檔寫放大問題,提高數據匯聚排序量,提高時序數據讀寫支撐能力。
(3)分布式實時數據庫級聯鏡像傳輸方法:為保證生產網數據與辦公網數據的隔離與安全防護,該方案在生產網進行數據匯聚后數據庫所有信息通過單向網閘向辦公網進行數據傳輸,滿足數據庫的級聯鏡像需求。平衡安全防護與傳輸效率優化,實現生產網數據庫存儲的實時數據、歷史數據、用戶、權限、位號等信息快速有效地傳輸到辦公網數據庫中。
4 項目意義
此次國產化替代的探索突破了長久以來該油氣田公司生產數據平臺只能依賴國外數據庫產品、關鍵技術受制于人的桎梏。國產化替代完成后,新數據庫容量從原數據庫的20萬點提升至50萬點,同時配套定制了數據入庫檢查、數據校對等數據質量管理功能,設備臺賬、設備維護等設備資產管理功能,以及組態圖在線管理、數據可視化查詢、應用服務發布等平臺資源管理功能。通過優化實時數據傳輸架構,節省了二級單位實時數據庫軟件與服務器部署費用162萬元;通過優化實時數據傳輸架構減少運維節點,每年可以節省運維費220余萬元。該項目為公司提質增效、增儲上產提供強大的數據支撐,為集團公司打造“數字中國石油”開辟了數據庫國產“試驗田”。
摘自《自動化博覽》2023年7月刊