★寧夏煤礦設(shè)計(jì)研究院有限責(zé)任公司張善兵
選煤廠智能化是工業(yè)智能發(fā)展的重要組成部分,也是煤炭行業(yè)轉(zhuǎn)變發(fā)展方式、優(yōu)化生產(chǎn)結(jié)構(gòu)、提高經(jīng)濟(jì)效益的重要途徑。目前,選煤廠依靠工人定期巡檢選煤設(shè)備工作狀況或監(jiān)視選煤過程參數(shù)、手動(dòng)操作現(xiàn)場報(bào)警和設(shè)備啟停,以及監(jiān)控系統(tǒng)只記錄、存儲(chǔ)視頻,不能為精準(zhǔn)決策提供依據(jù),無法滿足現(xiàn)代選煤廠對(duì)智能化水平的要求。人工智能AI視頻分析可實(shí)現(xiàn)對(duì)選煤廠設(shè)備、環(huán)境、人員、選煤全流程重要參數(shù)的智能監(jiān)測,進(jìn)而降低人力成本,提高生產(chǎn)效率,精準(zhǔn)監(jiān)測過程參數(shù),對(duì)選煤廠智能化具有重大意義。
1 系統(tǒng)設(shè)計(jì)
1.1 系統(tǒng)設(shè)計(jì)思路
通過在選煤廠的皮帶、吊裝口、危險(xiǎn)區(qū)等位置區(qū)域部署攝像機(jī)(防爆攝像機(jī)),在廠區(qū)控制室的機(jī)房部署視覺AI邊緣計(jì)算設(shè)備和監(jiān)測預(yù)警平臺(tái),實(shí)現(xiàn)對(duì)生產(chǎn)過程中人員的非法入侵、作業(yè)過程中人員的不安全操作與行為以及設(shè)備工作狀態(tài)異常的安全監(jiān)測和報(bào)警。
1.2 系統(tǒng)簡介
選煤廠視頻AI智能分析系統(tǒng)集工藝與智能視覺分析為一體,是利用智能視頻分析技術(shù)實(shí)現(xiàn)對(duì)選煤廠人員的不安全行為、設(shè)備的不安全狀態(tài)和環(huán)境危險(xiǎn)因素的檢測識(shí)別,使得傳統(tǒng)監(jiān)控系統(tǒng)具備了新的能力,解決了傳統(tǒng)的視頻監(jiān)控模式下海量視頻錄像堆砌在中心,需要大量人力投入進(jìn)行人工查證的問題,同時(shí)促成監(jiān)控業(yè)務(wù)模式從事后查證到主動(dòng)視頻防控質(zhì)的飛躍。
選煤廠視頻AI智能分析系統(tǒng)基于人工智能視覺、邊緣計(jì)算、大數(shù)據(jù)等最新技術(shù)及選煤廠場景分析預(yù)警模型,為選煤廠構(gòu)建了一個(gè)實(shí)時(shí)的視頻分析安全態(tài)勢預(yù)警平臺(tái),避免了重大安全事故,防患于未然,可為企業(yè)生產(chǎn)安全保駕護(hù)航。
1.3 系統(tǒng)架構(gòu)設(shè)計(jì)
系統(tǒng)平臺(tái)總體采用云架構(gòu),分為物、端/邊緣、云三大部分,如圖1所示。
圖1 平臺(tái)架構(gòu)
1.3.1 物
物主要指作業(yè)場所的攝像機(jī)設(shè)備。
1.3.2 端/邊緣
端/邊緣主要是用于接入邊緣的設(shè)備,接入攝像機(jī)視頻流數(shù)據(jù),經(jīng)過加工后再轉(zhuǎn)換傳遞至云端。
1.3.3 云
云是系統(tǒng)應(yīng)用的核心,云端總體采用IaaS、PaaS、SaaS三層架構(gòu)。IaaS層通過虛擬化技術(shù),使得整個(gè)物理計(jì)算資源可動(dòng)態(tài)調(diào)配;PaaS層采用容器和調(diào)度技術(shù),使得應(yīng)用發(fā)布輕松便捷,同時(shí)可監(jiān)控和動(dòng)態(tài)分配應(yīng)用資源;SaaS層則主要面向用戶提供各種業(yè)務(wù)應(yīng)用功能。
1.4 系統(tǒng)核心應(yīng)用
整個(gè)系統(tǒng)核心分為上下兩個(gè)層次,如圖2所示。底部三層為視頻數(shù)據(jù)接入層,主要為現(xiàn)場監(jiān)控畫面與異常檢測數(shù)據(jù)接入、人臉識(shí)別數(shù)據(jù)接入;上層為用戶應(yīng)用系統(tǒng)層,主要為最終用戶提供系統(tǒng)功能,應(yīng)用覆蓋智能綜合展示、告警事件管理、事件處置管理、配置管理、系統(tǒng)管理、移動(dòng)APP應(yīng)用等功能。
圖2 功能設(shè)計(jì)
2 系統(tǒng)關(guān)鍵技術(shù)
2.1 圖像處理技術(shù)
在應(yīng)用計(jì)算機(jī)視覺技術(shù)時(shí),第一步是圖像采集,第二步是對(duì)已經(jīng)采集的圖像進(jìn)行預(yù)測分析處理,如果采用宏觀檢測技術(shù)則對(duì)圖像整體進(jìn)行分析;如果采用局部微觀檢測則是將圖像進(jìn)行切割,然后對(duì)切割后各圖像內(nèi)容中出現(xiàn)的運(yùn)動(dòng)物體影像進(jìn)行分析。在圖像數(shù)據(jù)處理中常用的技術(shù)有背景差分法、視頻幀間差分法等。平臺(tái)主要采用OpenCV圖像處理技術(shù),它包含了幾百個(gè)圖像處理和計(jì)算機(jī)視覺方面的C語言函數(shù)和一些C++類,實(shí)現(xiàn)了許多流行的圖像處理和計(jì)算機(jī)視覺算法。
2.2 卷積神經(jīng)網(wǎng)絡(luò)圖像分析技術(shù)
卷積神經(jīng)網(wǎng)絡(luò)圖像分析技術(shù)主要對(duì)圖像進(jìn)行分類。CNN使用一種局部連接和權(quán)值共享的模式,有效控制待學(xué)習(xí)的參數(shù)數(shù)量的同時(shí),可逐層提取圖像的高層特征信息,使系統(tǒng)實(shí)現(xiàn)快速高效識(shí)別。
在卷積層,每一層卷積網(wǎng)絡(luò)采用多個(gè)卷積核對(duì)圖像數(shù)據(jù)進(jìn)行卷積操作。在這里卷積核是一個(gè)3×3的矩陣,通過卷積核窗口的不斷滑動(dòng)計(jì)算,會(huì)提取出一張?zhí)卣鲌D。同一層的神經(jīng)元可以共享卷積核,并且使用卷積核后圖片的尺寸變小也不影響原圖的特征,方便后續(xù)計(jì)算。
池化層則是在局部計(jì)算每個(gè)窗口的最大值或者平均值。通過這種操作,可以減少參數(shù),只保留有用的特征,提高了運(yùn)算效率。
最后的全連接層則可以將學(xué)到的“分布式特征表示”映射到樣本標(biāo)記空間,起到分類器的作用。通過多層卷積層和池化層的疊加,可以很好地識(shí)別出圖像的特征信息,保證了識(shí)別的精度和速度。
2.3 人臉識(shí)別技術(shù)
人臉識(shí)別技術(shù)是基于圖像識(shí)別,并根據(jù)人臉特征信息進(jìn)行身份判定的技術(shù)。人臉識(shí)別主要特點(diǎn)是利用人的臉部特征作為一種身份辨識(shí)的方式,通過采集含有人臉的圖像或視頻流,自動(dòng)對(duì)圖像或視頻中的人臉進(jìn)行檢測定位、圖像預(yù)處理、特征提取和匹配識(shí)別,達(dá)到識(shí)別不同人身份的目的。因此,人臉識(shí)別技術(shù)可以在不同場合中實(shí)現(xiàn)智能化應(yīng)用,其優(yōu)勢有以下三個(gè)方面。
2.3.1 自然性
所謂的自然性是指通過觀察就可以比較人臉來區(qū)分和確認(rèn)身份。
2.3.2 非接觸性
相比較其他生物識(shí)別技術(shù)而言,人臉識(shí)別是非接觸和非感知的,用戶不需要和設(shè)備直接接觸和感知。
2.3.3 并發(fā)性
在實(shí)際應(yīng)用場景中,人臉識(shí)別技術(shù)可以進(jìn)行多個(gè)人臉的分揀、判斷及識(shí)別。
2.4 邊緣計(jì)算技術(shù)
智能視覺分析服務(wù)與人臉識(shí)別系統(tǒng)均采用邊緣計(jì)算框架進(jìn)行部署。邊緣計(jì)算起源于傳媒領(lǐng)域,是指在靠近物或數(shù)據(jù)源頭的一側(cè),采用網(wǎng)絡(luò)、計(jì)算、存儲(chǔ)、應(yīng)用核心能力為一體的開放平臺(tái),就近提供最近端服務(wù)。邊緣計(jì)算框架總體采用松耦合微服務(wù)架構(gòu),共分為四個(gè)核心層和兩個(gè)輔助服務(wù)層。四個(gè)核心層分別為。
2.4.1 設(shè)備接入服務(wù)層
設(shè)備接入服務(wù)層提供網(wǎng)絡(luò)攝像機(jī)的快速接入。
2.4.2 核心服務(wù)層
核心服務(wù)層提供核心運(yùn)行服務(wù),主要包括核心數(shù)據(jù)服務(wù)(搜集持久化設(shè)備和傳感器等邊緣設(shè)備數(shù)據(jù),并將數(shù)據(jù)導(dǎo)出到云)、命令服務(wù)(負(fù)責(zé)把命令從設(shè)備傳到云端,不允許非法命令與設(shè)備交互)、元數(shù)據(jù)服務(wù)(主要包括管理設(shè)備配置文件,包括設(shè)備信息、設(shè)備數(shù)據(jù)結(jié)構(gòu)類型和設(shè)備命令)和注冊(cè)配置服務(wù)(微服務(wù)配置、執(zhí)行參數(shù)和狀態(tài),提供微服務(wù)啟動(dòng)所需配置,如端口號(hào)等)。
2.4.3 支撐服務(wù)層
支撐服務(wù)層提供支撐整個(gè)系統(tǒng)運(yùn)行的服務(wù),主要包括告警通知服務(wù)(設(shè)備發(fā)生故障,生成告警,發(fā)生告警到目的應(yīng)端,目前支持E-mail和REST回調(diào));
日志服務(wù)(通過RESTfulAPIs提交日志請(qǐng)求、查詢歷史日志、移除歷史日志,用LOGBack做日志框架,可以通過文件或MongoDB持久化日志);
調(diào)度服務(wù)(負(fù)責(zé)定時(shí)清理設(shè)備數(shù)據(jù),默認(rèn)每30分鐘執(zhí)行一次)和規(guī)則引擎服務(wù)(提供了一種邊緣事件觸發(fā)機(jī)制,監(jiān)控邊緣設(shè)備數(shù)據(jù)。符合條件,觸發(fā)行為,通過命令服務(wù)下發(fā)指令)。
2.4.4 輸出服務(wù)層
輸出服務(wù)層主要負(fù)責(zé)數(shù)據(jù)到云端的輸出服務(wù),主要包括客戶端注冊(cè)(客戶端注冊(cè)為數(shù)據(jù)接收者,按需過濾流轉(zhuǎn)數(shù)據(jù),包括本地分析服務(wù)、事件處理器、智能分析引擎等)和分發(fā)微服務(wù)(基于EAI技術(shù),管道過濾體系。通過消息隊(duì)列,接收數(shù)據(jù),過濾、傳輸和格式化數(shù)據(jù),通過REST、MQTT、OMQ分發(fā)數(shù)據(jù)到特定注冊(cè)客戶端)。
兩個(gè)輔助服務(wù)層:安全服務(wù),支持AAA訪問控制,AES256數(shù)據(jù)加密,唯一證書認(rèn)證,HTTPS協(xié)議流程數(shù)據(jù);系統(tǒng)管理服務(wù),提供微服務(wù)安裝、升級(jí)、啟動(dòng)、停止和監(jiān)控功能。
3 AI視頻分析技術(shù)在選煤廠的應(yīng)用
3.1 不安全行為識(shí)別應(yīng)用
不安全行為包括膠帶機(jī)沿線靠近、膠帶機(jī)頭機(jī)尾走廊越線、危險(xiǎn)區(qū)域闖入、防護(hù)欄越界、安全帽檢測等。
攝像頭錄制現(xiàn)場人員的操作畫面,并上傳到視覺AI邊緣計(jì)算設(shè)備和監(jiān)測預(yù)警平臺(tái),視覺AI平臺(tái)分析視頻里的畫面,并將人員操作畫面放入正規(guī)操作圖片庫中進(jìn)行比對(duì),判定為違規(guī)操作立即報(bào)警,并記錄到報(bào)警歷史中。
3.2 雜物識(shí)別、皮帶跑偏識(shí)別應(yīng)用
利用原在膠帶機(jī)上已經(jīng)安裝的攝像儀,通過視頻分析平臺(tái)實(shí)現(xiàn)皮帶上大塊物體及雜物的識(shí)別、跑偏監(jiān)測等功能。
3.3 刮板機(jī)斷鏈、斜鏈、飄鏈監(jiān)測保護(hù)識(shí)別應(yīng)用
利用在塊煤配篩刮板機(jī)、煤泥刮板機(jī)上已經(jīng)安裝的攝像儀,通過視頻分析平臺(tái)實(shí)現(xiàn)刮板機(jī)斷鏈、斜鏈、飄鏈的監(jiān)測保護(hù)等功能。其中刮板機(jī)斷鏈、斜鏈監(jiān)測保護(hù)可與原有機(jī)械保護(hù)裝置互為驗(yàn)證。
4 AI視頻分析技術(shù)在選煤廠推廣價(jià)值
4.1 邊效益比突出
通過本方案可以在原有監(jiān)控系統(tǒng)的基礎(chǔ)上做AI視頻分析的功能應(yīng)用,不需要再另行增加視頻監(jiān)控?cái)z像頭和傳輸設(shè)備,大大降低了成本并可確保原有系統(tǒng)的投資。
4.2 安全可靠
視覺的最大優(yōu)點(diǎn)是與被觀測對(duì)象無接觸,因此對(duì)觀測對(duì)象與被觀測對(duì)象都不會(huì)產(chǎn)生任何損傷,安全可靠,這是其它監(jiān)測設(shè)備及方法無法比擬的。另外,人員無法長時(shí)間觀察對(duì)象,機(jī)器視覺則不知疲勞,能全天候進(jìn)行觀測,所以機(jī)器視覺可以廣泛地應(yīng)用于全天候、惡劣的工作環(huán)境。
4.3 連續(xù)性
智能視覺系統(tǒng)可以使人免受疲勞之苦,不再需要人時(shí)刻進(jìn)行值守,當(dāng)出現(xiàn)異常情況時(shí),系統(tǒng)可進(jìn)行及時(shí)告警并顯示現(xiàn)場情況,并通過相關(guān)人員進(jìn)行處置。
5 結(jié)論
將視覺AI技術(shù)應(yīng)用于選煤廠實(shí)際生產(chǎn)過程當(dāng)中,實(shí)現(xiàn)選煤廠的智能控制,是將來選煤廠科技創(chuàng)新及技術(shù)改造的一個(gè)重要方向。視覺AI技術(shù)是用圖像攝取裝置代替人眼從客觀事物中提取圖像信息,并通過計(jì)算機(jī)加以處理,最終實(shí)現(xiàn)實(shí)際測量、分析和控制。隨著計(jì)算機(jī)與圖像處理技術(shù)的發(fā)展,視覺AI技術(shù)在各個(gè)工業(yè)領(lǐng)域都將得到廣泛的應(yīng)用。
作者簡介:
張善兵(1972-),男,寧夏銀川人,高級(jí)工程師,現(xiàn)就職于寧夏煤礦設(shè)計(jì)研究院有限責(zé)任公司,研究方向?yàn)槊旱V信息化、智能化。
參考文獻(xiàn):
[1] 趙亮, 孫魁元, 韓寶虎, 等. 基于人工智能視頻分析的選煤廠安全管理研究[J]. 中國安全科學(xué)學(xué)報(bào), 2021.
[2] 折小江, 劉江, 王蘭豪. AI視頻圖像分析在選煤廠智能化中的應(yīng)用現(xiàn)狀與發(fā)展趨勢[J]. 工礦自動(dòng)化, 2022, 48 (11) : 45 - 53, 109.
[3] 張康輝, 王衛(wèi)東, 劉子琪, 等. 煤炭加工中異物的計(jì)算機(jī)視覺檢測注意力CNN[J]. 工程人工智能的應(yīng)用, 2021, 102 : 116 - 128.
[4] 劉開南. 基于遞歸卷積神經(jīng)網(wǎng)絡(luò)的煤礦智能監(jiān)控安全生產(chǎn)管理平臺(tái)關(guān)鍵技術(shù)研究[J]. 中國煤炭, 2018, 44 (12) : 84 - 87.
[5] 宗春英. 基于人工智能的故障監(jiān)測和診斷系統(tǒng)的研究[J]. 制造業(yè)自動(dòng)化, 2012, 34 (7) : 52 - 54.
[6] 樊國方, 岳長青, 吳勝平. 皮帶打滑測速裝置的改進(jìn)[J]. 水泥, 2012 (8) : 60 - 61.
[7] 高文. 智慧礦山智能決策支持技術(shù)架構(gòu)設(shè)計(jì)[J]. 工礦自動(dòng)化, 2017, 43 (9) : 21 - 25.
摘自《自動(dòng)化博覽》2023年4月刊