国产欧美日韩精品a在线观看-国产欧美日韩精品一区二区三区-国产欧美日韩精品综合-国产欧美中文字幕-一区二区三区精品国产-一区二区三区精品国产欧美

★長揚科技（北京）股份有限公司閆印強，趙子剛，姚興仁

關鍵詞：AI安全模型；葉片健康診斷巡檢模型；智能巡檢；計算機視覺技術；智慧風電廠

隨著我國風電裝機數量和容量的不斷增長，風力發電機組正朝著大型化、高效化和智能化的方向發展。同時，風機葉片的規模、尺寸不斷增加，使得其造價占到風電機總成本的比例越來越高，風機葉片的安全檢測變得尤為重要。然而，由于風電機組的工作環境十分復雜惡劣，運行時間越長，風機葉片出現變形^[1]、裂紋^[2]、鼓包、油污、砂眼^[3]和風蝕等損傷的可能性就越高。若風機葉片在工作過程中出現開裂、變形等現象，如不立即停機檢修而是讓機組繼續運轉，可能會引發機械故障，如葉片折斷或摔落^[4]，這種嚴重事故將給用戶帶來巨大財產損失。因此，檢測并發現葉片損傷情況的及時性尤為重要，這也一直是困擾業界的主要問題之一。

目前，風機葉片風險隱患監測識別的方法和工具主要有振動^[2~5]、光纖傳感^[6]、無人機^[7]。依靠振動和傳感的檢測方法，主要缺陷是它無法精準定位問題的根源，且有些領域無法覆蓋。通過無人機的監測方法的主要缺陷是不能實現實時監測，一方面是因為無人機飛行狀態受天氣情況影響大，另一方面這種檢測需要機組停機才能檢測，所以只能定時巡檢。

鑒于現有技術手段的缺陷和不足，本文提出了基于高清可見光視頻+熱成像技術的視覺AI檢測技術，通過使用深度神經網絡構建葉片健康診斷模型，對風機葉片運行過程中出現的損傷進行實時檢測與識別，實現了對葉片生產過程中的健康狀態實時監測的智能巡檢，攻克了現有傳統安全監測方法的缺陷和不足。

1 安全巡檢現狀分析

目前國內外風機葉片的巡檢技術主要包括：傳感器檢測技術^[8]、超聲波^[9]和激光監測技術^[10]、無人機與機器人監測巡檢技術^[11]這3種。

1.1　傳感器檢測技術

基于傳感器的檢測技術目前主要體現在3個方向：聲發射傳感器檢測技術^[12、13]、光纖光柵傳感器檢測技術^[14]和SCADA傳感器檢測技術^[15]。這些技術都需要使用傳感器作為依托，部署到風機葉片的待檢測區域，通過傳感器捕獲的轉速等信號來進行分析，從而檢測出葉片是否發生故障或者損傷。基于傳感器的檢測方法存在兩個比較明顯的檢測缺陷：一個是檢測范圍的局限性高，例如鼓包、油污、砂眼、風蝕、著火、雷擊燒灼等現象通過傳感器的方式無法檢測，只能檢測到斷裂、變形等情況；另一個是無法精確定位故障發生的原因，例如葉片折斷故障，傳感器能從轉速判斷葉片出現了故障，但發生故障的原因不止一種，不能準確地定位出是葉片折斷導致的。

1.2　超聲波和激光監測技術

超聲波和激光監測技術目前主要用于葉片內部與較深部位的檢測。大型葉片內部質量問題無法顯性判斷異常缺陷的位置和大小，需要利用超聲波和激光監測技術進行內部探測。超聲波主要應用于玻纖纖維層合板較厚和膠黏劑粘接的區域檢測，激光散斑干涉主要應用于葉片夾層結構層的檢測^[16]。在實際應用中可通過不同設備檢測優勢相結合的方式來實現葉片的整體無損檢測。該方法存在的比較明顯的不足是只能作為定時定點檢測工具停機檢測，無法在工作狀態下實時檢測。此外，目前超聲波和激光的檢測主要針對葉片的內部進行檢測，不合適葉片外面的檢測，故有一定的局限性。

1.3　無人機與機器人監測巡檢技術

機器人與無人機作為定期巡檢的工具，是一種通過可見光攝像機進行葉片損傷巡檢^[17、18]，實現可視化的故障檢測技術，相比于前2種方法有一定改進，然而不足也依然明顯，例如只能停機檢測，且只能定時巡檢，無法做到實時檢測。另外，受外界環境干擾比較大，尤其是無人機，如遇到刮風下雨等天氣就不能按時巡檢，且巡檢過程中受到外界信號的干擾大，容易產生偏航等現象^[19]。

基于現有風機葉片檢測技術的研究現狀，針對現有傳統檢測技術無法精確定位、需要停機檢測、無法實時檢測等問題，本文提出了基于視覺AI的檢測技術，通過使用高清視頻和熱成像設備，達到對葉片故障進行實時檢測和精準定位故障的目的。

2　相關技術

基于高清視頻+熱成像的視覺AI分析技術構建的葉片健康診斷的智能巡檢系統，是集多學科于一體的技術綜合性檢測方法，除涉及傳統較為完善的機械、電工電子、通信、自動化等技術外，更融合圖像與視頻識別、紅外成像、人工智能等前沿技術。

2.1　圖像目標檢測與識別算法

基于圖像的目標檢測與識別算法是構建神經網絡，對二維圖像進行特征提取和學習得到算法模型，使用模型識別圖片中是否包含特定目標的過程。國內外在目標檢測識別方面的研究目前已有非常成熟的理論和成果，比如以rcnn^[20]系列為代表的two-stage方向和以YOLO^[21]系列為代表的one-stage方向，還有近年比較火熱的基于transformer^[22]在目標檢測方面的應用。在眾多的目標檢測算法中，YOLO在速度和精度上的綜合表現優異，深受業界從業者喜愛。為了研究成果具備普適性，本文選擇工業界目前廣泛使用的YOLO5^[23]版本模型作為目標檢測算法。YOLO5版本的backbone主要由CBL、BottleneckCSP/C3以及SPP/SPPF等組成，其中BottleneckCSP模塊借鑒引入了ResNet^[24]的跨層和連接，可以保證網絡加深后不會出現特征消失的現象。

2.2　熱成像技術

紅外成像技術是一項在圖像領域應用十分廣泛的成熟技術，在智能巡檢設備上安裝紅外成像攝像頭或紅外成像元器件對巡檢區域進行紅外成像，即可測量設備表面溫度。系統對紅外成像進行圖像去噪處理，對圖像配準疊加多幅圖像后，將去噪處理后的紅外圖像回傳至數據處理中心進行處理。紅外熱成像設備通常分為制冷焦平面熱像儀和非制冷焦平面熱像儀^[25]。制冷焦平面熱成像技術，是由于早些時候焦平面探測器材料以及工藝存在缺陷，所以需要通過對成像儀制冷以提高成像精度。隨著新材料的研發和制造工藝的提升，用于紅外成像的焦平面陣列探測器不進行冷卻也可滿足成像精度要求，這就是非制冷紅外熱像儀，它的優勢在于無需制冷、體積小、功耗低，是目前智能巡檢系統使用的主流產品。在對葉片進行監測過程中，可采用紅外成像對葉片溫度進行檢測，在風機塔筒上安裝紅外成像攝像頭或紅外成像元器件對葉片進行紅外成像，即可測量其表面溫度。

3　基于AI技術的葉片智能巡檢的設計研究

3.1　系統總體設計

系統總體采用“端+邊+云”的架構。“端”側主要指安裝在風機葉片上的視聲覺AI監測裝置，負責采集現場的視頻和聲音數據；“邊”側主要是接入“端”側推送的視頻流和音頻流數據的視覺AI工程機，通過其上部署的AI模型對視頻、圖像或聲音進行智能分析，并將檢測分析結果發送到“云”側；“云”側部署葉片健康監控預警平臺，主要是接收“邊、端”推送來的檢測分析結果，經研判生成報警，并對報警進行閉環處理，同時對數據進行多維度、多粒度的綜合展示，用戶也可通過接口與風機生產管理系統進行數據對接。視聲覺AI監測裝置安裝在風機塔筒現場端，視覺AI工程機（用來對采集的視頻和圖像進行AI模型計算分析）安裝在中控室端，葉片健康監測預警平臺安裝在虛擬化的“云”側。

系統部署環節主要分為現場側部署和中控室側部署，現場側主要部署紅外與可見光的雙目攝像機和聲音傳感器；中控室側主要部署視覺AI工程機、虛擬化的平臺應用服務器、視頻交換機和視頻存儲服務器，現場側和中控室側通過光纖進行連接和通信。

系統的總體業務流程是雙目攝像機獲取視頻和圖像信息后通過光纖傳輸到視頻交換機上，然后根據監測任務的不同，將視頻或圖像分發到對應的視覺AI工程機上；工程機上的AI模型再對采集的視頻和圖像進行智能分析，最終把檢測分析結果傳給云端的葉片健康監測預警平臺；預警平臺可依據分析結果進行預警、報警、決策和通知。平臺也具備模塊的配置與更新、邊緣設備和誤報庫的管理以及系統權限設定、組織角色配置等功能。系統總體架構如圖1所示。

圖1 系統總體架構圖

3.2　葉片監測設備的布局設計

監測葉片健康狀態的視聲覺AI監測裝置，主要部署在風機塔筒上機艙下面，高度以能清晰地拍攝到葉片的表面狀態為準。在風機塔筒兩側各部署一臺攝像機，分別監測葉片的正反面損傷，一臺為雙目攝像機（紅外與可見光），另一臺為可見光攝像機。可見光攝像機主要用來識別葉片的變形、裂紋、折斷、鼓包、覆冰、油污、砂眼、風蝕、著火、雷擊燒灼等損傷；紅外線攝像機主要用來監測葉片上的砂眼、鼓包、裂紋等損傷。檢測部署示意圖如圖2所示。

圖2 監測設備布局設計圖

3.3　葉片健康AI診斷模型的設計

葉片健康AI診斷模型總體設計思路是，基于深度學習圖像處理算法，結合紅外熱成像技術下呈現的葉片隱患損傷狀態，構建可診斷葉片健康狀況的視覺AI模型。經過模型訓練、誤差調整和精度優化等迭代過程，獲得最優權重進行模型部署和測試。診斷模型主要分為基于可見光和紅外的2種情況。

通過高清可見光攝像機和熱成像攝像機對葉片發生變形、裂紋、折斷、鼓包、覆冰、油污、砂眼、風蝕和雷擊燒灼等損傷的異常和正常狀態進行拍照，并進行原始圖像數據的采集，包括可見光和熱成像兩種類型的圖片樣本，所以需要分別訓練針對圖片類型的兩種目標檢測模型。對收集到的原始樣本進行合規性、完整性和準確性等的處理，如：數據轉換、分組、篩選、排序、補全、糾錯和刪除不合規的記錄等清洗操作，以及對圖片樣本進行數據標注和數據增強處理。數據標注使用labelme對樣本圖片中的各種故障類型進行拉框標注，形成coco類型的數據集；數據增強采用mixup、cutout、雙光增強等方式，能改善數據均衡、增加數據豐富性等。得到樣本集之后，通過樣本集對診斷模型進行大量運算和訓練，在運算訓練中依據識別的誤差，需要多次迭代訓練，包括更換優化器、調整迭代次數、調整anchor大小等方式，并對主要參數進行調整，包括：估計量、最小樣本分割數、學習率、損失量、最大深度、迭代次數、特征分值、閥值、類型、范圍、權重和偏置等^[26,27]。根據模型的訓練結果，進行預測、測試和評估，如果權重精度測試結果多次不合格，就需要更新訓練樣本集數據，直至在訓練樣本集范圍內達到允許的準確度和精度。

AI診斷模型對葉片可見光樣本圖片損傷的檢測流程如圖3所示。

圖3 AI診斷模型對葉片可見損傷的檢測流程圖

AI診斷模型對葉片熱成像樣本圖片損傷的檢測流程如圖4所示。

圖4 AI診斷模型對葉片熱成像損傷的檢測流程圖

4　基于AI技術的葉片智能巡檢的應用研究

風機葉片的巡檢識別功能，是通過聯網的攝像機配合AI模型來進行風機葉片狀況的實時檢測，并完成自動實時的巡檢工作。自動巡檢工作可以由在監控區域里安裝的攝像機聯合操作來完成，具體方案是，平臺可獲取和設置每個攝像機的狀態、參數，因此平臺可以把每個攝像機作為一個巡檢點，根據巡檢任務來規劃巡檢線路和巡檢順序，配置的巡檢內容有葉片的變形、裂紋、折斷、鼓包、覆冰、油污、砂眼、風蝕和雷擊燒灼等，并設置好巡檢周期，可以是3分鐘至24小時內的任何時間段，設置完成后可以在平臺上啟動巡檢任務，可在平臺上在線看到現場情況和收到報警信息。

4.1　基于可見光攝像機葉片智能巡檢的應用

高清可見光攝像機主要巡檢的內容有葉片發生的變形、裂紋、折斷、鼓包、覆冰、油污、砂眼、風蝕和雷擊燒灼等損傷的異常情況。通過在風機塔筒的高空可見光攝像機對葉片發生以上的異常和正常狀態進行拍照和視頻，并采用以上基于可見光的葉片健康視覺AI診斷模型的視覺AI智能視頻分析技術，可實時檢測現場的視頻和圖片，從中及時發現葉片的異常狀態，并將檢測結果和現場情況進行抓圖，自動上傳至上級管理用戶進行結果復核。

智能巡檢葉片損傷監測場景實際應用效果如圖5、圖6和圖7所示。

圖5 葉片裂紋、變形、折斷監測點

圖6 葉片鼓包、覆冰、油污監測點

圖7 葉片砂眼、風蝕、雷擊燒灼監測點

4.2　基于紅外攝像機葉片智能巡檢的應用

紅外線攝像機是通過紅外熱成像技術，利用葉片的向光和背光和葉片各部分之間的溫度差或輻射差異形成的紅外輻射特征圖像，來發現和識別葉片上的砂眼、鼓包、裂紋等安全隱患現象^[28]。智能巡檢葉片損傷監測場景實際應用效果如圖8所示。

圖8 葉片砂眼、鼓包、裂紋監測點

4.3　模型訓練結果分析

基于風機葉片安全生產需求對不同檢測功能構建智能巡檢所需要的AI模型，并通過模型訓練、精度評價及優化模型等最終選擇最優模型進行模型部署、模型測試。

其中最優模型的分數計算方式為：

F1_score=0.4×P+0.3×R+0.3×AP@0.5

AI模型精度數據如表1、表2所示。

表1 可見光圖像模型精度評價表

表2 紅外圖像模型精度評價表

5　結束語

本文提出了一種基于可見光+熱成像的葉片健康視覺AI檢測方法，可對葉片的變形、裂紋、折斷、鼓包、覆冰、油污、砂眼、風蝕和雷擊燒灼等安全隱患進行實時可視化地監測探傷、及時發現、即刻告警、及時處置，減小了安全事故發生的概率，降低了事故發生帶來的損失。本方法為非接觸實時檢測，將AI算法應用到實際業務中，并創新地將可見光和熱成像技術結合，克服了傳統檢測方式定期巡檢、停機檢測、無法精確定位故障原因等不足和缺陷，既為風機葉片健康監測提供了一種新的檢測方法和思路，又為推動AI在風電行業的落地進程添磚加瓦，還能解決實際應用巡檢問題，起到了降本增效的作用，具備良好的推廣價值。

作者簡介：

閆印強（1969-），男，河北石家莊人，工程師，碩士，現就職于長揚科技（北京）股份有限公司，主要從事工業互聯網安全態勢感知平臺及安全生產一體化管控平臺咨詢規劃與建設。

趙子剛（1973-），男，內蒙古錫林浩特人，工程師，學士，現就職于長揚科技（北京）股份有限公司，主要從事大型項目的解決方案架構設計。

姚興仁（1991-），男，貴州黔南州人，高級信息系統項目管理師，碩士，現就職于長揚科技（北京）股份有限公司，主要從事AI視覺模型開發及視覺AI產品落地。

參考文獻：

[1] 李丹, 吳莉莉, 姚衛星. 風力機GFRP葉片彎曲變形規律[J]. 風機技術, 2012, (05) : 54 - 57.

[2] 李錄平, 李芒芒, 晉風華, 等. 振動檢測技術在風力機葉片裂紋故障監測中的應用[J]. 熱能動力工程, 2013, 02.

[3] 李春雷, 王洪江, 尹常永, 等. 風機葉片故障診斷技術的研究進展[J]. 沈陽工程學院學報(自然科學版), 2022, 18 (03) : 1 - 5, 19.

[4] 陳斌杰. 淺析風機葉片常見故障原因及處理措施[J]. 科技創業家, 2012, (20) : 76.

[5] 譚滔. 基于LabVIEW的海上風力機葉片遠程狀態監測系統設計與開發[D]. 長沙: 長沙理工大學, 2017.

[6] 呂安強, 魏倫. 基于光纖傳感技術的風機葉片故障檢測技術研究進展[J]. 高壓電器, 2022, 58 (07) : 83 - 92.

[7] 茅宇琳. 基于無人機采集圖像的風機葉片多種表面缺陷檢測研究[D]. 北京: 北京交通大學, 2020.

[8] 董禮, 王千, 蘇寶定, 等. 一種風力發電機葉片與塔筒狀態監測系統: 中國, CN201320490251.3[P]. 2014 - 04 - 02.

[9] 史俊虎. 風電葉片超聲波檢測應用綜述[J]. 應用化工, 2015, (S1) : 106 - 111.

[10] 羊森林, 趙萍, 王鋒, 等. 大型風電葉片缺陷及其無損檢測技術研究[J]. 東方汽輪機, 2012, (01) : 26 - 34.

[11] 張志飛. 變電站機器人智能巡檢系統應用研究[D]. 北京: 華北電力大學, 2015.

[12] 潘仁前, 朱永凱, 田貴云, 等. 基于聲發射傳感器陣列的風力機葉片結構健康監測方法研究[C]. 2010遠東無損檢測新技術論壇論文集, 2010 : 107 - 112.

[13] 陸元明, 張乃正. 風力機葉片裂紋在線監測系統[J]. 電工技術, 2017, (04).

[14] 徐萍. 風力機葉片損傷監測技術研究[D]. 南京航空航天大學, 2016.

[15] 龐艷華. 基于SCADA數據時空特征挖掘的直驅風電機組故障診斷[D]. 秦皇島: 燕山大學, 2021.

[16] 徐陽, 劉衛生, 喬光輝. 兆瓦級大型風力發電機葉片的無損檢測[J]. 玻璃鋼/復合材料, 2013, (03) : 76 - 79.

[17] 仇梓峰, 王爽心, 李蒙. 基于無人機圖像的風力發電機葉片缺陷識別[J]. 發電技術, 2018, 39 (03) : 277 - 285.

[18] 鄧小文, 杜勝磊, 高慶水, 等. 一種風力機葉片狀態監測系統: CN206448905U[P].

[19] 陸凡, 包洪兵, 謝振華, 等. 一種基于圖像識別的風力機葉片巡檢無人機和巡檢方法: CN111038721A[P]. 2020.

[20] Girshick R, Donahue J, Darrell T, et al. Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation[J]. IEEE Computer Society, 2013.

[21] Redmon J, Farhadi A. YOLOv3: An Incremental Improvement[J]. arXiv e - prints, 2018.

[22] Vaswani A, Shazeer N, Parmar N, et al. Attention Is All You Need[J]. arXiv, 2017.

[23] Zhu X, Lyu S, Wang X, et al. TPH - YOLOv5: Improved YOLOv5 Based on Transformer Prediction Head for Object Detection on Drone - captured Scenarios[J]. 2021.

[24] He K, Zhang X, Ren S, et al. Deep Residual Learning for Image Recognition[J]. IEEE, 2016.

[25] 劉小波, 楊洪波, 孫強. 非制冷焦平面紅外熱像儀光機熱分析[J]. 電光與控制, 2009, 16 (05) : 63 - 64, 77.

[26] 吳榮. 數字圖像相關算法研究及在風力發電葉片健康診斷中的應用[D]. 上海: 上海大學, 2017.

[27] 楊永躍, 鄧善熙, 何革群. 風力機葉片檢測中的機器視覺技術[J]. 太陽能學報, 2003, 24 (2) : 5.

[28] 肖勁松, 嚴天鵬. 風力機葉片的紅外熱成像無損檢測的數值研究[J]. 北京工業大學學報, 2006, 32 (1) : 6.

[29] 申振騰. 風力機葉片在線視覺監測與故障診斷系統研究[D]. 天津科技大學, 2018.

[30] 謝源. 風力發電機組葉片實時狀態監測與故障診斷系統及方法: CN102539438A[P].

摘自《自動化博覽》2023年5月刊