★南方電網電力科技股份有限公司王榮華,熊輝,李鋒,張宏亮,潘鳳萍
關鍵詞:船艙口識別;卸船機;3D點云;人工智能;RANSAC算法;RNN
1 項目意義和國內外研究現狀
隨著電廠對卸煤效率的要求不斷提高,為減輕司機的勞動強度,提升電廠的自動化水平,抓斗卸船機正朝著安全、高效、智能化的方向發展。因此如何實現自動化與智能化作業和優化作業過程、改善作業條件、提高作業效率成為一個新的研究方向[1]。國外就卸船機的自動化作業方面進行了大量研究。例如:ABB公司推出了比較先進的橋式抓斗卸船機自動操作系統;Schneider等公司正致力于開發基于PC和PLC的全自動操作系統。國內很多院校和機構也積極開展有關智能化抓斗卸船機的相關研究[2-4]。
目前,行業內主要通過激光掃描、探測雷達等距離探測技術,配合重構技術,實現船艙和物料的三維景觀重現。同時,基于人工智能技術建立卸船控制規則和抓斗路徑規劃,并采用抓斗的消擺和利搖技術,效果顯著。這些技術的應用,初步實現了卸船機智能化和無人化的自動抓斗卸煤功能[5]。卸船機自動化作業流程如圖1所示。
圖1 卸船機全自動作業場景
卸船機自動化作業的三大技術難點是:煤堆和船艙口識別、抓斗姿態感知以及小車運動控制[6]。本文綜合多種技術,提出了一種基于RNN和改進RANSAC算法的船艙口識別方法。該方法首先利用循環神經網絡判斷點云數據中是否存在完整艙口,然后聯合優化后的RANSAC算法提取艙口平面,最后采用點云分割技術識別艙口大小和位置。實踐表明,該識別算法精準高效、安全可控。效果如圖2所示。
圖2 船艙口自動識別算法實際應用效果
2 算法實現
2.1 數據采集和數據分割
激光雷達是模式識別系統中重要的傳感設備。研究表明,激光雷達是自動化駕駛和機器視覺檢測中最可靠的方法。攝像機受環境的影響很大,當雨霧時將檢測困難,在更不利的條件下,視覺系統可能失去工作能力。海邊環境惡劣,含有大量的干擾因素,圖像識別算法的實現更為復雜化,識別慢,精度也無法滿足裝船作業的精度要求。因此,基于攝像機圖像進行識別的方法無法兼顧算法的實時性和準確性。相比之下,采用激光雷達的方法,數據采集精度高,響應速度快,點云數據能夠更好地表達船舶的幾何信息,而且激光雷達的信號可以穿透大雨和大霧,不受光照、天氣以及場景顏色等環境因素的影響,完全滿足散貨港口裝船作業的需求[7]。
因此考慮到運輸船體積大、工況惡劣等特點,本系統采用了激光掃描云臺來采集數據。該激光云臺集成了一個2D激光雷達和云臺系統,最大掃描距離250米,標準檢測距離80/120米(10%反射率),云臺掃描角度范圍為50°-230°,最大掃描角度達180°,安裝在駕駛艙下方。圖3為3D激光線掃描設備和激光云臺所采集的船艙數據。
圖3 激光掃描設備和船艙數據
在實際使用中,我們僅需關注卸船機下方的船艙區域。為了提高計算速度和減少點云數據量,本方法將點云范圍限定在:x位于[-40米,30米]、y位于[20米,60米]的區域,然后進行數據分割。分割后的點云如圖4所示。
圖4 激光云臺采集的船艙3D點云圖
由于各種干擾,點云數據中部分艙口存在缺失和污染。根據人工標注,數據集可分為四類:正常點云數據、有缺失數據、不完整數據以及高蓋板船數據。如圖4所示,僅右上角點云為正常艙口數據,其他均為問題數據,需要通過算法濾波或剔除。
2.2 采用RNN算法對云圖數據做二分類
如圖4所示,點云數據存在大量噪聲干擾,幾乎無法通過單一濾波算法有效辨識。本文采用基于深度學習的RNN二分類算法,篩選合格的船艙口點云。
RNN(循環神經網絡)是一種使用序列數據或時序數據的人工神經網絡,常用于順序或時間問題,如語言翻譯、自然語言處理、語音識別、圖像內容識別等。與FNN(前饋神經網絡)和CNN(卷積神經網絡)一樣,RNN利用訓練數據進行學習。區別在于“記憶”,因為它從先前的輸入中獲取信息,以影響當前的輸入和輸出。雖然傳統的深度神經網絡假設輸入和輸出是相互獨立的,但RNN的輸出依賴于序列中先前的元素。盡管未來的活動也可能有助于確定特定序列的輸出,但是單向RNN無法在預測中說明這些事件。
假定原始數據函數:
類似RGB轉灰度圖,降低維度:
將云圖分割為8*8的小區域:
RNN的input為一個[64,]的二維待分類數列。本文采用的神經網絡層次圖如圖5所示。
圖5 RNN二分類算法網絡層次圖
實驗結果表明,該算法分類精度為98%,如表1所示。
表1 RNN算法實際精度
2.3 改良的法向量求船艙平面
接下來,我們對分類后的包含完整船艙信息的云圖進行平面提取。
通常行業多采用傳統的法向量求平面方程RANSAC算法來提取船艙平面。該方法基本原理如下:
已知三點p1(x1,y1,z1),p2(x2,y2,z2),p3(x3,y3,z3)
則向量p1p2(x2-x1,y2-y1,z2-z1,p1p3(x3-x1,y3-y1,z3-z1),根據平面法線將與這兩向量垂直,可得法向量f(a,b,c),其中:
a=((p2.y-p1.y)*(p3.z-p1.z)-(p2.z-p1.z)*(p3.y-p1.y));
b=((p2.z-p1.z)*(p3.x-p1.x)-(p2.x-p1.x)*(p3.z-p1.z));
c=((p2.x-p1.x)*(p3.y-p1.y)-(p2.y-p1.y)*(p3.x-p1.x))。
則平面方程:a(x-x1)+b(y-y1)+c(z-z1)=0;d=-a*x1-b*y1-c*z1。
即平面方程如式(1)所示:
a*x+b*y+c*z+d=0(1)
眾多點中,要獲得最佳的擬合船艙平面,則必須滿足式(2):
其中d為平面局部任意點到此平面的距離。
傳統RANSAC算法通過迭代求最小誤差e,獲取最佳擬合平面,運算時間長達5-6秒,難以滿足卸船機對實時性的需求。
本文對RANSAC算法進行了以下改進:
實踐發現,船艙平面近似垂直于點云的y軸方向,則船艙平面法向量可近似為[0,y,0]。
根據式(3)可求y均值:
對[mean_y-10m,mean_y+10m]范圍內的船艙高y,以每k米步長迭代得平面方程,如式(4)所示:
其中k的取值為[y_mean-10m:k:y_mean+10m]。
根據式(2)求點到面的距離,當min(e)得最佳擬合平面。
基于本文改良的RANSAC算法,得到的船艙平面效果如圖6所示。
圖6 本文算法提取的船艙平面
根據式(5)對圖6的船艙平面求中心點:
在中心點向兩邊切割可得船艙口尺寸和位置信息,如圖7所示。
圖7 船艙口識別效果
將本文算法移植到卸船機自動化作業系統,實際求解船艙位置和算法耗時如圖8所示。
圖8 算法移植后實戰效果
從表2可以看出,在東億602船型條件下,與傳統算法相比,本算法無論在精度還是運算時間上均有顯著提升,可以為船機自動作業系統實時提供精確的船艙位置信息。
表2 不同算法的艙口識別對比
3 結論
針對卸船機作業中船艙口點云數據存在的缺失、噪聲等問題,本文提出了一種基于RNN和改進RANSAC算法的船艙口識別方法。該方法使用RNN算法濾除噪聲干擾,并根據實際情況,放棄傳統RANSAC擬合算法,改進為快速精準識別船艙口的算法。實驗證明,本方法可以準確、快速識別出艙口大小和坐標。該方法已應用于卸船機自動化系統,準確提供艙口信息,運行效果顯著。
作者簡介:
王榮華(1984-),男,湖南衡陽人,碩士,現就職于南方電網電力科技股份有限公司,研究方向為人工智能技術。
熊 輝(1987-),男,江西樂安人,高級工程師,碩士,現就職于南方電網電力科技股份有限公司,研究方向為電網系統技術。
李 峰(1980-),男,廣西大新人,教授級高級工程師,碩士,現就職于南方電網電力科技股份有限公司,研究方向為電網系統技術。
張宏亮(1971-),男,河北保定人,教授級高級工程師,碩士,現就職于南方電網電力科技股份有限公司,研究方向為電網系統技術。
潘鳳萍(1967-),男,河南開封人,教授級高級工程師,博士,現就職于南方電網電力科技股份有限公司,研究方向為電網系統技術。
參考文獻:
[1] 陳建松. 自動化控制港口碼頭散料卸船機的設計創新[J]. 中國機械, 2023 : (21).
[2] 徐米清. 智能化卸船機關鍵技術及實現[J]. 港口裝卸, 2021 : (3).
[3] 余俐敏, 孫浩童, 蔡國強, 等. 火電機組抓斗卸船機全自動系統開發及應用[J]. 能源研究與管理, 2020 : (3).
[4] 孫斌, 王旭昶. 抓斗式卸船機自動作業的性能優化[J]. 機電工程, 2011 : (25).
[5] 王佳俊, 楊凱. 橋式抓斗卸船機全自動系統應用[J]. 起重運輸機械[J], 2019 : (6).
[6] 王曉軍. 橋式抓斗卸船機前饋防擺控制研究[J]. 自動化控制, 2018 : (15).
[7] 遲煥業, 任曉東. 自抗擾控制器在橋式卸船機抓斗定位和防擺控制中的應用[J]. 港口科技, 2022 : (04).
[8] 宋郁珉, 孫浩, 李湛, 等. 基于非完整點云法線濾波補償的散貨船舶艙口識別算法[J]. 計算機應用, 2024 : (12).
[9] 王建喬, 魏勇, 季雄冠, 等. 艙口識別方法在散貨裝船機自動控制系統中的應用[J]. 港口科技2021 : (20).
摘自《自動化博覽》2024年9月刊