国产欧美日韩精品a在线观看-国产欧美日韩精品一区二区三区-国产欧美日韩精品综合-国产欧美中文字幕-一区二区三区精品国产-一区二区三区精品国产欧美

摘要：三維視覺技術(shù)是智能機(jī)器人的一個熱點(diǎn)研究方向，它是智能機(jī)器人進(jìn)行環(huán)境感知和實(shí)現(xiàn)復(fù)雜任務(wù)的基礎(chǔ)。本文圍繞智能制造環(huán)境，介紹了機(jī)器人三維視覺技術(shù)的國內(nèi)外研究現(xiàn)狀及熱點(diǎn)研究問題，闡述了它目前在智能制造中的應(yīng)用，最后對機(jī)器人三維視覺技術(shù)的未來研究方向進(jìn)行了探討。

關(guān)鍵詞：三維視覺；智能制造；智能機(jī)器人

Abstract: Three-dimensional (3D) vision technology is one of thehotresearchdirectionof intelligent robot,which isthebasis of intelligent robot to carry out environment perception and complex tasks. This paper focuses on the intelligent manufacturing environments, introduces the current research status and hot issues of robot 3D viion at home and abroad,and expounds its applications in intelligsent manufacturing. Finally,someresearch directions of robot 3D vision technology are discussed.

Key words:3D vision;Intelligent manufacturing;Intelligent robots

1 引言

隨著《中國制造2025》和《新一代人工智能發(fā)展規(guī)劃》等國家發(fā)展戰(zhàn)略的提出與實(shí)施，國家大力推進(jìn)智能制造與機(jī)器人技術(shù)。機(jī)器視覺是智能機(jī)器人的一個關(guān)鍵技術(shù)，可以實(shí)現(xiàn)工業(yè)現(xiàn)場的環(huán)境感知、視覺定位、伺服驅(qū)動控制、零件檢測等作業(yè)任務(wù)。機(jī)器人二維視覺技術(shù)在多種制造場合已得到了應(yīng)用，技術(shù)上也較成熟，隨著智能制造技術(shù)的發(fā)展，需要通過三維視覺使得機(jī)器人在復(fù)雜場景下自主完成作業(yè)任務(wù)。三維視覺技術(shù)能夠有效提高智能機(jī)器人對環(huán)境的感知和適應(yīng)能力，其在智能制造的產(chǎn)品質(zhì)量檢測、視覺驅(qū)動控制等領(lǐng)域有廣泛的應(yīng)用前景。

本文闡述了機(jī)器人三維視覺技術(shù)的國內(nèi)外研究現(xiàn)狀，以及語義分割、三維特征提取、三維目標(biāo)識別與定位及三維環(huán)境感知等熱點(diǎn)研究問題。在此基礎(chǔ)上，對機(jī)器人三維視覺技術(shù)在產(chǎn)品質(zhì)量檢測、視覺伺服控制等智能制造領(lǐng)域的應(yīng)用現(xiàn)狀進(jìn)行重點(diǎn)闡述。最后介紹了作者團(tuán)隊在機(jī)器人三維視覺技術(shù)方面的研究成果并對機(jī)器人三維視覺技術(shù)未來的研究方向進(jìn)行了展望。

2 機(jī)器人三維視覺研究現(xiàn)狀

機(jī)器人三維視覺按結(jié)構(gòu)主要有立體視覺法，結(jié)構(gòu)光法和激光掃描法等，本節(jié)對這三類三維視覺技術(shù)分別闡述其研究現(xiàn)狀。

2.1 立體視覺法

立體視覺法模仿人類視覺系統(tǒng)的距離估計和3D重建過程，利用兩個（或多個）存在一定距離或夾角的攝像機(jī)對同一物體或場景采集圖像數(shù)據(jù)，并根據(jù)空間點(diǎn)在各圖像上對應(yīng)的投影點(diǎn)與攝像機(jī)的基本矩陣（Fundamentalmatrix）的線性關(guān)系來計算該空間點(diǎn)的3D坐標(biāo)，以獲取物體或場景的3D信息^[1]，其原理圖如圖1所示。立體視覺法主要包括圖像獲取、攝像機(jī)標(biāo)定^[2]、圖像匹配^[3]和3D重建^[4]等過程，其中圖像匹配是立體視覺中至關(guān)重要的核心問題，它也是立體視覺中最困難的問題。立體視覺法具有精度合適、系統(tǒng)結(jié)構(gòu)簡單和成本低等優(yōu)點(diǎn)，但由于立體視覺中圖像獲取過程易受陰影和光照條件等因素的影響，無法穩(wěn)定、可靠地提取圖像中的特征信息，通常圖像匹配過程的計算量較大并且難以獲得準(zhǔn)確的圖像匹配結(jié)果，因而限制了立體視覺法在復(fù)雜場景感知中的應(yīng)用。

圖1 立體視覺法測量原理圖

2.2 結(jié)構(gòu)光法

結(jié)構(gòu)光法是一種由可控光源和攝像機(jī)構(gòu)成的3D信息測量技術(shù)，其基本思想是將具有特定結(jié)構(gòu)模式（Structuredpattern）的光源投射到被測物體表面產(chǎn)生光條紋，根據(jù)攝像機(jī)捕獲的物體表面光條紋的模式變形來獲取物體表面3D信息^[5,6]。結(jié)構(gòu)光法根據(jù)光源產(chǎn)生的光條紋的不同，可以分為點(diǎn)結(jié)構(gòu)光法、線結(jié)構(gòu)光法、多光條結(jié)構(gòu)光法和面結(jié)構(gòu)光法等，其中線結(jié)構(gòu)光法將激光掃描線投射到物體表面，并根據(jù)攝像機(jī)捕獲的物體表面激光輪廓線的變形，直接計算輪廓線上各點(diǎn)的3D坐標(biāo)，其測量原理示意圖如圖2所示。由于線結(jié)構(gòu)光法的光學(xué)和機(jī)械結(jié)構(gòu)較簡單，并且其測量的魯棒性較高，因此線結(jié)構(gòu)光法為常用的結(jié)構(gòu)光測量方法。陳云賽等人^[7]針對因海底場景噪聲及聲學(xué)散射影響導(dǎo)致聲吶方法無法實(shí)現(xiàn)高精度的海底探測問題，提出了一種基于線結(jié)構(gòu)光的掃測系統(tǒng)，該系統(tǒng)結(jié)合多閾值算法和基于極值法的高斯擬合法實(shí)現(xiàn)條紋中心線提取，并利用共線點(diǎn)的快速標(biāo)定法實(shí)現(xiàn)系統(tǒng)參數(shù)的標(biāo)定和高精度的海底快速測掃，從而實(shí)現(xiàn)水下目標(biāo)的掃描定位。

圖2 線結(jié)構(gòu)光法測量原理圖

結(jié)構(gòu)光法具有原理簡單、易于實(shí)現(xiàn)和測量精確高等優(yōu)點(diǎn)，但由于結(jié)構(gòu)光法需要對光照進(jìn)行嚴(yán)格控制，對于反射特性較敏感的場景目標(biāo)表面，如表面對結(jié)構(gòu)光存在完成吸收、鏡面反射以及透射等情況時，結(jié)構(gòu)光法將難以獲取物體表面精確的3D信息，嚴(yán)重時會導(dǎo)致結(jié)構(gòu)光法測量系統(tǒng)無法正常工作，從而難以應(yīng)用于復(fù)雜場景的感知。

2.3 激光掃描法

激光掃描法根據(jù)其激光測距原理的不同，可以分為激光三角法（Laser triangulation）、飛行時間法（Time-of-flight）和相位調(diào)制法（Phasemodulation）三種類型^[8,9]，其中前兩種方法的測距原理如圖3所示。根據(jù)上述的激光測距原理，通過增加相應(yīng)的2D或3D掃描裝置，使得激光光束能夠掃描到整個被測物體表面，則可以獲得物體表面的3D點(diǎn)云數(shù)據(jù)。蔡云飛等人[10]針對非結(jié)構(gòu)化場景的負(fù)障礙感知問題，提出了一種基于雙多線激光雷達(dá)的感知方法，該方法將雷達(dá)點(diǎn)云映射到多尺度柵格，通過統(tǒng)計柵格的點(diǎn)云密度與相對高度等特征，以提取負(fù)障礙幾何特征，并將柵格統(tǒng)計特征與負(fù)障礙幾何特征進(jìn)行多特征關(guān)聯(lián)獲得關(guān)鍵特征點(diǎn)對，利用特征點(diǎn)聚類識別負(fù)障礙。

圖3 激光掃描法測量原理

激光掃描法具有能直接獲取測量點(diǎn)精確三維坐標(biāo)，對陰影和光照變化不敏感，測量過程幾乎不受被測表面紋理特征影響，以及掃描測量視場范圍大等優(yōu)點(diǎn)，但由于激光掃描法從形狀相似或距離較近的目標(biāo)所獲取的點(diǎn)云數(shù)據(jù)相似度高，對此情況下的掃描目標(biāo)難以進(jìn)行有效識別，實(shí)現(xiàn)該類目標(biāo)的精度感知，從而一定程度上限制了基于激光掃描法的場景感知方法的應(yīng)用范圍。

3 機(jī)器人三維視覺熱點(diǎn)研究問題

本節(jié)對機(jī)器人三維視覺中語義分割、三維特征提取、三維目標(biāo)識別與定位、三維環(huán)境感知等熱點(diǎn)研究問題進(jìn)行闡述。

3.1 語義分割

語義分割是根據(jù)圖像、深度圖像或三維點(diǎn)云等類型數(shù)據(jù)中每一個點(diǎn)（像素點(diǎn)或三維點(diǎn)）所表達(dá)的語義內(nèi)容對其進(jìn)行語義類別分類的技術(shù)。其中，以二維圖像為數(shù)據(jù)源的語義分割稱為圖像語義分割^[11,12]。本文主要討論基于三維點(diǎn)云數(shù)據(jù)的語義分割，包括基于聚類、模型參數(shù)擬合或區(qū)域生長等傳統(tǒng)的三維點(diǎn)云語義分割方法，以及基于深度學(xué)習(xí)的三維點(diǎn)云語義分割方法。

（1）傳統(tǒng)的三維點(diǎn)云語義分割

Schnabel等人^[13]通過在局部范圍內(nèi)選取用于平面參數(shù)估計的隨機(jī)點(diǎn)，來簡化得分函數(shù)（Scorefunction）的計算，以提高RANSAC（Randomsampleconsensus）方法的點(diǎn)云平面檢測效率，但是對于大規(guī)模三維點(diǎn)云數(shù)據(jù)，其計算效率仍很低。王帥等人^[14]提出了一種基于混合流形譜聚類的自適應(yīng)點(diǎn)云分割方法，該方法將點(diǎn)云分割的幾何特征在譜空間進(jìn)行降維嵌入，利用N-cut方法得到描述點(diǎn)云分割特征的多維向量，在此基礎(chǔ)上，結(jié)合類間、類內(nèi)劃分算法實(shí)現(xiàn)點(diǎn)云自適應(yīng)分割。傳統(tǒng)的三維點(diǎn)云語義分割結(jié)果需要進(jìn)行相應(yīng)的語義標(biāo)注才能夠得到最終的語義分割結(jié)果，從而影響了語義分割的效率。

（2）基于深度學(xué)習(xí)的三維點(diǎn)云語義分割

Charles等人^[15]于2017年提出了PointNet，其直接采用原始點(diǎn)云作為深度神經(jīng)網(wǎng)絡(luò)的輸入，為目標(biāo)分類、部分分割和場景語義分析提供了一個統(tǒng)一的體系結(jié)構(gòu)，但其未考慮點(diǎn)云局部特征提取，減弱了其識別細(xì)粒度模式能力和對復(fù)雜場景泛化能力。為此，該團(tuán)隊隨后提出了一種分層網(wǎng)絡(luò)PointNet++^[16]，通過對點(diǎn)云進(jìn)行采樣和區(qū)域劃分，在各個小區(qū)域內(nèi)利用PointNet網(wǎng)絡(luò)進(jìn)行迭代特征提取，以融合點(diǎn)云的局部和全局特征，通過全連接層預(yù)測點(diǎn)云中各點(diǎn)的語義標(biāo)簽。彭秀平等人^[17]提出了一種散亂點(diǎn)云語義分割深度殘差－特征金字塔網(wǎng)絡(luò)框架，以提高基于深度學(xué)習(xí)的散亂點(diǎn)云語義分割的精度和可靠性。

3.2 三維特征提取

機(jī)器人三維視覺中三維特征提取是從圖像或點(diǎn)云數(shù)據(jù)中獲取能夠反映環(huán)境本質(zhì)屬性的特征信息的過程，它是實(shí)現(xiàn)三維目標(biāo)識別與定位、環(huán)境感知等任務(wù)的基礎(chǔ)。三維特征可以是空間直線、空間平面、二次曲面、自由曲線和自由曲面等。Cao等人^[18]提出了一種基于張量投票的點(diǎn)云中尖銳特征提取算法，林洪彬等人^[19]提出了一種基于多尺度張量分解的點(diǎn)云結(jié)構(gòu)特征提取算法，用于構(gòu)建點(diǎn)云結(jié)構(gòu)特征曲線，張靖等人^[20]提出了一種基于馬爾科夫隨機(jī)場的散亂點(diǎn)云特征提取方法，根據(jù)全局能量的變化自適應(yīng)提取點(diǎn)云中的特征點(diǎn)。現(xiàn)有的特征提取算法通常只能提取某一特定類型的特征，目前還很少有報道適用于多種環(huán)境特征類型的通用三維特征提取算法。

3.3 三維目標(biāo)識別與定位

三維目標(biāo)識別與定位是一個從場景掃描數(shù)據(jù)中對三維目標(biāo)進(jìn)行識別并獲取其位姿參數(shù)的過程，它是環(huán)境感知領(lǐng)域的重要研究內(nèi)容。

（1）基于模型的方法

Johnson等人^[21]提出了一種基于旋轉(zhuǎn)圖像（Spin-image）的三維目標(biāo)描述和識別方法，該方法通過對支持區(qū)域大小控制，抑制雜亂背景和遮擋的影響，由于物體表面三維點(diǎn)由其局部鄰域表面的二維旋轉(zhuǎn)圖像來描述，因此該方法對三維點(diǎn)云的分辨率很敏感。張凱霖等人^[22]提出了一種基于法矢改進(jìn)點(diǎn)云特征C-SHOT的三維物體識別方法，該方法在精確估計點(diǎn)云法向量的基礎(chǔ)上，根據(jù)特征點(diǎn)處法向量與鄰域法向量的夾角余弦構(gòu)造點(diǎn)云形狀直方圖，統(tǒng)計點(diǎn)云紋理直方圖并與形狀直方圖融合成C-SHOT描述符，再對場景與模板分別提取C-SHOT特征，利用特征匹配方法實(shí)現(xiàn)多目標(biāo)識別，但該方法的特征提取過程計算復(fù)雜度較高，難以實(shí)現(xiàn)高效實(shí)時的多目標(biāo)識別。

（2）基于外觀（Appearance-based）的方法

Magnusson等人^[23]提出了一種基于外觀的位置識別方法，該方法利用正態(tài)分布變換（NormalDistributionsTransform，NDT）將掃描表面描述為分段連續(xù)函數(shù)，根據(jù)表面方向和平滑度生成的特征直方圖對位置進(jìn)行描述，從而通過掃描數(shù)據(jù)和樣本數(shù)據(jù)之間的特征直方圖匹配實(shí)現(xiàn)位置的識別。莊嚴(yán)等人^[24]提出了一種將三維點(diǎn)云轉(zhuǎn)換為二維BearingAngle（BA）圖，并采用AdaBoost變體Gentleboost算法來提高室內(nèi)三維場景物體識別和認(rèn)知準(zhǔn)確率的方法，該方法利用BA圖中物體碎片及其相對于物體中心的位置作為特征，利用基于Gentleboost算法的監(jiān)督學(xué)習(xí)方法，實(shí)現(xiàn)室內(nèi)場景中物體識別和認(rèn)知。基于外觀的方法通過掃描點(diǎn)云和不同位姿下三維目標(biāo)樣本數(shù)據(jù)的匹配實(shí)現(xiàn)目標(biāo)的識別與定位，對于多個目標(biāo)的精確識別與定位問題，其訓(xùn)練樣本數(shù)通常很大，從而導(dǎo)致在線識別與定位過程的計算量很大。

3.4 三維環(huán)境感知

三維環(huán)境感知是智能機(jī)器人利用其傳感器對所處環(huán)境進(jìn)行環(huán)境信息的獲取，并提取環(huán)境中有效的特征信息加以處理和理解，最終通過建立所在環(huán)境的模型來表達(dá)所在三維環(huán)境的信息。任何一種智能機(jī)器人，要實(shí)現(xiàn)在未知三維環(huán)境下的自主作業(yè)，都必須以有效而可靠的三維環(huán)境感知為基礎(chǔ)。

（1）基于單一傳感器的三維環(huán)境感知

張輝等人^[25]提出了一種基于隨機(jī)光場照射的稠密像點(diǎn)區(qū)域匹配算法，用于實(shí)現(xiàn)雙目立體視覺系統(tǒng)中的物體3D點(diǎn)云測量。Cong等人^[26]針對雜波背景下實(shí)時3D目標(biāo)檢測和6自由度姿態(tài)估計問題，提出了一種在線3D目標(biāo)檢測和姿態(tài)估計方法來克服無紋理目標(biāo)的自遮擋問題，以實(shí)現(xiàn)各種金屬零件的3D目標(biāo)識別與定位。由于單一傳感器對場景的觀測角度單一，難以滿足復(fù)雜場景精確感知的要求，為此一些研究已經(jīng)采用多傳感器、多模態(tài)來解決復(fù)雜場景感知問題。

（2）基于多傳感器的三維環(huán)境感知

Cho等人^[27]提出了一種基于多傳感器數(shù)據(jù)實(shí)時融合和分析的3D目標(biāo)重建方法，該方法由3D和2D數(shù)據(jù)分割方法、應(yīng)用于每個目標(biāo)的3D重建方法和投影紋理映射方法所組成。任秉銀等人^[28]提出了一種基于Kinect傳感器和目標(biāo)計算機(jī)輔助設(shè)計（ComputerAidedDesign，CAD）模型的不同目標(biāo)自動識別和3D位姿估計方法，以提高非結(jié)構(gòu)場景下目標(biāo)識別準(zhǔn)確率和位姿估計精度。由于智能機(jī)器人所處的操作場景非常復(fù)雜、并具有動態(tài)特性，不同傳感器存在采樣分辨率、采集速度、數(shù)據(jù)源可靠性等方面的差異，所采集到的多模態(tài)數(shù)據(jù)通常具有復(fù)雜的動態(tài)特性、數(shù)據(jù)不一致和缺失等問題，這些問題均增加了基于多種異類傳感器的復(fù)雜場景感知方法的難度，從而給機(jī)器人多傳感器的融合感知帶來了巨大的挑戰(zhàn)。

4 機(jī)器人三維視覺在智能制造中的應(yīng)用

4.1 制造過程的產(chǎn)品質(zhì)量檢測

產(chǎn)品質(zhì)量檢測是整個智能制造過程中的關(guān)鍵環(huán)節(jié)，它是保證產(chǎn)品質(zhì)量的重要基礎(chǔ)。與傳統(tǒng)的三坐標(biāo)測量機(jī)相比，三維視覺技術(shù)能夠?qū)崿F(xiàn)工業(yè)產(chǎn)品無損、高效和實(shí)時的測量與檢測，因此其已廣泛應(yīng)用于制造過程的產(chǎn)品質(zhì)量檢測領(lǐng)域。Mahmud等人^[29]提出了一種基于激光掃描儀的機(jī)械零件尺寸和幾何信息的測量方法，該方法能夠根據(jù)零件的幾何規(guī)格對激光掃描儀的掃描路徑進(jìn)行規(guī)劃，以保證掃描過程的測量精度。喬景慧和李嶺^[30]將圖像處理技術(shù)應(yīng)用于自動化裝配生產(chǎn)線，對電視機(jī)背板質(zhì)量進(jìn)行在線檢測，即使用圖像模板匹配方法確定當(dāng)前背板的型號和檢測當(dāng)前背板的品質(zhì)，如圖4所示。陳允全等人^[31]針對傳統(tǒng)模擬量檢測無法滿足飛機(jī)大型結(jié)構(gòu)點(diǎn)的外形測量需求，而單獨(dú)的數(shù)字化測量設(shè)備和方法又難以實(shí)現(xiàn)大尺寸和復(fù)雜結(jié)構(gòu)的測量等問題，構(gòu)建了如圖5所示的由工業(yè)機(jī)器人和激光跟蹤儀組成的自動化掃描系統(tǒng)，將大型結(jié)構(gòu)的測量結(jié)果與理論數(shù)模比較以分析大型結(jié)構(gòu)的誤差信息，從而實(shí)現(xiàn)大型結(jié)構(gòu)的檢測。

1-CCD工業(yè)相機(jī)；2-步進(jìn)電機(jī)；3-機(jī)器人末端安裝板；4-第1平移裝置；5-第2平移裝置；6-第3平移裝置；7-工業(yè)吸盤；8-距離傳感器。

圖4 電視機(jī)背板自動檢測與抓取平臺^[30]

（a）機(jī)器人掃描系統(tǒng)組成

（b）試驗(yàn)現(xiàn)場圖

圖5 飛機(jī)大型結(jié)構(gòu)點(diǎn)外形測量掃描系統(tǒng)^[31]

4.2 機(jī)器人視覺伺服控制

隨著智能制造領(lǐng)域作業(yè)復(fù)雜程度和環(huán)境非結(jié)構(gòu)化程度的不斷增加，需要引入視覺伺服控制，將機(jī)器人視覺與機(jī)器人、精密運(yùn)動控制系統(tǒng)形成閉環(huán)控制，以提高機(jī)器人的作業(yè)精度和智能程度^[32]。視覺伺服控制根據(jù)控制策略的不同，可以分為基于位置的視覺伺服控制^[33,34]，基于圖像的視覺伺服控制和混合視覺伺服控制^[35]。王麟琨等人^[36]提出了一種協(xié)調(diào)焊槍運(yùn)動和視覺跟蹤的視覺伺服控制方法，用于工業(yè)機(jī)器人自動跟蹤曲線焊縫。孫敬陶等人^[37]通過歐幾里得單應(yīng)性矩陣分解設(shè)計出旋翼飛行機(jī)械臂系統(tǒng)的混合視覺伺服控制方法，在圖像空間控制平移、笛卡爾空間控制旋轉(zhuǎn),減弱了平移與旋轉(zhuǎn)之間的相互影響實(shí)現(xiàn)解耦效果，改善了系統(tǒng)對非結(jié)構(gòu)因素的抗擾性能和全局穩(wěn)定性。吳迎年和楊棄^[38]針對智能制造生產(chǎn)線中的機(jī)器人抓取需求，以視覺伺服控制系統(tǒng)為基礎(chǔ)，設(shè)計并構(gòu)建了視覺伺服數(shù)字孿生系統(tǒng)以實(shí)現(xiàn)數(shù)字模型與物理模型的信息同步、互操作以及數(shù)字模型對物理模型狀態(tài)的預(yù)測，其視覺伺服系統(tǒng)結(jié)構(gòu)圖如圖6所示。

圖6 基于信息物理系統(tǒng)的視覺伺服系統(tǒng)結(jié)構(gòu)圖^[38]

5 未來研究方向

結(jié)合智能制造領(lǐng)域中機(jī)器人三維視覺技術(shù)自身存在的問題和目前研究的現(xiàn)狀，本文認(rèn)為未來智能制造領(lǐng)域的機(jī)器人三維視覺技術(shù)的研究方向主要有：

（1）三維視覺成像技術(shù)及傳感器方面。現(xiàn)有的立體視覺法、結(jié)構(gòu)光法和激光掃描法等三維視覺成像技術(shù)仍難以滿足復(fù)雜的智能制造環(huán)境的要求，為此，以智能制造需求為導(dǎo)向，進(jìn)一步研究與智能制造生產(chǎn)線相匹配的三維視覺成像技術(shù)并開發(fā)相應(yīng)的三維視覺傳感器。

（2）三維視覺技術(shù)的魯棒性問題。由于智能制造環(huán)境中光照、陰影等因素的變化，這些將會對語義分割、三維特征提取、三維目標(biāo)識別與定位、三維環(huán)境感知等的準(zhǔn)確率和精度產(chǎn)生影響，為此，以智能制造需求為導(dǎo)向，進(jìn)一步研究魯棒的三維視覺處理方法。

（3）視覺伺服智能控制問題。由于智能制造設(shè)備的多樣性，除了傳統(tǒng)的六自由度關(guān)節(jié)式機(jī)器人，還有并聯(lián)機(jī)器人、柔性機(jī)器人等，為此，需要研究視覺伺服智能控制，以滿足不同智能制造設(shè)備的需求，實(shí)現(xiàn)高速高精度控制。

（4）三維視覺系統(tǒng)的可移植性和適應(yīng)性問題。由于智能制造環(huán)境的復(fù)雜性及機(jī)器人裝備的多樣性，目前的三維視覺系統(tǒng)難以應(yīng)用于多種制造環(huán)境，為此，需要進(jìn)一步研究模塊化、可重構(gòu)的三維視覺平臺，以提高智能制造裝備對制造環(huán)境的可移植性和適應(yīng)性。

6 研究團(tuán)隊在三維視覺技術(shù)方面取得的成果

本課題組在三維點(diǎn)云數(shù)據(jù)獲取、平面特征提取和三維目標(biāo)定位等方面開展了一系列的工作，并將相關(guān)算法應(yīng)用于產(chǎn)品質(zhì)量檢測、大型構(gòu)件再制造和智能生產(chǎn)線等智能制造領(lǐng)域。

第一，在三維視覺技術(shù)方面：提出了基于偽Huber函數(shù)的三維激光掃描儀的魯棒標(biāo)定算法，以獲取機(jī)器人掃描場景的精確三維點(diǎn)云數(shù)據(jù)；提出了基于多維粒子群優(yōu)化（Particle Swarm Optimization，PSO）的散亂點(diǎn)云無監(jiān)督平面分割算法；提出了基于超二次曲面模型的三維目標(biāo)位姿估計算法。

第二，三維視覺技術(shù)在智能制造的應(yīng)用方面，負(fù)責(zé)了西安市科技項(xiàng)目“面向智能生產(chǎn)線的工業(yè)機(jī)器人控制器研制”和蘇州市科技項(xiàng)目“面向大型構(gòu)件再制造的機(jī)器人三維感知與控制技術(shù)研究”。主要完成了面向激光再制造的大型構(gòu)件缺陷識別、零件損傷區(qū)域的三維特征提取、機(jī)器人修復(fù)路徑的自動規(guī)劃、機(jī)器人高速平穩(wěn)運(yùn)動控制工作，研制了面向智能生產(chǎn)線的工業(yè)機(jī)器人控制器。本課題組研制的機(jī)器人控制器結(jié)構(gòu)圖如圖7所示，缺陷識別定位的三維視覺系統(tǒng)如圖8所示。

圖7 機(jī)器人控制器結(jié)構(gòu)圖

圖8 缺陷識別定位的三維視覺系統(tǒng)

7 結(jié)語

機(jī)器人三維視覺技術(shù)應(yīng)用到智能制造設(shè)備中，是智能制造裝備實(shí)現(xiàn)高適應(yīng)性和智能化作業(yè)的重要基礎(chǔ)。本文討論了機(jī)器人三維視覺技術(shù)及其熱點(diǎn)研究問題，并闡述了其在產(chǎn)品質(zhì)量檢測和視覺伺服控制等智能制造領(lǐng)域的應(yīng)用。對機(jī)器人三維視覺技術(shù)的魯棒性和通用性等關(guān)鍵問題的突破，能夠不斷推動智能制造向高效、智能化發(fā)展。

參考文獻(xiàn)：

[1] Mu.oz-Salinas R,Marín-JimenezMJ,Yeguas-Bolivar E,Medina-Carnicer R.Mapping and localization from planar markers[J].Pattern Recognition,2018,73:158-171.

[2] 鄒朋朋,張滋黎,王平,汪啟躍,周維虎.基于共線向量與平面單應(yīng)性的雙目相機(jī)標(biāo)定方法[J].光學(xué)學(xué)報,2017,37(11):236–244.

[3] LiY,Chen C,Yang F,Huang J.Hierarchil sparsere presentation for robust image registration[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2018,40(9):2151-2164.

[4] Sansoni G,Trebeschi M,Docchio F.State-of-the-art and applications of 3D imaging sensors in industry,cultural heritage, medicine, and criminal investigation[J].Sensors,2009,9(1):568-601.

[5] Rianmora S,Koomsap P.Structured light system-based selective data acquisition[J].Robotics and Computer-Integrated Manufacturing,2011,27(4):870-880.

[6] Xu J,Chen R,Liu S,Guan Y.Self-recalibration of a robot-assisted structured-light-based measurement system[J].Applied Optics,2017,56(32):8857-8865.

[7] 陳云賽,楊磊,宮垠,龐永杰,沈鵬,劉坤.基于線結(jié)構(gòu)光的水下目標(biāo)掃描定位方法[J].機(jī)器人,2018,40(6):786–793,802.

[8] Siciliano B,Khatib O.Springer handbook of robotics[M].Berlin:Springer,2008.

[9] 閆利,胡曉斌,謝洪.車載LiDAR海量點(diǎn)云數(shù)據(jù)管理與可視化研究[J].武漢大學(xué)學(xué)報.信息科學(xué)版,2017,42(8):1131–1136.

[10] 蔡云飛,石庭敏,唐振民.基于雙多線激光雷達(dá)的非結(jié)構(gòu)化環(huán)境負(fù)障礙感知技術(shù)[J].自動化學(xué)報,2018,44(3):569–576.

[11] Shelhamer E,Long J,Darrell T.Fully convolutional networks for semantic segmentation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2017,39(4):640-651.

[12] 王嫣然,陳清亮,吳俊君.面向復(fù)雜環(huán)境的圖像語義分割方法綜述[J].計算機(jī)科學(xué),2019,46(9):36–46.

[13] Schnabel R,Wahl R,Klein R.Efficient RANSAC for point-cloud shape detection[J].Computer Graphics Forum,2007,26(2):214-226.

[14] 王帥,孫華燕,郭惠超,都琳.激光點(diǎn)云的混合流形譜聚類自適應(yīng)分割方法[J].光學(xué)學(xué)報,2017,37(10):125–133.

[15] Qi CR,Su H,Mo K,GuibasL J.PointNet:deep learning on pointsets for 3D classification and segmentation[C].2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR),Honolulu,HI,USA:IEEE,2017:77-85.

[16] Qi CR,Yi L,Su H,Guibas LJ.PointNet++:deep hierarchical feature learning on point sets in a metric space.31st Conference on Neural Information Processing Systems (NIPS2017),LongBeach,CA,USA,2017:5100-5109.

[17] 彭秀平,仝其勝,林洪彬,馮超,鄭武.一種面向散亂點(diǎn)云語義分割的深度殘差-特征金字塔網(wǎng)絡(luò)框架[J/OL].自動化學(xué)報,2019,(12).https://doi.org/10.16383/j.aas.c190063.

[18] Cao J,Wushour S,Yao X,LiN,Liang J,Liang X.Sharp feature extraction in pointclouds[J].IETI mage Processing,2012,6(7):863-869.

[19] 林洪彬,劉彬,玉存.基于多尺度張量分解的點(diǎn)云結(jié)構(gòu)特征提取[J].中國機(jī)械工程,2012,23(15):1833–1839.

[20] 張靖,周明全,張雨禾,耿國華.基于馬爾科夫隨機(jī)場的散亂點(diǎn)云全局特征提取[J].自動化學(xué)報,2016,42(7):1090-1099．

[21] Johnson AE,Hebert M.Using spin images for efficient object recognition in cluttered 3D scenes[J].IEEE Transactions on Pattern Analysis Machine Intelligence,1999,21(5):433-449.

[22] 張凱霖,張良.復(fù)雜場景下基于C-SHOT特征的3D物體識別與位姿估計[J].計算機(jī)輔助設(shè)計與圖形學(xué)學(xué)報,2017,29(5):846-853.

[23] Magnusson M,Andreasson H,Nuchter A,Lilienthal A.Appearance-based loop detection from 3D laser data using the normal distributions transform[C].Proceedings of the IEEE International Conference on Robotics and Automation,Kobe,Japan,2009:23-28.

[24] 莊嚴(yán),盧希彬,李云輝,王偉.移動機(jī)器人基于三維激光測距的室內(nèi)場景認(rèn)知[J].自動化學(xué)報,2011,37(10):1232-1240.

[25] 張輝,張麗艷.面向三維點(diǎn)云測量的雙目立體匹配算法[J].南京航空航天大學(xué)學(xué)報,2009,41(5):588–594.

[26] Cong Y,Tian DY,Feng Y,Fan BJ,Yu HB.Speedup 3-D texture-less object recognition against self-occlusion for intelligent manufacturing[J].IEEE Transactions on Cybernetics,2019,49(11):3887-3897.

[27] Cho S,Cho K.Real-time 3D reconstruction method using massive multi-sensor data analysis and fusion[J].Journal of Supercomputing,2019,75(6):3229-3248.

[28] 任秉銀,魏坤,代勇.一種非結(jié)構(gòu)環(huán)境下目標(biāo)識別和3D位姿估計方法[J].哈爾濱工業(yè)大學(xué)學(xué)報,2019,51(1):38–44.

[29] Mahmud M,Joannic D,Roy M,Isheil A,Fontaine JF.3D part in spection path planning of a laser scanner with control on the uncertainty[J].Computer-Aided Design,2011,43(4):345-355.

[30] 喬景慧,李嶺.基于機(jī)器視覺的電視機(jī)背板檢測及自適應(yīng)抓取研究[J].工程設(shè)計學(xué)報,2019,26(4):452-460.

[31] 陳允全,李瀧杲,黃翔,李琦,林晶.基于機(jī)器人的飛機(jī)大型結(jié)構(gòu)三維自動化檢測方法[J].航空制造技術(shù),2019,62(10):51–57.

[32] 王耀南,陳鐵健,賀振東,吳成中.智能制造裝備視覺檢測控制方法綜述[J].控制理論與應(yīng)用,2015,32(3):273-286．

[33] Wilson WJ,Williams HC,Bell GS.Relative end-effector control using cartesian position based visual servoing[J].IEEE Transactions on Robotics and Automation,1996,12(5):684-696.

[34] 吳晨審.低紋理表面零件的位姿識別與視覺伺服技術(shù)研究[D].杭州:浙江大學(xué),2019.

[35] MalisE,ChaumetteF,BoudetS.21/2D visual servoing[J].IEEET ransactions on Robotics and Automation,1999,15(2):238-250.

[36] 王麟琨,徐德,李原,譚民.曲線焊縫跟蹤的視覺伺服協(xié)調(diào)控制[J].控制與決策,2006,21(4):405–409.

[37] 孫敬陶,王耀南,譚建豪,鐘杭,李瑞涵.旋翼飛行機(jī)械臂系統(tǒng)的混合視覺伺服控制[J].控制理論與應(yīng)用,2019,36(4):505-515.

[38] 吳迎年,楊棄.視覺伺服抓取系統(tǒng)及其數(shù)字孿生系統(tǒng)研究[J].計算機(jī)集成制造系統(tǒng),2019,25(6):1528–1535.

作者簡介：

汪　霖（1983-），男，浙江杭州人，副教授，博士，現(xiàn)就職于西北大學(xué)信息科學(xué)與技術(shù)學(xué)院，研究方向?yàn)橹悄軝C(jī)器人環(huán)境感知、三維點(diǎn)云處理和群體智能優(yōu)化。

曹建福（1963-），男，陜西寶雞人，教授，博士生導(dǎo)師，現(xiàn)任西安交通大學(xué)自動控制研究所所長、中國自動化學(xué)會建筑機(jī)器人專業(yè)委員會主任委員，研究方向?yàn)橹悄軝C(jī)器人、智能制造與智慧工廠。

摘自《自動化博覽》2020年2月刊