国产欧美日韩精品a在线观看-国产欧美日韩精品一区二区三区-国产欧美日韩精品综合-国产欧美中文字幕-一区二区三区精品国产-一区二区三区精品国产欧美

摘要：三維視覺(jué)技術(shù)是智能機(jī)器人的一個(gè)熱點(diǎn)研究方向，它是智能機(jī)器人進(jìn)行環(huán)境感知和實(shí)現(xiàn)復(fù)雜任務(wù)的基礎(chǔ)。本文圍繞智能制造環(huán)境，介紹了機(jī)器人三維視覺(jué)技術(shù)的國(guó)內(nèi)外研究現(xiàn)狀及熱點(diǎn)研究問(wèn)題，闡述了它目前在智能制造中的應(yīng)用，最后對(duì)機(jī)器人三維視覺(jué)技術(shù)的未來(lái)研究方向進(jìn)行了探討。

關(guān)鍵詞：三維視覺(jué)；智能制造；智能機(jī)器人

Abstract: Three-dimensional (3D) vision technology is one of thehotresearchdirectionof intelligent robot,which isthebasis of intelligent robot to carry out environment perception and complex tasks. This paper focuses on the intelligent manufacturing environments, introduces the current research status and hot issues of robot 3D viion at home and abroad,and expounds its applications in intelligsent manufacturing. Finally,someresearch directions of robot 3D vision technology are discussed.

Key words:3D vision;Intelligent manufacturing;Intelligent robots

1 引言

隨著《中國(guó)制造2025》和《新一代人工智能發(fā)展規(guī)劃》等國(guó)家發(fā)展戰(zhàn)略的提出與實(shí)施，國(guó)家大力推進(jìn)智能制造與機(jī)器人技術(shù)。機(jī)器視覺(jué)是智能機(jī)器人的一個(gè)關(guān)鍵技術(shù)，可以實(shí)現(xiàn)工業(yè)現(xiàn)場(chǎng)的環(huán)境感知、視覺(jué)定位、伺服驅(qū)動(dòng)控制、零件檢測(cè)等作業(yè)任務(wù)。機(jī)器人二維視覺(jué)技術(shù)在多種制造場(chǎng)合已得到了應(yīng)用，技術(shù)上也較成熟，隨著智能制造技術(shù)的發(fā)展，需要通過(guò)三維視覺(jué)使得機(jī)器人在復(fù)雜場(chǎng)景下自主完成作業(yè)任務(wù)。三維視覺(jué)技術(shù)能夠有效提高智能機(jī)器人對(duì)環(huán)境的感知和適應(yīng)能力，其在智能制造的產(chǎn)品質(zhì)量檢測(cè)、視覺(jué)驅(qū)動(dòng)控制等領(lǐng)域有廣泛的應(yīng)用前景。

本文闡述了機(jī)器人三維視覺(jué)技術(shù)的國(guó)內(nèi)外研究現(xiàn)狀，以及語(yǔ)義分割、三維特征提取、三維目標(biāo)識(shí)別與定位及三維環(huán)境感知等熱點(diǎn)研究問(wèn)題。在此基礎(chǔ)上，對(duì)機(jī)器人三維視覺(jué)技術(shù)在產(chǎn)品質(zhì)量檢測(cè)、視覺(jué)伺服控制等智能制造領(lǐng)域的應(yīng)用現(xiàn)狀進(jìn)行重點(diǎn)闡述。最后介紹了作者團(tuán)隊(duì)在機(jī)器人三維視覺(jué)技術(shù)方面的研究成果并對(duì)機(jī)器人三維視覺(jué)技術(shù)未來(lái)的研究方向進(jìn)行了展望。

2 機(jī)器人三維視覺(jué)研究現(xiàn)狀

機(jī)器人三維視覺(jué)按結(jié)構(gòu)主要有立體視覺(jué)法，結(jié)構(gòu)光法和激光掃描法等，本節(jié)對(duì)這三類三維視覺(jué)技術(shù)分別闡述其研究現(xiàn)狀。

2.1 立體視覺(jué)法

立體視覺(jué)法模仿人類視覺(jué)系統(tǒng)的距離估計(jì)和3D重建過(guò)程，利用兩個(gè)（或多個(gè)）存在一定距離或夾角的攝像機(jī)對(duì)同一物體或場(chǎng)景采集圖像數(shù)據(jù)，并根據(jù)空間點(diǎn)在各圖像上對(duì)應(yīng)的投影點(diǎn)與攝像機(jī)的基本矩陣（Fundamentalmatrix）的線性關(guān)系來(lái)計(jì)算該空間點(diǎn)的3D坐標(biāo)，以獲取物體或場(chǎng)景的3D信息^[1]，其原理圖如圖1所示。立體視覺(jué)法主要包括圖像獲取、攝像機(jī)標(biāo)定^[2]、圖像匹配^[3]和3D重建^[4]等過(guò)程，其中圖像匹配是立體視覺(jué)中至關(guān)重要的核心問(wèn)題，它也是立體視覺(jué)中最困難的問(wèn)題。立體視覺(jué)法具有精度合適、系統(tǒng)結(jié)構(gòu)簡(jiǎn)單和成本低等優(yōu)點(diǎn)，但由于立體視覺(jué)中圖像獲取過(guò)程易受陰影和光照條件等因素的影響，無(wú)法穩(wěn)定、可靠地提取圖像中的特征信息，通常圖像匹配過(guò)程的計(jì)算量較大并且難以獲得準(zhǔn)確的圖像匹配結(jié)果，因而限制了立體視覺(jué)法在復(fù)雜場(chǎng)景感知中的應(yīng)用。

圖1 立體視覺(jué)法測(cè)量原理圖

2.2 結(jié)構(gòu)光法

結(jié)構(gòu)光法是一種由可控光源和攝像機(jī)構(gòu)成的3D信息測(cè)量技術(shù)，其基本思想是將具有特定結(jié)構(gòu)模式（Structuredpattern）的光源投射到被測(cè)物體表面產(chǎn)生光條紋，根據(jù)攝像機(jī)捕獲的物體表面光條紋的模式變形來(lái)獲取物體表面3D信息^[5,6]。結(jié)構(gòu)光法根據(jù)光源產(chǎn)生的光條紋的不同，可以分為點(diǎn)結(jié)構(gòu)光法、線結(jié)構(gòu)光法、多光條結(jié)構(gòu)光法和面結(jié)構(gòu)光法等，其中線結(jié)構(gòu)光法將激光掃描線投射到物體表面，并根據(jù)攝像機(jī)捕獲的物體表面激光輪廓線的變形，直接計(jì)算輪廓線上各點(diǎn)的3D坐標(biāo)，其測(cè)量原理示意圖如圖2所示。由于線結(jié)構(gòu)光法的光學(xué)和機(jī)械結(jié)構(gòu)較簡(jiǎn)單，并且其測(cè)量的魯棒性較高，因此線結(jié)構(gòu)光法為常用的結(jié)構(gòu)光測(cè)量方法。陳云賽等人^[7]針對(duì)因海底場(chǎng)景噪聲及聲學(xué)散射影響導(dǎo)致聲吶方法無(wú)法實(shí)現(xiàn)高精度的海底探測(cè)問(wèn)題，提出了一種基于線結(jié)構(gòu)光的掃測(cè)系統(tǒng)，該系統(tǒng)結(jié)合多閾值算法和基于極值法的高斯擬合法實(shí)現(xiàn)條紋中心線提取，并利用共線點(diǎn)的快速標(biāo)定法實(shí)現(xiàn)系統(tǒng)參數(shù)的標(biāo)定和高精度的海底快速測(cè)掃，從而實(shí)現(xiàn)水下目標(biāo)的掃描定位。

圖2 線結(jié)構(gòu)光法測(cè)量原理圖

結(jié)構(gòu)光法具有原理簡(jiǎn)單、易于實(shí)現(xiàn)和測(cè)量精確高等優(yōu)點(diǎn)，但由于結(jié)構(gòu)光法需要對(duì)光照進(jìn)行嚴(yán)格控制，對(duì)于反射特性較敏感的場(chǎng)景目標(biāo)表面，如表面對(duì)結(jié)構(gòu)光存在完成吸收、鏡面反射以及透射等情況時(shí)，結(jié)構(gòu)光法將難以獲取物體表面精確的3D信息，嚴(yán)重時(shí)會(huì)導(dǎo)致結(jié)構(gòu)光法測(cè)量系統(tǒng)無(wú)法正常工作，從而難以應(yīng)用于復(fù)雜場(chǎng)景的感知。

2.3 激光掃描法

激光掃描法根據(jù)其激光測(cè)距原理的不同，可以分為激光三角法（Laser triangulation）、飛行時(shí)間法（Time-of-flight）和相位調(diào)制法（Phasemodulation）三種類型^[8,9]，其中前兩種方法的測(cè)距原理如圖3所示。根據(jù)上述的激光測(cè)距原理，通過(guò)增加相應(yīng)的2D或3D掃描裝置，使得激光光束能夠掃描到整個(gè)被測(cè)物體表面，則可以獲得物體表面的3D點(diǎn)云數(shù)據(jù)。蔡云飛等人[10]針對(duì)非結(jié)構(gòu)化場(chǎng)景的負(fù)障礙感知問(wèn)題，提出了一種基于雙多線激光雷達(dá)的感知方法，該方法將雷達(dá)點(diǎn)云映射到多尺度柵格，通過(guò)統(tǒng)計(jì)柵格的點(diǎn)云密度與相對(duì)高度等特征，以提取負(fù)障礙幾何特征，并將柵格統(tǒng)計(jì)特征與負(fù)障礙幾何特征進(jìn)行多特征關(guān)聯(lián)獲得關(guān)鍵特征點(diǎn)對(duì)，利用特征點(diǎn)聚類識(shí)別負(fù)障礙。

圖3 激光掃描法測(cè)量原理

激光掃描法具有能直接獲取測(cè)量點(diǎn)精確三維坐標(biāo)，對(duì)陰影和光照變化不敏感，測(cè)量過(guò)程幾乎不受被測(cè)表面紋理特征影響，以及掃描測(cè)量視場(chǎng)范圍大等優(yōu)點(diǎn)，但由于激光掃描法從形狀相似或距離較近的目標(biāo)所獲取的點(diǎn)云數(shù)據(jù)相似度高，對(duì)此情況下的掃描目標(biāo)難以進(jìn)行有效識(shí)別，實(shí)現(xiàn)該類目標(biāo)的精度感知，從而一定程度上限制了基于激光掃描法的場(chǎng)景感知方法的應(yīng)用范圍。

3 機(jī)器人三維視覺(jué)熱點(diǎn)研究問(wèn)題

本節(jié)對(duì)機(jī)器人三維視覺(jué)中語(yǔ)義分割、三維特征提取、三維目標(biāo)識(shí)別與定位、三維環(huán)境感知等熱點(diǎn)研究問(wèn)題進(jìn)行闡述。

3.1 語(yǔ)義分割

語(yǔ)義分割是根據(jù)圖像、深度圖像或三維點(diǎn)云等類型數(shù)據(jù)中每一個(gè)點(diǎn)（像素點(diǎn)或三維點(diǎn)）所表達(dá)的語(yǔ)義內(nèi)容對(duì)其進(jìn)行語(yǔ)義類別分類的技術(shù)。其中，以二維圖像為數(shù)據(jù)源的語(yǔ)義分割稱為圖像語(yǔ)義分割^[11,12]。本文主要討論基于三維點(diǎn)云數(shù)據(jù)的語(yǔ)義分割，包括基于聚類、模型參數(shù)擬合或區(qū)域生長(zhǎng)等傳統(tǒng)的三維點(diǎn)云語(yǔ)義分割方法，以及基于深度學(xué)習(xí)的三維點(diǎn)云語(yǔ)義分割方法。

（1）傳統(tǒng)的三維點(diǎn)云語(yǔ)義分割

Schnabel等人^[13]通過(guò)在局部范圍內(nèi)選取用于平面參數(shù)估計(jì)的隨機(jī)點(diǎn)，來(lái)簡(jiǎn)化得分函數(shù)（Scorefunction）的計(jì)算，以提高RANSAC（Randomsampleconsensus）方法的點(diǎn)云平面檢測(cè)效率，但是對(duì)于大規(guī)模三維點(diǎn)云數(shù)據(jù)，其計(jì)算效率仍很低。王帥等人^[14]提出了一種基于混合流形譜聚類的自適應(yīng)點(diǎn)云分割方法，該方法將點(diǎn)云分割的幾何特征在譜空間進(jìn)行降維嵌入，利用N-cut方法得到描述點(diǎn)云分割特征的多維向量，在此基礎(chǔ)上，結(jié)合類間、類內(nèi)劃分算法實(shí)現(xiàn)點(diǎn)云自適應(yīng)分割。傳統(tǒng)的三維點(diǎn)云語(yǔ)義分割結(jié)果需要進(jìn)行相應(yīng)的語(yǔ)義標(biāo)注才能夠得到最終的語(yǔ)義分割結(jié)果，從而影響了語(yǔ)義分割的效率。

（2）基于深度學(xué)習(xí)的三維點(diǎn)云語(yǔ)義分割

Charles等人^[15]于2017年提出了PointNet，其直接采用原始點(diǎn)云作為深度神經(jīng)網(wǎng)絡(luò)的輸入，為目標(biāo)分類、部分分割和場(chǎng)景語(yǔ)義分析提供了一個(gè)統(tǒng)一的體系結(jié)構(gòu)，但其未考慮點(diǎn)云局部特征提取，減弱了其識(shí)別細(xì)粒度模式能力和對(duì)復(fù)雜場(chǎng)景泛化能力。為此，該團(tuán)隊(duì)隨后提出了一種分層網(wǎng)絡(luò)PointNet++^[16]，通過(guò)對(duì)點(diǎn)云進(jìn)行采樣和區(qū)域劃分，在各個(gè)小區(qū)域內(nèi)利用PointNet網(wǎng)絡(luò)進(jìn)行迭代特征提取，以融合點(diǎn)云的局部和全局特征，通過(guò)全連接層預(yù)測(cè)點(diǎn)云中各點(diǎn)的語(yǔ)義標(biāo)簽。彭秀平等人^[17]提出了一種散亂點(diǎn)云語(yǔ)義分割深度殘差－特征金字塔網(wǎng)絡(luò)框架，以提高基于深度學(xué)習(xí)的散亂點(diǎn)云語(yǔ)義分割的精度和可靠性。

3.2 三維特征提取

機(jī)器人三維視覺(jué)中三維特征提取是從圖像或點(diǎn)云數(shù)據(jù)中獲取能夠反映環(huán)境本質(zhì)屬性的特征信息的過(guò)程，它是實(shí)現(xiàn)三維目標(biāo)識(shí)別與定位、環(huán)境感知等任務(wù)的基礎(chǔ)。三維特征可以是空間直線、空間平面、二次曲面、自由曲線和自由曲面等。Cao等人^[18]提出了一種基于張量投票的點(diǎn)云中尖銳特征提取算法，林洪彬等人^[19]提出了一種基于多尺度張量分解的點(diǎn)云結(jié)構(gòu)特征提取算法，用于構(gòu)建點(diǎn)云結(jié)構(gòu)特征曲線，張靖等人^[20]提出了一種基于馬爾科夫隨機(jī)場(chǎng)的散亂點(diǎn)云特征提取方法，根據(jù)全局能量的變化自適應(yīng)提取點(diǎn)云中的特征點(diǎn)。現(xiàn)有的特征提取算法通常只能提取某一特定類型的特征，目前還很少有報(bào)道適用于多種環(huán)境特征類型的通用三維特征提取算法。

3.3 三維目標(biāo)識(shí)別與定位

三維目標(biāo)識(shí)別與定位是一個(gè)從場(chǎng)景掃描數(shù)據(jù)中對(duì)三維目標(biāo)進(jìn)行識(shí)別并獲取其位姿參數(shù)的過(guò)程，它是環(huán)境感知領(lǐng)域的重要研究?jī)?nèi)容。

（1）基于模型的方法

Johnson等人^[21]提出了一種基于旋轉(zhuǎn)圖像（Spin-image）的三維目標(biāo)描述和識(shí)別方法，該方法通過(guò)對(duì)支持區(qū)域大小控制，抑制雜亂背景和遮擋的影響，由于物體表面三維點(diǎn)由其局部鄰域表面的二維旋轉(zhuǎn)圖像來(lái)描述，因此該方法對(duì)三維點(diǎn)云的分辨率很敏感。張凱霖等人^[22]提出了一種基于法矢改進(jìn)點(diǎn)云特征C-SHOT的三維物體識(shí)別方法，該方法在精確估計(jì)點(diǎn)云法向量的基礎(chǔ)上，根據(jù)特征點(diǎn)處法向量與鄰域法向量的夾角余弦構(gòu)造點(diǎn)云形狀直方圖，統(tǒng)計(jì)點(diǎn)云紋理直方圖并與形狀直方圖融合成C-SHOT描述符，再對(duì)場(chǎng)景與模板分別提取C-SHOT特征，利用特征匹配方法實(shí)現(xiàn)多目標(biāo)識(shí)別，但該方法的特征提取過(guò)程計(jì)算復(fù)雜度較高，難以實(shí)現(xiàn)高效實(shí)時(shí)的多目標(biāo)識(shí)別。

（2）基于外觀（Appearance-based）的方法

Magnusson等人^[23]提出了一種基于外觀的位置識(shí)別方法，該方法利用正態(tài)分布變換（NormalDistributionsTransform，NDT）將掃描表面描述為分段連續(xù)函數(shù)，根據(jù)表面方向和平滑度生成的特征直方圖對(duì)位置進(jìn)行描述，從而通過(guò)掃描數(shù)據(jù)和樣本數(shù)據(jù)之間的特征直方圖匹配實(shí)現(xiàn)位置的識(shí)別。莊嚴(yán)等人^[24]提出了一種將三維點(diǎn)云轉(zhuǎn)換為二維BearingAngle（BA）圖，并采用AdaBoost變體Gentleboost算法來(lái)提高室內(nèi)三維場(chǎng)景物體識(shí)別和認(rèn)知準(zhǔn)確率的方法，該方法利用BA圖中物體碎片及其相對(duì)于物體中心的位置作為特征，利用基于Gentleboost算法的監(jiān)督學(xué)習(xí)方法，實(shí)現(xiàn)室內(nèi)場(chǎng)景中物體識(shí)別和認(rèn)知。基于外觀的方法通過(guò)掃描點(diǎn)云和不同位姿下三維目標(biāo)樣本數(shù)據(jù)的匹配實(shí)現(xiàn)目標(biāo)的識(shí)別與定位，對(duì)于多個(gè)目標(biāo)的精確識(shí)別與定位問(wèn)題，其訓(xùn)練樣本數(shù)通常很大，從而導(dǎo)致在線識(shí)別與定位過(guò)程的計(jì)算量很大。

3.4 三維環(huán)境感知

三維環(huán)境感知是智能機(jī)器人利用其傳感器對(duì)所處環(huán)境進(jìn)行環(huán)境信息的獲取，并提取環(huán)境中有效的特征信息加以處理和理解，最終通過(guò)建立所在環(huán)境的模型來(lái)表達(dá)所在三維環(huán)境的信息。任何一種智能機(jī)器人，要實(shí)現(xiàn)在未知三維環(huán)境下的自主作業(yè)，都必須以有效而可靠的三維環(huán)境感知為基礎(chǔ)。

（1）基于單一傳感器的三維環(huán)境感知

張輝等人^[25]提出了一種基于隨機(jī)光場(chǎng)照射的稠密像點(diǎn)區(qū)域匹配算法，用于實(shí)現(xiàn)雙目立體視覺(jué)系統(tǒng)中的物體3D點(diǎn)云測(cè)量。Cong等人^[26]針對(duì)雜波背景下實(shí)時(shí)3D目標(biāo)檢測(cè)和6自由度姿態(tài)估計(jì)問(wèn)題，提出了一種在線3D目標(biāo)檢測(cè)和姿態(tài)估計(jì)方法來(lái)克服無(wú)紋理目標(biāo)的自遮擋問(wèn)題，以實(shí)現(xiàn)各種金屬零件的3D目標(biāo)識(shí)別與定位。由于單一傳感器對(duì)場(chǎng)景的觀測(cè)角度單一，難以滿足復(fù)雜場(chǎng)景精確感知的要求，為此一些研究已經(jīng)采用多傳感器、多模態(tài)來(lái)解決復(fù)雜場(chǎng)景感知問(wèn)題。

（2）基于多傳感器的三維環(huán)境感知

Cho等人^[27]提出了一種基于多傳感器數(shù)據(jù)實(shí)時(shí)融合和分析的3D目標(biāo)重建方法，該方法由3D和2D數(shù)據(jù)分割方法、應(yīng)用于每個(gè)目標(biāo)的3D重建方法和投影紋理映射方法所組成。任秉銀等人^[28]提出了一種基于Kinect傳感器和目標(biāo)計(jì)算機(jī)輔助設(shè)計(jì)（ComputerAidedDesign，CAD）模型的不同目標(biāo)自動(dòng)識(shí)別和3D位姿估計(jì)方法，以提高非結(jié)構(gòu)場(chǎng)景下目標(biāo)識(shí)別準(zhǔn)確率和位姿估計(jì)精度。由于智能機(jī)器人所處的操作場(chǎng)景非常復(fù)雜、并具有動(dòng)態(tài)特性，不同傳感器存在采樣分辨率、采集速度、數(shù)據(jù)源可靠性等方面的差異，所采集到的多模態(tài)數(shù)據(jù)通常具有復(fù)雜的動(dòng)態(tài)特性、數(shù)據(jù)不一致和缺失等問(wèn)題，這些問(wèn)題均增加了基于多種異類傳感器的復(fù)雜場(chǎng)景感知方法的難度，從而給機(jī)器人多傳感器的融合感知帶來(lái)了巨大的挑戰(zhàn)。

4 機(jī)器人三維視覺(jué)在智能制造中的應(yīng)用

4.1 制造過(guò)程的產(chǎn)品質(zhì)量檢測(cè)

產(chǎn)品質(zhì)量檢測(cè)是整個(gè)智能制造過(guò)程中的關(guān)鍵環(huán)節(jié)，它是保證產(chǎn)品質(zhì)量的重要基礎(chǔ)。與傳統(tǒng)的三坐標(biāo)測(cè)量機(jī)相比，三維視覺(jué)技術(shù)能夠?qū)崿F(xiàn)工業(yè)產(chǎn)品無(wú)損、高效和實(shí)時(shí)的測(cè)量與檢測(cè)，因此其已廣泛應(yīng)用于制造過(guò)程的產(chǎn)品質(zhì)量檢測(cè)領(lǐng)域。Mahmud等人^[29]提出了一種基于激光掃描儀的機(jī)械零件尺寸和幾何信息的測(cè)量方法，該方法能夠根據(jù)零件的幾何規(guī)格對(duì)激光掃描儀的掃描路徑進(jìn)行規(guī)劃，以保證掃描過(guò)程的測(cè)量精度。喬景慧和李嶺^[30]將圖像處理技術(shù)應(yīng)用于自動(dòng)化裝配生產(chǎn)線，對(duì)電視機(jī)背板質(zhì)量進(jìn)行在線檢測(cè)，即使用圖像模板匹配方法確定當(dāng)前背板的型號(hào)和檢測(cè)當(dāng)前背板的品質(zhì)，如圖4所示。陳允全等人^[31]針對(duì)傳統(tǒng)模擬量檢測(cè)無(wú)法滿足飛機(jī)大型結(jié)構(gòu)點(diǎn)的外形測(cè)量需求，而單獨(dú)的數(shù)字化測(cè)量設(shè)備和方法又難以實(shí)現(xiàn)大尺寸和復(fù)雜結(jié)構(gòu)的測(cè)量等問(wèn)題，構(gòu)建了如圖5所示的由工業(yè)機(jī)器人和激光跟蹤儀組成的自動(dòng)化掃描系統(tǒng)，將大型結(jié)構(gòu)的測(cè)量結(jié)果與理論數(shù)模比較以分析大型結(jié)構(gòu)的誤差信息，從而實(shí)現(xiàn)大型結(jié)構(gòu)的檢測(cè)。

1-CCD工業(yè)相機(jī)；2-步進(jìn)電機(jī)；3-機(jī)器人末端安裝板；4-第1平移裝置；5-第2平移裝置；6-第3平移裝置；7-工業(yè)吸盤(pán)；8-距離傳感器。

圖4 電視機(jī)背板自動(dòng)檢測(cè)與抓取平臺(tái)^[30]

（a）機(jī)器人掃描系統(tǒng)組成

（b）試驗(yàn)現(xiàn)場(chǎng)圖

圖5 飛機(jī)大型結(jié)構(gòu)點(diǎn)外形測(cè)量掃描系統(tǒng)^[31]

4.2 機(jī)器人視覺(jué)伺服控制

隨著智能制造領(lǐng)域作業(yè)復(fù)雜程度和環(huán)境非結(jié)構(gòu)化程度的不斷增加，需要引入視覺(jué)伺服控制，將機(jī)器人視覺(jué)與機(jī)器人、精密運(yùn)動(dòng)控制系統(tǒng)形成閉環(huán)控制，以提高機(jī)器人的作業(yè)精度和智能程度^[32]。視覺(jué)伺服控制根據(jù)控制策略的不同，可以分為基于位置的視覺(jué)伺服控制^[33,34]，基于圖像的視覺(jué)伺服控制和混合視覺(jué)伺服控制^[35]。王麟琨等人^[36]提出了一種協(xié)調(diào)焊槍運(yùn)動(dòng)和視覺(jué)跟蹤的視覺(jué)伺服控制方法，用于工業(yè)機(jī)器人自動(dòng)跟蹤曲線焊縫。孫敬陶等人^[37]通過(guò)歐幾里得單應(yīng)性矩陣分解設(shè)計(jì)出旋翼飛行機(jī)械臂系統(tǒng)的混合視覺(jué)伺服控制方法，在圖像空間控制平移、笛卡爾空間控制旋轉(zhuǎn),減弱了平移與旋轉(zhuǎn)之間的相互影響實(shí)現(xiàn)解耦效果，改善了系統(tǒng)對(duì)非結(jié)構(gòu)因素的抗擾性能和全局穩(wěn)定性。吳迎年和楊棄^[38]針對(duì)智能制造生產(chǎn)線中的機(jī)器人抓取需求，以視覺(jué)伺服控制系統(tǒng)為基礎(chǔ)，設(shè)計(jì)并構(gòu)建了視覺(jué)伺服數(shù)字孿生系統(tǒng)以實(shí)現(xiàn)數(shù)字模型與物理模型的信息同步、互操作以及數(shù)字模型對(duì)物理模型狀態(tài)的預(yù)測(cè)，其視覺(jué)伺服系統(tǒng)結(jié)構(gòu)圖如圖6所示。

圖6 基于信息物理系統(tǒng)的視覺(jué)伺服系統(tǒng)結(jié)構(gòu)圖^[38]

5 未來(lái)研究方向

結(jié)合智能制造領(lǐng)域中機(jī)器人三維視覺(jué)技術(shù)自身存在的問(wèn)題和目前研究的現(xiàn)狀，本文認(rèn)為未來(lái)智能制造領(lǐng)域的機(jī)器人三維視覺(jué)技術(shù)的研究方向主要有：

（1）三維視覺(jué)成像技術(shù)及傳感器方面。現(xiàn)有的立體視覺(jué)法、結(jié)構(gòu)光法和激光掃描法等三維視覺(jué)成像技術(shù)仍難以滿足復(fù)雜的智能制造環(huán)境的要求，為此，以智能制造需求為導(dǎo)向，進(jìn)一步研究與智能制造生產(chǎn)線相匹配的三維視覺(jué)成像技術(shù)并開(kāi)發(fā)相應(yīng)的三維視覺(jué)傳感器。

（2）三維視覺(jué)技術(shù)的魯棒性問(wèn)題。由于智能制造環(huán)境中光照、陰影等因素的變化，這些將會(huì)對(duì)語(yǔ)義分割、三維特征提取、三維目標(biāo)識(shí)別與定位、三維環(huán)境感知等的準(zhǔn)確率和精度產(chǎn)生影響，為此，以智能制造需求為導(dǎo)向，進(jìn)一步研究魯棒的三維視覺(jué)處理方法。

（3）視覺(jué)伺服智能控制問(wèn)題。由于智能制造設(shè)備的多樣性，除了傳統(tǒng)的六自由度關(guān)節(jié)式機(jī)器人，還有并聯(lián)機(jī)器人、柔性機(jī)器人等，為此，需要研究視覺(jué)伺服智能控制，以滿足不同智能制造設(shè)備的需求，實(shí)現(xiàn)高速高精度控制。

（4）三維視覺(jué)系統(tǒng)的可移植性和適應(yīng)性問(wèn)題。由于智能制造環(huán)境的復(fù)雜性及機(jī)器人裝備的多樣性，目前的三維視覺(jué)系統(tǒng)難以應(yīng)用于多種制造環(huán)境，為此，需要進(jìn)一步研究模塊化、可重構(gòu)的三維視覺(jué)平臺(tái)，以提高智能制造裝備對(duì)制造環(huán)境的可移植性和適應(yīng)性。

6 研究團(tuán)隊(duì)在三維視覺(jué)技術(shù)方面取得的成果

本課題組在三維點(diǎn)云數(shù)據(jù)獲取、平面特征提取和三維目標(biāo)定位等方面開(kāi)展了一系列的工作，并將相關(guān)算法應(yīng)用于產(chǎn)品質(zhì)量檢測(cè)、大型構(gòu)件再制造和智能生產(chǎn)線等智能制造領(lǐng)域。

第一，在三維視覺(jué)技術(shù)方面：提出了基于偽Huber函數(shù)的三維激光掃描儀的魯棒標(biāo)定算法，以獲取機(jī)器人掃描場(chǎng)景的精確三維點(diǎn)云數(shù)據(jù)；提出了基于多維粒子群優(yōu)化（Particle Swarm Optimization，PSO）的散亂點(diǎn)云無(wú)監(jiān)督平面分割算法；提出了基于超二次曲面模型的三維目標(biāo)位姿估計(jì)算法。

第二，三維視覺(jué)技術(shù)在智能制造的應(yīng)用方面，負(fù)責(zé)了西安市科技項(xiàng)目“面向智能生產(chǎn)線的工業(yè)機(jī)器人控制器研制”和蘇州市科技項(xiàng)目“面向大型構(gòu)件再制造的機(jī)器人三維感知與控制技術(shù)研究”。主要完成了面向激光再制造的大型構(gòu)件缺陷識(shí)別、零件損傷區(qū)域的三維特征提取、機(jī)器人修復(fù)路徑的自動(dòng)規(guī)劃、機(jī)器人高速平穩(wěn)運(yùn)動(dòng)控制工作，研制了面向智能生產(chǎn)線的工業(yè)機(jī)器人控制器。本課題組研制的機(jī)器人控制器結(jié)構(gòu)圖如圖7所示，缺陷識(shí)別定位的三維視覺(jué)系統(tǒng)如圖8所示。

圖7 機(jī)器人控制器結(jié)構(gòu)圖

圖8 缺陷識(shí)別定位的三維視覺(jué)系統(tǒng)

7 結(jié)語(yǔ)

機(jī)器人三維視覺(jué)技術(shù)應(yīng)用到智能制造設(shè)備中，是智能制造裝備實(shí)現(xiàn)高適應(yīng)性和智能化作業(yè)的重要基礎(chǔ)。本文討論了機(jī)器人三維視覺(jué)技術(shù)及其熱點(diǎn)研究問(wèn)題，并闡述了其在產(chǎn)品質(zhì)量檢測(cè)和視覺(jué)伺服控制等智能制造領(lǐng)域的應(yīng)用。對(duì)機(jī)器人三維視覺(jué)技術(shù)的魯棒性和通用性等關(guān)鍵問(wèn)題的突破，能夠不斷推動(dòng)智能制造向高效、智能化發(fā)展。

參考文獻(xiàn)：

[1] Mu.oz-Salinas R,Marín-JimenezMJ,Yeguas-Bolivar E,Medina-Carnicer R.Mapping and localization from planar markers[J].Pattern Recognition,2018,73:158-171.

[2] 鄒朋朋,張滋黎,王平,汪啟躍,周維虎.基于共線向量與平面單應(yīng)性的雙目相機(jī)標(biāo)定方法[J].光學(xué)學(xué)報(bào),2017,37(11):236–244.

[3] LiY,Chen C,Yang F,Huang J.Hierarchil sparsere presentation for robust image registration[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2018,40(9):2151-2164.

[4] Sansoni G,Trebeschi M,Docchio F.State-of-the-art and applications of 3D imaging sensors in industry,cultural heritage, medicine, and criminal investigation[J].Sensors,2009,9(1):568-601.

[5] Rianmora S,Koomsap P.Structured light system-based selective data acquisition[J].Robotics and Computer-Integrated Manufacturing,2011,27(4):870-880.

[6] Xu J,Chen R,Liu S,Guan Y.Self-recalibration of a robot-assisted structured-light-based measurement system[J].Applied Optics,2017,56(32):8857-8865.

[7] 陳云賽,楊磊,宮垠,龐永杰,沈鵬,劉坤.基于線結(jié)構(gòu)光的水下目標(biāo)掃描定位方法[J].機(jī)器人,2018,40(6):786–793,802.

[8] Siciliano B,Khatib O.Springer handbook of robotics[M].Berlin:Springer,2008.

[9] 閆利,胡曉斌,謝洪.車載LiDAR海量點(diǎn)云數(shù)據(jù)管理與可視化研究[J].武漢大學(xué)學(xué)報(bào).信息科學(xué)版,2017,42(8):1131–1136.

[10] 蔡云飛,石庭敏,唐振民.基于雙多線激光雷達(dá)的非結(jié)構(gòu)化環(huán)境負(fù)障礙感知技術(shù)[J].自動(dòng)化學(xué)報(bào),2018,44(3):569–576.

[11] Shelhamer E,Long J,Darrell T.Fully convolutional networks for semantic segmentation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2017,39(4):640-651.

[12] 王嫣然,陳清亮,吳俊君.面向復(fù)雜環(huán)境的圖像語(yǔ)義分割方法綜述[J].計(jì)算機(jī)科學(xué),2019,46(9):36–46.

[13] Schnabel R,Wahl R,Klein R.Efficient RANSAC for point-cloud shape detection[J].Computer Graphics Forum,2007,26(2):214-226.

[14] 王帥,孫華燕,郭惠超,都琳.激光點(diǎn)云的混合流形譜聚類自適應(yīng)分割方法[J].光學(xué)學(xué)報(bào),2017,37(10):125–133.

[15] Qi CR,Su H,Mo K,GuibasL J.PointNet:deep learning on pointsets for 3D classification and segmentation[C].2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR),Honolulu,HI,USA:IEEE,2017:77-85.

[16] Qi CR,Yi L,Su H,Guibas LJ.PointNet++:deep hierarchical feature learning on point sets in a metric space.31st Conference on Neural Information Processing Systems (NIPS2017),LongBeach,CA,USA,2017:5100-5109.

[17] 彭秀平,仝其勝,林洪彬,馮超,鄭武.一種面向散亂點(diǎn)云語(yǔ)義分割的深度殘差-特征金字塔網(wǎng)絡(luò)框架[J/OL].自動(dòng)化學(xué)報(bào),2019,(12).https://doi.org/10.16383/j.aas.c190063.

[18] Cao J,Wushour S,Yao X,LiN,Liang J,Liang X.Sharp feature extraction in pointclouds[J].IETI mage Processing,2012,6(7):863-869.

[19] 林洪彬,劉彬,玉存.基于多尺度張量分解的點(diǎn)云結(jié)構(gòu)特征提取[J].中國(guó)機(jī)械工程,2012,23(15):1833–1839.

[20] 張靖,周明全,張雨禾,耿國(guó)華.基于馬爾科夫隨機(jī)場(chǎng)的散亂點(diǎn)云全局特征提取[J].自動(dòng)化學(xué)報(bào),2016,42(7):1090-1099．

[21] Johnson AE,Hebert M.Using spin images for efficient object recognition in cluttered 3D scenes[J].IEEE Transactions on Pattern Analysis Machine Intelligence,1999,21(5):433-449.

[22] 張凱霖,張良.復(fù)雜場(chǎng)景下基于C-SHOT特征的3D物體識(shí)別與位姿估計(jì)[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2017,29(5):846-853.

[23] Magnusson M,Andreasson H,Nuchter A,Lilienthal A.Appearance-based loop detection from 3D laser data using the normal distributions transform[C].Proceedings of the IEEE International Conference on Robotics and Automation,Kobe,Japan,2009:23-28.

[24] 莊嚴(yán),盧希彬,李云輝,王偉.移動(dòng)機(jī)器人基于三維激光測(cè)距的室內(nèi)場(chǎng)景認(rèn)知[J].自動(dòng)化學(xué)報(bào),2011,37(10):1232-1240.

[25] 張輝,張麗艷.面向三維點(diǎn)云測(cè)量的雙目立體匹配算法[J].南京航空航天大學(xué)學(xué)報(bào),2009,41(5):588–594.

[26] Cong Y,Tian DY,Feng Y,Fan BJ,Yu HB.Speedup 3-D texture-less object recognition against self-occlusion for intelligent manufacturing[J].IEEE Transactions on Cybernetics,2019,49(11):3887-3897.

[27] Cho S,Cho K.Real-time 3D reconstruction method using massive multi-sensor data analysis and fusion[J].Journal of Supercomputing,2019,75(6):3229-3248.

[28] 任秉銀,魏坤,代勇.一種非結(jié)構(gòu)環(huán)境下目標(biāo)識(shí)別和3D位姿估計(jì)方法[J].哈爾濱工業(yè)大學(xué)學(xué)報(bào),2019,51(1):38–44.

[29] Mahmud M,Joannic D,Roy M,Isheil A,Fontaine JF.3D part in spection path planning of a laser scanner with control on the uncertainty[J].Computer-Aided Design,2011,43(4):345-355.

[30] 喬景慧,李嶺.基于機(jī)器視覺(jué)的電視機(jī)背板檢測(cè)及自適應(yīng)抓取研究[J].工程設(shè)計(jì)學(xué)報(bào),2019,26(4):452-460.

[31] 陳允全,李瀧杲,黃翔,李琦,林晶.基于機(jī)器人的飛機(jī)大型結(jié)構(gòu)三維自動(dòng)化檢測(cè)方法[J].航空制造技術(shù),2019,62(10):51–57.

[32] 王耀南,陳鐵健,賀振東,吳成中.智能制造裝備視覺(jué)檢測(cè)控制方法綜述[J].控制理論與應(yīng)用,2015,32(3):273-286．

[33] Wilson WJ,Williams HC,Bell GS.Relative end-effector control using cartesian position based visual servoing[J].IEEE Transactions on Robotics and Automation,1996,12(5):684-696.

[34] 吳晨審.低紋理表面零件的位姿識(shí)別與視覺(jué)伺服技術(shù)研究[D].杭州:浙江大學(xué),2019.

[35] MalisE,ChaumetteF,BoudetS.21/2D visual servoing[J].IEEET ransactions on Robotics and Automation,1999,15(2):238-250.

[36] 王麟琨,徐德,李原,譚民.曲線焊縫跟蹤的視覺(jué)伺服協(xié)調(diào)控制[J].控制與決策,2006,21(4):405–409.

[37] 孫敬陶,王耀南,譚建豪,鐘杭,李瑞涵.旋翼飛行機(jī)械臂系統(tǒng)的混合視覺(jué)伺服控制[J].控制理論與應(yīng)用,2019,36(4):505-515.

[38] 吳迎年,楊棄.視覺(jué)伺服抓取系統(tǒng)及其數(shù)字孿生系統(tǒng)研究[J].計(jì)算機(jī)集成制造系統(tǒng),2019,25(6):1528–1535.

作者簡(jiǎn)介：

汪　霖（1983-），男，浙江杭州人，副教授，博士，現(xiàn)就職于西北大學(xué)信息科學(xué)與技術(shù)學(xué)院，研究方向?yàn)橹悄軝C(jī)器人環(huán)境感知、三維點(diǎn)云處理和群體智能優(yōu)化。

曹建福（1963-），男，陜西寶雞人，教授，博士生導(dǎo)師，現(xiàn)任西安交通大學(xué)自動(dòng)控制研究所所長(zhǎng)、中國(guó)自動(dòng)化學(xué)會(huì)建筑機(jī)器人專業(yè)委員會(huì)主任委員，研究方向?yàn)橹悄軝C(jī)器人、智能制造與智慧工廠。

摘自《自動(dòng)化博覽》2020年2月刊