摘要:伴隨著工業(yè)機(jī)器人的飛速發(fā)展,輔佐工業(yè)機(jī)器人更快、更準(zhǔn)、更靈活地工作的衍生產(chǎn)業(yè)也在悄然崛起。本文針對為工業(yè)機(jī)器人賦予“慧眼”的機(jī)器視覺,著重介紹了二者結(jié)合在機(jī)器人定位引導(dǎo)類項(xiàng)目中的應(yīng)用。內(nèi)容包括定位引導(dǎo)項(xiàng)目的分類與標(biāo)定策略,以及通過軟硬件設(shè)計(jì)與實(shí)際應(yīng)用中的一些案例,闡明機(jī)器視覺在該類重要應(yīng)用中為機(jī)器人工業(yè)自動化帶來的迅猛提升。
關(guān)鍵詞:機(jī)器視覺;定位引導(dǎo);標(biāo)定
Abstract: Along with the rapid development of industrial robot, some derivative industries, which can help the industrial robots work faster, more accurate and more flexible, are also growing. Based upon machine vision, this paper focuses on the application of the combination of both machine vision and industrial robot in the area of locating and guiding. Specifically, the classification of locating and guiding as well as the calibration strategy are included. In addition, through some examples of software design, hardware design and practical applications, it is also clarified how the machine vision promotes the automation of robotics industry.
Key words: Machine Vision; Guide; Calibration
1 引言
據(jù)工業(yè)和信息化部2018年9月27日消息,2018年1月至8月,中國工業(yè)機(jī)器人累計(jì)產(chǎn)量達(dá)到101,717臺(套),同比增長19.4%。伴隨于此,輔佐機(jī)器人進(jìn)行更高精度、更強(qiáng)適應(yīng)性自動化生產(chǎn)的機(jī)器視覺技術(shù),在近幾年也得到突飛猛進(jìn)的發(fā)展。工業(yè)機(jī)器人與機(jī)器視覺技術(shù)不僅僅局限在工業(yè)生產(chǎn)場景中結(jié)合使用,隨著經(jīng)驗(yàn)的積累與技術(shù)瓶頸的突破,二者還將扮演更加重要的角色。
2 機(jī)器視覺與機(jī)器人的完美融合
對于傳統(tǒng)意義上的工業(yè)自動化,工業(yè)機(jī)器人在控制系統(tǒng)的指揮下,重復(fù)特定的動作流程完成加工。換言之,產(chǎn)品加工精度的保障依賴于控制系統(tǒng)的穩(wěn)定性與整個(gè)機(jī)械系統(tǒng)的精度。但是加工過程中隨機(jī)誤差的產(chǎn)生在所難免,諸如不可預(yù)測的震動、產(chǎn)品在工位間傳送發(fā)生的偏移等,此外機(jī)械結(jié)構(gòu)隨著長期使用、精度下降帶來的系統(tǒng)誤差還會導(dǎo)致產(chǎn)品批量報(bào)廢。而簡單的傳感器對于這些誤差的規(guī)避又顯得捉襟見肘。加上現(xiàn)今產(chǎn)品序列紛繁復(fù)雜,市場對于柔性生產(chǎn)的要求與日俱增,工業(yè)機(jī)器人想要在“失明”的情況下完成這一切就顯得尤為困難。
而當(dāng)工業(yè)機(jī)器人擁有了機(jī)器視覺賦予的“慧眼”,上述問題便迎刃而解。擁有“慧眼”的工業(yè)機(jī)器人在看到目標(biāo)之后,經(jīng)準(zhǔn)確分析定位后引導(dǎo)動作,避免了產(chǎn)品傳送中的偏差,增強(qiáng)了不同產(chǎn)品的生產(chǎn)適應(yīng)性,同時(shí)大幅提升產(chǎn)品的加工精度。此外,機(jī)器視覺還能檢測成品的精度,免除人工抽檢帶來的低效、誤差與漏檢。隨著智能制造的深入,具備視覺感知能力的智能設(shè)備益發(fā)盛行,機(jī)器視覺作為前端感知的核心部件,市場需求旺盛。??禉C(jī)器人起步于海康威視機(jī)器視覺業(yè)務(wù)部,依托??低曉趫D像傳感、人工智能、大數(shù)據(jù)分析等領(lǐng)域多年的技術(shù)積累,已發(fā)展成為面向全球的移動機(jī)器人、機(jī)器視覺產(chǎn)品和算法平臺提供商,公司堅(jiān)持自主研發(fā),持續(xù)推動智能制造進(jìn)程。
3 機(jī)器人定位引導(dǎo)分類
在機(jī)器視覺與機(jī)器人相結(jié)合的應(yīng)用場景中,機(jī)器人引導(dǎo)定位應(yīng)用最為普遍。關(guān)于此類場景,??禉C(jī)器人與合作伙伴共同實(shí)施了大量成功案例與成熟方案。機(jī)器人定位引導(dǎo)可大致分為3種模式,并進(jìn)而細(xì)分為六類:
圖1 固定相機(jī)
圖1所示的三種工作方式稱為固定相機(jī)模式,即相機(jī)安裝在設(shè)備機(jī)架上,不隨機(jī)器人的運(yùn)動而運(yùn)動,自左至右又依次分為抓取工況、抓取偏移糾正工況和放置工況。其中抓取工況,相機(jī)對傳送過來的來料進(jìn)行拍攝和粗定位,將定位信息傳輸給機(jī)器人以便機(jī)器人根據(jù)定位信息抓取來料,如此可降低對工位間傳送機(jī)構(gòu)準(zhǔn)確性的要求,確保抓取的穩(wěn)定性;抓取偏移補(bǔ)正工況可通過設(shè)置在機(jī)械臂另一側(cè)的下相機(jī)對工件進(jìn)行二次精準(zhǔn)定位,極大程度上消除來料偏差,確保能有針對性地對每個(gè)來料進(jìn)行加工;放置工況內(nèi)容涵蓋廣泛,可以是簡單的放置,亦可以是貼合、安裝等,即使用相機(jī)定位最終的目標(biāo)位,結(jié)合前述兩種工況,真正做到針對每個(gè)工件有的放矢。
圖2 運(yùn)動相機(jī)
圖2所示為兩種運(yùn)動相機(jī)模式,即相機(jī)安裝于機(jī)械臂頂端隨機(jī)械臂一同運(yùn)動。雖不同于上述固定相機(jī)模式,但固定相機(jī)模式和運(yùn)動相機(jī)模式在功能上殊途同歸,都可實(shí)現(xiàn)定位抓取與引導(dǎo)放置。兩者在保證功能的同時(shí),能夠提供更多的安裝可能性以應(yīng)對不同的環(huán)境與硬件條件限制。
圖3 其他類型
針對不同的設(shè)備安裝場景,為提升硬件安裝的適應(yīng)性,固定相機(jī)模式與運(yùn)動相機(jī)模式也可結(jié)合使用,如圖3所示。
4 視覺系統(tǒng)設(shè)計(jì)
結(jié)合不同場景,應(yīng)用各類型硬件的選型搭配,保障機(jī)器視覺技術(shù)與機(jī)器人有效配合的前提是系統(tǒng)整體的合理設(shè)計(jì)與安裝布置。
海螺8是??低暪S生產(chǎn)的一款攝像頭,其裝配需完成前蓋定位、泡棉上料、透鏡定位安裝、燈板定位安裝鎖附、前端組件定位安裝鎖附等一系列動作,整個(gè)過程應(yīng)用了大量機(jī)器人與機(jī)器視覺聯(lián)合定位引導(dǎo)。如圖4左所示的燈板鎖附工位負(fù)責(zé)燈板鎖附過程中螺釘?shù)膩砹隙ㄎ慌c引導(dǎo)安裝,由于設(shè)備安裝空間的局限性,項(xiàng)目中選擇了空間需求更小、工位更加節(jié)省、安裝更靈活的活動相機(jī)方式。??低曌灾餮邪l(fā)生產(chǎn)的600萬像素面陣相機(jī)配合25mm焦距的500萬鏡頭,連同環(huán)形LED光源安裝在機(jī)械臂末端,隨同機(jī)械臂一同運(yùn)動。
圖4 海螺8視覺系統(tǒng)與成像效果
如圖4左所示燈板定位螺釘安裝工位中,螺孔精度為±0.05mm,這對于視覺與機(jī)器人配合的精度提出了較高要求。相機(jī)連同機(jī)械臂在取料位定位螺釘后,機(jī)械臂前端的吸鐵石準(zhǔn)確吸取螺釘并運(yùn)動至安裝位;相機(jī)在安裝位再次拍照定位螺孔后,螺釘被精確旋緊。
單個(gè)螺釘從定位取料到完成安裝整個(gè)過程僅耗時(shí)不到5秒,且通過視覺定位極大程度提高一次性安裝成功的穩(wěn)定性,避免人工安裝時(shí)瞄準(zhǔn)螺孔、效率波動帶來的時(shí)間耗費(fèi),人力成本也得到降低。視覺定位的應(yīng)用,在降低成本的同時(shí)優(yōu)化加工工藝、提升產(chǎn)能。
基于合理的硬件選型與空間配置,最終得到穩(wěn)定優(yōu)秀的畫面質(zhì)量(如圖4右所示)。借助??禉C(jī)器人自主研發(fā)的工業(yè)相機(jī)客戶端MVS和海康威視機(jī)器視覺VM算法平臺,使用模板匹配、圓查找等工具對圖像中的螺孔等特征進(jìn)行精準(zhǔn)分析定位。
5 標(biāo)定——精度保障的重要環(huán)節(jié)
在設(shè)備最終投入使用前,還會經(jīng)歷一個(gè)重要環(huán)節(jié)——標(biāo)定,這也是視覺與機(jī)器人之間的橋梁。
??低暀C(jī)器視覺VM算法平臺中包含成熟的標(biāo)定算法模塊,能在確保標(biāo)定流程開發(fā)高效性的基礎(chǔ)上,讓工程師使用完善的標(biāo)定算法模塊有針對性地為自己量身定制標(biāo)定程序,以此實(shí)現(xiàn)標(biāo)定流程的簡潔性、準(zhǔn)確性和復(fù)用性。
在合作伙伴利用??低暀C(jī)器視覺VM算法平臺開發(fā)的某一視覺項(xiàng)目中,設(shè)備需要對三個(gè)工位上的三臺相機(jī)分別進(jìn)行標(biāo)定。在精度要求最高、空間條件最好的二工位,即抓取偏移補(bǔ)正工位,固定安裝于機(jī)架的下相機(jī)完成了對帶有角點(diǎn)(有方向性)的點(diǎn)陣標(biāo)定板的11個(gè)位姿的采圖,并利用??低暀C(jī)器視覺VM算法平臺中多點(diǎn)標(biāo)定模塊快速實(shí)現(xiàn)二工位完整的11點(diǎn)標(biāo)定。一、三工位的相機(jī)只需要對標(biāo)定板進(jìn)行一次圖像采集,通過對比相同特征在不同采圖中的坐標(biāo),得到不同像素級別的相機(jī)之間尺度和角度的變換關(guān)系,即通過坐標(biāo)映射建立與二工位之間的聯(lián)系,完成一、三工位的標(biāo)定。
圖5 N點(diǎn)標(biāo)定流程
整個(gè)標(biāo)定流程只需采集13張圖片,在不影響精度的情況下,利用坐標(biāo)映射極大程度地精簡了標(biāo)定流程,節(jié)約了開發(fā)和時(shí)間成本。至于標(biāo)定流程本身,如圖5,基于已有的模塊,只需根據(jù)機(jī)器人的實(shí)際動作在N點(diǎn)標(biāo)定模塊中設(shè)定N點(diǎn)步進(jìn)的距離d和旋轉(zhuǎn)角度α并選擇圖像中進(jìn)行定位的特征,??低暀C(jī)器視覺VM算法平臺會自動按照圖示位姿順序完成標(biāo)定矩陣的計(jì)算,供最終圖像坐標(biāo)向物理坐標(biāo)轉(zhuǎn)換時(shí)使用。其中特征點(diǎn)可以是諸如圖5實(shí)例中的圓、角點(diǎn)線段等的任何特征,這也消除了標(biāo)定板選用的局限性。而旋轉(zhuǎn)角α的引入解決了機(jī)械臂末端旋轉(zhuǎn)軸與執(zhí)行元件的不共軸問題。在此基礎(chǔ)上,完成一、三工位的坐標(biāo)映射乃至更多定制的標(biāo)定流程,整個(gè)過程的開發(fā)周期也會大幅縮短。
6 軟件配合
視覺系統(tǒng)在軟件層面完成的首要任務(wù)是與設(shè)備動作之間的正常通訊,??禉C(jī)器人聯(lián)手合作伙伴,在眾多項(xiàng)目的實(shí)際操作中完成了與ABB、EPSON、FANUC等諸多工業(yè)機(jī)器人的成功對接。其次,任何系統(tǒng)的開發(fā)最終都會落實(shí)在界面的操作,對于操作員來說,操作界面的友好度同樣是確保設(shè)備正常、高效使用的重要因素。
針對不同客戶自身的應(yīng)用案例需求,??低暀C(jī)器視覺VM算法平臺提供多樣性的通訊模塊以應(yīng)對不同的通訊協(xié)議。同樣,??低暀C(jī)器視覺VM算法平臺豐富的SDK也為工程師提供了獨(dú)立自主開發(fā)軟件的可能性,以契合不同的應(yīng)用場景和客戶需求。圖6是合作伙伴在一個(gè)機(jī)器人對位貼合項(xiàng)目中調(diào)用??低暀C(jī)器視覺VM算法平臺SDK編寫的軟件界面。
圖6 標(biāo)定過程采圖
界面主體顯示了相機(jī)的實(shí)時(shí)采圖,右側(cè)功能頁可設(shè)置包括光源、相機(jī)、視覺方案在內(nèi)的多種選項(xiàng),并且隨時(shí)可以根據(jù)需求的調(diào)整進(jìn)行增減。
7 結(jié)語
人工智能時(shí)代,工業(yè)應(yīng)用對機(jī)器人的訴求早已突破既定重復(fù)的簡單組裝工作,面對當(dāng)下對“延展性”的更高要求,機(jī)器視覺正在逐漸拓寬機(jī)器人的應(yīng)用范圍。
本文立足于機(jī)器視覺與工業(yè)機(jī)器人的結(jié)合,著重介紹了二者在定位引導(dǎo)類項(xiàng)目中的應(yīng)用,并通過硬件系統(tǒng)搭建、標(biāo)定流程設(shè)計(jì)、軟件界面設(shè)計(jì)的實(shí)際案例,闡釋機(jī)器視覺在此類項(xiàng)目開發(fā)中的難點(diǎn)與優(yōu)勢,以期為二者結(jié)合在多領(lǐng)域、深層次的應(yīng)用提供更多寶貴經(jīng)驗(yàn)。
摘自《自動化博覽》2018年12月刊