摘要:隨著智能制造的深入推進(jìn),市場(chǎng)對(duì)工業(yè)相機(jī)的應(yīng)用提出了更高要求,普通工業(yè)相機(jī)在特定場(chǎng)景下,已經(jīng)無法完全滿足特殊工業(yè)應(yīng)用需求。與光的強(qiáng)度和波長一樣,光的偏振也提供了極其豐富的信息。根據(jù)Stokes矢量計(jì)算偏振度原理,平行光源照射在被測(cè)物表面形成光的反射,反射光透過偏振片后,相機(jī)的圖像傳感器可從多個(gè)方向采集到圖像數(shù)據(jù),最終結(jié)合成的偏振度圖像,能夠體現(xiàn)出偏振圖像特有的信息。
關(guān)鍵詞:機(jī)器視覺;偏振度;偏振相機(jī)成像
1 引言
與常見的可見光、遙感、紅外成像等相比,偏振成像可以獲取物體的多維度偏振信息,這在圖像視覺領(lǐng)域中有十分顯著和獨(dú)到的優(yōu)勢(shì)。利用偏振相機(jī)獲取到的偏振信息,可大幅增強(qiáng)被測(cè)物的細(xì)節(jié)特征體現(xiàn)。普通面陣相機(jī)難以辨別的缺陷,利用偏振相機(jī)可加以區(qū)分。偏振相機(jī)具備更強(qiáng)的缺陷識(shí)別能力,是各大檢測(cè)行業(yè)的理想選擇。
2 偏振相機(jī)檢測(cè)原理
2.1 偏振度
光作為電磁波家族的一份子,在經(jīng)過物體表面反射后,因?yàn)槲矬w表面的結(jié)構(gòu)、材質(zhì)、顏色以及光本身的入射角等物理性質(zhì)的不同,其偏振方向等也將隨之改變,從而使某些反射信息得到加強(qiáng),某些信息被弱化,這樣便可更加有效地得到相應(yīng)的圖像信息,對(duì)被測(cè)物加以鑒別,如物體表面紋理結(jié)構(gòu)、粗糙程度、表面缺陷等等。
偏振光分為完全偏振光和部分偏振光。其中,完全偏振光又分為線偏振光、圓偏振光以及橢圓偏振光。線偏振光是指在光的傳播過程中,只包含一種振動(dòng),其振動(dòng)方向始終保持在光的偏振同一平面內(nèi)。
一般來說,線偏振光可以通過反射、折射、干涉以及散射來產(chǎn)生,還可以通過二向色性晶體(人造偏振片)、晶體雙折射等產(chǎn)生,途徑十分多樣。
偏振方向則表示為波此時(shí)的振動(dòng)方向與傳播方向不一致時(shí)的方向,且只有橫波才具有偏振現(xiàn)象,其偏振方向與波的傳播方向垂直(如圖1所示),縱波則不存在偏振現(xiàn)象,因其傳播方向與振動(dòng)方向一致。
圖1 線偏振方向示意圖
在使用偏振相機(jī)獲取圖像數(shù)據(jù)時(shí),偏振度是最為根本的信息,是衡量電磁波中偏振信息的重要參數(shù),我們習(xí)慣上將其描述為偏振光在總光強(qiáng)中所占的比例。
前面提到Stokes矢量是計(jì)算偏振度的數(shù)學(xué)原理,是光學(xué)偏振狀態(tài)的數(shù)學(xué)表示。其主要包含四個(gè)矢量作為偏振信息的參量:
其中,I表示光波的總強(qiáng)度,Q為x方向上線偏振光的強(qiáng)度差,U則表示+π/4方向與-π/4方向上線偏振光的強(qiáng)度差;Ex,Ey表示光的矢量E在x、y方向上的振幅,δ是x、y的相位差;V表示圓偏振光的右旋而非左旋偏振分量占優(yōu)勢(shì),然而自然界中,圓偏振的分量極少,對(duì)儀器造成的誤差也基本可以忽略不計(jì),一般來說V均記為0。因此,得到Stokes矢量S=[I Q U V]后,即可通過下列公式計(jì)算出光的偏振度:
2.2 實(shí)驗(yàn)原理
目前市面上的偏振圖像傳感器中,帶有四向偏振器的Sony IMX250MZRCMOS全局曝光偏振感光芯片較具代表性。四向偏振器便是從四個(gè)不同角度測(cè)量線偏振光強(qiáng),從而得到最終的偏振圖像,大致原理可結(jié)合2.1中提及的公式,即:
其中I為光的總強(qiáng)度,I0、I1、I2、I3分別表示相機(jī)圖像傳感器中的四向偏振片透光軸與參考方向呈0°、45°、90°、135°方向上的線偏振光強(qiáng),I r和 Il表示右旋(r)和左旋(l)圓偏振光強(qiáng)。線偏振光的Stokes矢量為[1 1 0 0],自然光的Stokes矢量為[1 00 0]。
將偏振相機(jī)測(cè)出0°、45°、90°、135°四個(gè)角度下的灰度圖像結(jié)合,即可獲得四個(gè)方向的光強(qiáng)I0、 I1、I2、I3的圖像,再將所得的值代入上式(6)求出I、Q、U,然后再代入公式(5)便可求得偏振度值P。
3 行業(yè)解決方案
3.1 獨(dú)特的芯片排布設(shè)計(jì)
Sony在IMX250MZR中有獨(dú)特的像元排布設(shè)計(jì),在物理像素陣列的偏振編碼中,該圖像傳感器的四個(gè)方向偏振器按如圖2所示的布局排列以獲得透射光,輸出90°信號(hào)線、45°信號(hào)線、135°信號(hào)線和0°信號(hào)線。
表1傳感器四向偏振排列
3.2 偏振相機(jī)
海康機(jī)器人的工業(yè)面陣相機(jī)已經(jīng)發(fā)展得十分全面,分辨率廣度覆蓋了30萬像素到1.5億像素,數(shù)據(jù)傳輸接口從傳統(tǒng)的GigE、U3V、CameraLink,到帶寬更高的10GigE、CoaXPress等均有涉獵。然而,在一些特定場(chǎng)合,如照明情況十分不好,或者被檢測(cè)物品較難直接用傳統(tǒng)面陣相機(jī)檢測(cè)時(shí),利用光的偏振,便可以進(jìn)行效果更加出色的檢測(cè)。
基于Sony IMX250MZR CMOS 偏振感光芯片,海康機(jī)器人自主研發(fā)CH系列500萬像素USB接口的偏振相機(jī)MV-CH050-10UP,可利用偏振信息和四向偏振器獲取更多的圖像信息,在工業(yè)機(jī)器視覺中創(chuàng)造了一系列新的成像可能性。
MV-CH050-10UP搭載Sony IMX250MZR CMOS全局曝光的偏振感光芯片,能夠同時(shí)采集四個(gè)不同偏振方向的圖像;通過USB3.0數(shù)據(jù)接口進(jìn)行圖像數(shù)據(jù)的傳輸,并集成I/O (GPIO) 接口,提供線纜鎖緊裝置,能在各種惡劣環(huán)境下穩(wěn)定工作,是高可靠性、高性價(jià)比的工業(yè)面陣相機(jī)產(chǎn)品。具有高分辨率、高清晰度、高精度、低噪聲等特點(diǎn),適用于工業(yè)檢測(cè)、醫(yī)療、科研、教育以及安防等領(lǐng)域。
MV-CH050-10UP在圖像傳感器芯片的光電二極管上具有四個(gè)方向(0°、90°、45°、135°)像素級(jí)偏振濾光鏡。除了捕獲亮度和顏色,它還可以捕獲正常圖像傳感器無法檢測(cè)到的偏振信息。使得偏振相機(jī)可以在眾多工業(yè)領(lǐng)域中應(yīng)用,例如在能見度低下、拍攝畫面困難的情況下進(jìn)行檢測(cè)。
因此,在工業(yè)相機(jī)應(yīng)用中,除去偏振度外,還有偏振方向等信息也可進(jìn)行相應(yīng)的利用。借助這兩個(gè)不同的偏振特性,可以進(jìn)行非常廣泛的應(yīng)用。
MV-CH050-10UP可以一次拍攝四向偏振圖像(如圖2所示),根據(jù)每個(gè)方向的偏振強(qiáng)度計(jì)算被測(cè)物的偏振方向(Angle of Polarization)和偏振度(Degree of Polarization),結(jié)合后續(xù)的信號(hào)處理,可實(shí)時(shí)捕獲偏振信息。
圖2 四向偏振圖像
3.3 偏振圖像的抽取和融合
相機(jī)擁有2448×2048的有效像素,偏光鏡在90°和45°的角度由第一行上的每個(gè)像素交替提供,而在135°和0°的則由第二行上的每個(gè)像素交替提供;且圖像傳感器的數(shù)據(jù)輸出與相機(jī)的數(shù)據(jù)輸出模式相同。
圖像數(shù)據(jù)輸出被融合呈現(xiàn)于同一個(gè)屏幕,又分為四個(gè)畫面,如上圖2所示(偏振片呈45°的圖像在右上角,偏振片呈90°的圖像在左上角,偏振片呈0°的圖像在右下角,偏振片呈135°的圖像在左下角)。
在使用相關(guān)軟件配合相機(jī)取圖時(shí),屏幕將會(huì)被劃分為四個(gè)不同的區(qū)域,并設(shè)置四個(gè)不同的功能,其中包括:四向偏振、漫射光(去偏振)、偏振度、偏振方向(偽彩圖)等,下面的示例顯示將用于配置輸出的設(shè)置分為四個(gè)功能:
4 軟件配合
為支持海康的機(jī)器視覺產(chǎn)品而開發(fā)的軟件應(yīng)用程序——MVS客戶端(Machine Vision Software),基于GenICam標(biāo)準(zhǔn),遵循GigE Vision以及USB3.0 Vision協(xié)議。用戶可通過客戶端或SDK連接工業(yè)相機(jī),采集相機(jī)圖像,獲取并設(shè)置相機(jī)參數(shù)。軟件開發(fā)包中包含SDK及示例程序,可滿足用戶二次開發(fā)的多樣化需求。
MVS包含了客戶端,IP配置工具,固件升級(jí)工具,導(dǎo)入/導(dǎo)出屬性工具,日志查看工具,網(wǎng)卡配置工具,驅(qū)動(dòng)管理工具,系統(tǒng)信息工具,SDK和Demo。目前發(fā)布版本適用于GigE和USB3.0接口工業(yè)面陣、線陣相機(jī)。
針對(duì)偏振相機(jī),海康機(jī)器人定制了多畫面MVS客戶端,能夠直接呈現(xiàn)四向偏振圖、去偏振光圖、偏振度信息圖以及利用偏振方向信息的偽彩圖。對(duì)于被測(cè)物的偏振信息,以多種方法和角度,使得被測(cè)物體的特征更加明顯。
圖3所示是客戶端中相機(jī)在采集偏振畫面的軟件界面。
左側(cè)為相機(jī)對(duì)應(yīng)型號(hào)、固件版本信息等;右側(cè)為相機(jī)參數(shù)調(diào)整界面,可以根據(jù)具體的應(yīng)用需求,調(diào)節(jié)相機(jī)的各樣參數(shù);下方為幀率、分辨率、帶寬等基本參數(shù)實(shí)時(shí)顯示;相機(jī)一次性呈現(xiàn)四幅畫面,可以根據(jù)偏振度和偏振方向的信息,讓缺陷最大程度呈現(xiàn),從而減輕算法處理的壓力。
圖3 客戶端操作界面
5 應(yīng)用行業(yè)
5.1 外殼檢測(cè)
由于物體的外包裝在具有缺陷時(shí),其表面的平整
度、紋理構(gòu)造等,均會(huì)產(chǎn)生偏振度(DOP)信息變化,偏振相機(jī)通過對(duì)物體表面偏振度信息的區(qū)別,可以提取大量的圖像信息,如圖4所示。
圖4 偏振度信息圖
普通相機(jī)在拍攝淺物體外殼或包裝時(shí),沒有偏振度。而在MV-CH050-10UP下,由于被測(cè)物體的偏振程度不同,很容易就能識(shí)別出被測(cè)物體表面的相應(yīng)缺陷信息。
5.2 變形檢測(cè)
除偏振度之外,當(dāng)原本平整的物體表面發(fā)生變形時(shí),其表面的偏振方向也隨之改變,這種改變同樣可以提供大量的信息供使用,如圖5所示。
圖5 偏振方向信息圖
在海康機(jī)器人的偏振相機(jī)下,被測(cè)物體可以偽彩圖形式呈現(xiàn)。在偽彩圖中,與基準(zhǔn)表面的偏振方向不相同的區(qū)域,將會(huì)根據(jù)其自身的偏振方向而呈現(xiàn)出不同的顏色,因此能夠輕易檢測(cè)出物體表面變形的區(qū)域。
5.3 去除反光
光滑物體表面在經(jīng)過光線照射時(shí),會(huì)出現(xiàn)反射,十分影響相機(jī)拍攝物體的真實(shí)狀態(tài),偏振相機(jī)特有濾光偏振片,當(dāng)偏振片與反光呈垂直方向時(shí),便可輕松過濾掉該方向上的反光,能夠輕松獲取被攝物的真實(shí)面貌,如圖6所示。
圖6 去除反光圖示
普通相機(jī)在拍攝有反光的物體時(shí),只能拍攝出反光的畫面,而MV-CH050-10UP的四向偏振器,其偏振信息可用于同時(shí)消除多個(gè)平面上的反射,讓畫面達(dá)到最佳去反光效果。
6 結(jié)語
工業(yè)4.0時(shí)代對(duì)生產(chǎn)制造效率提出了更高的要求。在條件更加嚴(yán)苛的生產(chǎn)場(chǎng)景下,機(jī)器視覺產(chǎn)品需不斷融入新技術(shù),以應(yīng)對(duì)更為復(fù)雜的挑戰(zhàn)。
海康機(jī)器人自主研發(fā)的偏振相機(jī)基于偏振原理,結(jié)合相應(yīng)客戶端軟件后,可實(shí)現(xiàn)多種新應(yīng)用。道阻且長,行則將至,憑借多年在成像采集、圖像處理和模式識(shí)別領(lǐng)域的技術(shù)積累,海康機(jī)器人向偏振領(lǐng)域邁出了鏗鏘一步。日后將繼續(xù)聚焦工業(yè)視覺傳感應(yīng)用,專注底層算法軟件和硬件技術(shù),為用戶提供卓越的機(jī)器視覺產(chǎn)品和算法平臺(tái),使用戶的工作效率及準(zhǔn)確率再進(jìn)一步。
摘自《自動(dòng)化博覽》2019年12月刊