摘要:隨著智能制造的深入推進,市場對工業相機的應用提出了更高要求,普通工業相機在特定場景下,已經無法完全滿足特殊工業應用需求。與光的強度和波長一樣,光的偏振也提供了極其豐富的信息。根據Stokes矢量計算偏振度原理,平行光源照射在被測物表面形成光的反射,反射光透過偏振片后,相機的圖像傳感器可從多個方向采集到圖像數據,最終結合成的偏振度圖像,能夠體現出偏振圖像特有的信息。
關鍵詞:機器視覺;偏振度;偏振相機成像
1 引言
與常見的可見光、遙感、紅外成像等相比,偏振成像可以獲取物體的多維度偏振信息,這在圖像視覺領域中有十分顯著和獨到的優勢。利用偏振相機獲取到的偏振信息,可大幅增強被測物的細節特征體現。普通面陣相機難以辨別的缺陷,利用偏振相機可加以區分。偏振相機具備更強的缺陷識別能力,是各大檢測行業的理想選擇。
2 偏振相機檢測原理
2.1 偏振度
光作為電磁波家族的一份子,在經過物體表面反射后,因為物體表面的結構、材質、顏色以及光本身的入射角等物理性質的不同,其偏振方向等也將隨之改變,從而使某些反射信息得到加強,某些信息被弱化,這樣便可更加有效地得到相應的圖像信息,對被測物加以鑒別,如物體表面紋理結構、粗糙程度、表面缺陷等等。
偏振光分為完全偏振光和部分偏振光。其中,完全偏振光又分為線偏振光、圓偏振光以及橢圓偏振光。線偏振光是指在光的傳播過程中,只包含一種振動,其振動方向始終保持在光的偏振同一平面內。
一般來說,線偏振光可以通過反射、折射、干涉以及散射來產生,還可以通過二向色性晶體(人造偏振片)、晶體雙折射等產生,途徑十分多樣。
偏振方向則表示為波此時的振動方向與傳播方向不一致時的方向,且只有橫波才具有偏振現象,其偏振方向與波的傳播方向垂直(如圖1所示),縱波則不存在偏振現象,因其傳播方向與振動方向一致。
圖1 線偏振方向示意圖
在使用偏振相機獲取圖像數據時,偏振度是最為根本的信息,是衡量電磁波中偏振信息的重要參數,我們習慣上將其描述為偏振光在總光強中所占的比例。
前面提到Stokes矢量是計算偏振度的數學原理,是光學偏振狀態的數學表示。其主要包含四個矢量作為偏振信息的參量:
其中,I表示光波的總強度,Q為x方向上線偏振光的強度差,U則表示+π/4方向與-π/4方向上線偏振光的強度差;Ex,Ey表示光的矢量E在x、y方向上的振幅,δ是x、y的相位差;V表示圓偏振光的右旋而非左旋偏振分量占優勢,然而自然界中,圓偏振的分量極少,對儀器造成的誤差也基本可以忽略不計,一般來說V均記為0。因此,得到Stokes矢量S=[I Q U V]后,即可通過下列公式計算出光的偏振度:
2.2 實驗原理
目前市面上的偏振圖像傳感器中,帶有四向偏振器的Sony IMX250MZRCMOS全局曝光偏振感光芯片較具代表性。四向偏振器便是從四個不同角度測量線偏振光強,從而得到最終的偏振圖像,大致原理可結合2.1中提及的公式,即:
其中I為光的總強度,I0、I1、I2、I3分別表示相機圖像傳感器中的四向偏振片透光軸與參考方向呈0°、45°、90°、135°方向上的線偏振光強,I r和 Il表示右旋(r)和左旋(l)圓偏振光強。線偏振光的Stokes矢量為[1 1 0 0],自然光的Stokes矢量為[1 00 0]。
將偏振相機測出0°、45°、90°、135°四個角度下的灰度圖像結合,即可獲得四個方向的光強I0、 I1、I2、I3的圖像,再將所得的值代入上式(6)求出I、Q、U,然后再代入公式(5)便可求得偏振度值P。
3 行業解決方案
3.1 獨特的芯片排布設計
Sony在IMX250MZR中有獨特的像元排布設計,在物理像素陣列的偏振編碼中,該圖像傳感器的四個方向偏振器按如圖2所示的布局排列以獲得透射光,輸出90°信號線、45°信號線、135°信號線和0°信號線。
表1傳感器四向偏振排列
3.2 偏振相機
海康機器人的工業面陣相機已經發展得十分全面,分辨率廣度覆蓋了30萬像素到1.5億像素,數據傳輸接口從傳統的GigE、U3V、CameraLink,到帶寬更高的10GigE、CoaXPress等均有涉獵。然而,在一些特定場合,如照明情況十分不好,或者被檢測物品較難直接用傳統面陣相機檢測時,利用光的偏振,便可以進行效果更加出色的檢測。
基于Sony IMX250MZR CMOS 偏振感光芯片,海康機器人自主研發CH系列500萬像素USB接口的偏振相機MV-CH050-10UP,可利用偏振信息和四向偏振器獲取更多的圖像信息,在工業機器視覺中創造了一系列新的成像可能性。
MV-CH050-10UP搭載Sony IMX250MZR CMOS全局曝光的偏振感光芯片,能夠同時采集四個不同偏振方向的圖像;通過USB3.0數據接口進行圖像數據的傳輸,并集成I/O (GPIO) 接口,提供線纜鎖緊裝置,能在各種惡劣環境下穩定工作,是高可靠性、高性價比的工業面陣相機產品。具有高分辨率、高清晰度、高精度、低噪聲等特點,適用于工業檢測、醫療、科研、教育以及安防等領域。
MV-CH050-10UP在圖像傳感器芯片的光電二極管上具有四個方向(0°、90°、45°、135°)像素級偏振濾光鏡。除了捕獲亮度和顏色,它還可以捕獲正常圖像傳感器無法檢測到的偏振信息。使得偏振相機可以在眾多工業領域中應用,例如在能見度低下、拍攝畫面困難的情況下進行檢測。
因此,在工業相機應用中,除去偏振度外,還有偏振方向等信息也可進行相應的利用。借助這兩個不同的偏振特性,可以進行非常廣泛的應用。
MV-CH050-10UP可以一次拍攝四向偏振圖像(如圖2所示),根據每個方向的偏振強度計算被測物的偏振方向(Angle of Polarization)和偏振度(Degree of Polarization),結合后續的信號處理,可實時捕獲偏振信息。
圖2 四向偏振圖像
3.3 偏振圖像的抽取和融合
相機擁有2448×2048的有效像素,偏光鏡在90°和45°的角度由第一行上的每個像素交替提供,而在135°和0°的則由第二行上的每個像素交替提供;且圖像傳感器的數據輸出與相機的數據輸出模式相同。
圖像數據輸出被融合呈現于同一個屏幕,又分為四個畫面,如上圖2所示(偏振片呈45°的圖像在右上角,偏振片呈90°的圖像在左上角,偏振片呈0°的圖像在右下角,偏振片呈135°的圖像在左下角)。
在使用相關軟件配合相機取圖時,屏幕將會被劃分為四個不同的區域,并設置四個不同的功能,其中包括:四向偏振、漫射光(去偏振)、偏振度、偏振方向(偽彩圖)等,下面的示例顯示將用于配置輸出的設置分為四個功能:
4 軟件配合
為支持海康的機器視覺產品而開發的軟件應用程序——MVS客戶端(Machine Vision Software),基于GenICam標準,遵循GigE Vision以及USB3.0 Vision協議。用戶可通過客戶端或SDK連接工業相機,采集相機圖像,獲取并設置相機參數。軟件開發包中包含SDK及示例程序,可滿足用戶二次開發的多樣化需求。
MVS包含了客戶端,IP配置工具,固件升級工具,導入/導出屬性工具,日志查看工具,網卡配置工具,驅動管理工具,系統信息工具,SDK和Demo。目前發布版本適用于GigE和USB3.0接口工業面陣、線陣相機。
針對偏振相機,海康機器人定制了多畫面MVS客戶端,能夠直接呈現四向偏振圖、去偏振光圖、偏振度信息圖以及利用偏振方向信息的偽彩圖。對于被測物的偏振信息,以多種方法和角度,使得被測物體的特征更加明顯。
圖3所示是客戶端中相機在采集偏振畫面的軟件界面。
左側為相機對應型號、固件版本信息等;右側為相機參數調整界面,可以根據具體的應用需求,調節相機的各樣參數;下方為幀率、分辨率、帶寬等基本參數實時顯示;相機一次性呈現四幅畫面,可以根據偏振度和偏振方向的信息,讓缺陷最大程度呈現,從而減輕算法處理的壓力。
圖3 客戶端操作界面
5 應用行業
5.1 外殼檢測
由于物體的外包裝在具有缺陷時,其表面的平整
度、紋理構造等,均會產生偏振度(DOP)信息變化,偏振相機通過對物體表面偏振度信息的區別,可以提取大量的圖像信息,如圖4所示。
圖4 偏振度信息圖
普通相機在拍攝淺物體外殼或包裝時,沒有偏振度。而在MV-CH050-10UP下,由于被測物體的偏振程度不同,很容易就能識別出被測物體表面的相應缺陷信息。
5.2 變形檢測
除偏振度之外,當原本平整的物體表面發生變形時,其表面的偏振方向也隨之改變,這種改變同樣可以提供大量的信息供使用,如圖5所示。
圖5 偏振方向信息圖
在海康機器人的偏振相機下,被測物體可以偽彩圖形式呈現。在偽彩圖中,與基準表面的偏振方向不相同的區域,將會根據其自身的偏振方向而呈現出不同的顏色,因此能夠輕易檢測出物體表面變形的區域。
5.3 去除反光
光滑物體表面在經過光線照射時,會出現反射,十分影響相機拍攝物體的真實狀態,偏振相機特有濾光偏振片,當偏振片與反光呈垂直方向時,便可輕松過濾掉該方向上的反光,能夠輕松獲取被攝物的真實面貌,如圖6所示。
圖6 去除反光圖示
普通相機在拍攝有反光的物體時,只能拍攝出反光的畫面,而MV-CH050-10UP的四向偏振器,其偏振信息可用于同時消除多個平面上的反射,讓畫面達到最佳去反光效果。
6 結語
工業4.0時代對生產制造效率提出了更高的要求。在條件更加嚴苛的生產場景下,機器視覺產品需不斷融入新技術,以應對更為復雜的挑戰。
海康機器人自主研發的偏振相機基于偏振原理,結合相應客戶端軟件后,可實現多種新應用。道阻且長,行則將至,憑借多年在成像采集、圖像處理和模式識別領域的技術積累,海康機器人向偏振領域邁出了鏗鏘一步。日后將繼續聚焦工業視覺傳感應用,專注底層算法軟件和硬件技術,為用戶提供卓越的機器視覺產品和算法平臺,使用戶的工作效率及準確率再進一步。
摘自《自動化博覽》2019年12月刊