摘要:簡要介紹機器視覺系統的構成,機器視覺系統圖像處理與模式識別的基礎、研究進展,最后通過實例分析機器視覺系統的應用。
關鍵詞:機器視覺;模式識別;圖像
Abstract: This paper describes the machine vision system briefly, including the theories and basis of the image processing and pattern recognition. Also the research development is introduced. In the last part, an application system is analyzed.
Key words: Machine vision; Pattern recognition; Image
1 機器視覺基礎概述
機器視覺是研究計算機模擬生物宏觀視覺功能的科學和技術,即用攝像機和計算機等機器代替人眼對目標進行測量、跟蹤和識別,并加以判斷。主要應用于如工業檢測、工業探傷、精密控制、自動生產流水線、郵政自動化、糧食優選、顯微醫學操作,以及各種危險場合工作的機器人等[1]。機器視覺,是人工視覺,又可稱作工業視覺,或計算機視覺,與人類視覺或動物視覺有著本質的不同。也有人認為機器視覺是計算機視覺工業應用的一個分支。但無論怎樣理解,機器視覺系統主要有三個部分:圖像獲取、圖像分析和處理、輸出顯示或控制,如圖1所示。
圖1 機器視覺系統模塊構成
1.1 圖像獲取 表1 線陣CCD參數
圖像的獲取,是任何機器視覺的基礎,實際上是將被測物體的可視化圖像和內在特征轉換成能被計算機處理的一系列數據。場景中設置的攝像機提供了一維的或二維的圖像信息,調制后提供給圖像采集裝置,在計算機中形成為數字圖像信息或數據。圖像獲取裝置主要是由攝像機、圖像傳輸變換系統和圖像的計算機采集裝置等構成。從所使用的攝像機來分類,則主要由CCD[3]、CMOS等光學敏感原理構成的圖像傳感器構成,從圖像獲取的形式來看,主要有線陣、面陣兩種類型。
圖像獲取,由三部分組成:照明系統、圖像聚焦光學系統、圖像敏感元件和視頻調制。
照明和影響機器視覺系統輸入的重要因素,因為它直接影響輸入數據的質量和至少30%的應用效果。通用的機器視覺照明設備難以形成,在工業應用中,針對每個特定的應用場景,選擇相應的照明裝置。最初的機器視覺系統用可見光作為光源,常用的可見光源是日光燈、水銀燈、白熾燈和鈉光燈。但是,這些光源的一個最大缺點是光能不能保持穩定,且環境光將改變這些光源照射到物體上的總光能。以日光燈為例,在使用的第一個100小時內,光能將下降15%,隨著使用時間的增加,光能將不斷下降。對于某些要求高的工業檢測任務,常采用X射線、超聲波[2]等不可見光作為光源,單波長的激光也已得到大量應用,不過價格較高。
圖像聚焦光學系統,即被測物的圖像通過一個光學系統,透鏡聚焦在敏感元件上。機器視覺系統使用CCD、CMOS等圖像傳感器來捕捉圖像,傳感器將可視圖像轉化為電信號,便于計算機處理。
圖像敏感元件是一個光電轉換裝置,將傳感器所接收到的物體成像,轉化為計算機能處理的電信號。現代工業、民用主要使用CCD、CMOS等攝像機。主要將在成像單元上形成的光學信號轉換為電信號,成像單元可以線陣列或面陣列構成,通過按一定順序每個單元的電荷輸出,實現將成像單元上的光信號轉換成電信號的目的。輸出的像元序列電荷,可以直接調制成標準的PAL、NTSC等制式的電視信號,即視頻信號,視頻信號可傳輸到標準的電視接收機顯示或通過圖像采集裝置把視頻信號變換為離散的陣列數字信號,存入計算機中,進行后續處理。
在某些工業應用中,使用攝像機陣列,形成多攝像機或雙攝像機的多目或雙目視覺系統,從而得到絕對的深度信息。
1.2 圖像分析和處理
機器視覺系統中,主要強調用計算機實現人的視覺功能,視覺信息的分析與處理技術主要使用圖像對象。所以機器視覺需要運用圖像分析、處理以及圖像理解方法這三個層次的多種技術手段,它包括圖像增強、數據編碼和傳輸、平滑、邊緣銳化、分割、特征抽取、圖像識別與理解等內容。經過這些處理后,輸出圖像的質量得到相當程度的改善,既改善了圖像的視覺效果,又便于計算機對圖像進行分析、處理和識別。在建立視覺信息系統,用計算機協助人類完成各種視覺任務方面,圖像理解和視覺都需要用到攝影幾何學、概率論與隨機過程、人工智能等理論。例如,它們都要借助兩類智能活動:① 感知,如感知場景中可見部分的距離、朝向、形狀、運動速度、相互關系等;② 思維,如根據場景結構分析物體的行為,推斷場景的發展變化,決定和規劃主體行動等。最終,完成工業控制的目的。
1.3 輸出顯示或控制
視覺信息處理的目標往往圍繞一定的工業控制進行的,在對距離、尺寸、形狀、姿態、顏色、速度等做出判別后,進而根據判別的結果來控制現場的設備動作。如,姿態調整、零件剔除、速度調節等。實現控制,是機器視覺的根本目標。
2 機器視覺的研究和發展動態
機器視覺的研究、發展和應用還遠沒有達到成熟的程度。機器視覺從誕生到今天才只有短短的三十多年時間,在機器視覺中承擔“大腦”作用的圖像分析處理、圖像理解和模式識別理論和技術基礎還非常不完善[4]。甚至,機器視覺的圖像獲取系統也存在許多局限,比如高速圖像采集實現困難、價格過高,圖像分辨率、靈敏度等不高,敏感元件的制造困難,視覺系統的體積較大,自適應的圖像獲取無法實現等。
本文從這幾個方面介紹機器視覺的最新發展情況:圖像獲取、圖像處理與模式識別理論。
2.1 圖像獲取技術的最新發展
圖像獲取技術的發展迅猛,CCD、CMOS等固體器件已經變成成熟應用的技術。首先來看,線陣圖像敏感器件,像元尺寸不斷減小,陣列像元數量不斷增加,像元電荷傳輸速率得到極大提高。如表1所示,為一種高性能線陣CCD器件的參數[5]。從中可以看到,目前的線陣器件的性能和參數發生了根本的變化,主要表現在像元數和數據率得極大提高,而且器件設計集成了新的功能,具有可編程能力,如增益調整、曝光時間選擇、速率調節,以及維護等。在機器視覺中,高速器件應用的場合在不斷拓展,如高速掃描圖像獲取,在集成電路檢查、零件姿態識別、快速原型中的逆向工程、紡織、色選等,都是高速器件的用武之地。
在線陣器件性能提高的同時,高速面陣圖像器件性能也在快速提高。某種超高速面陣CCD器件,允許的最大分辨率達1 280×1 024像素,最大幀率1MHz時可采集4幀圖像,且像素靈敏度達12bits。
在提高諸如分辨率、速率、靈敏度等性能的同時,也在發展一些用途和使用場合特殊的器件,如對紅外敏感的或微光攝像機,對其他射線和超聲波敏感的器件等。
此外,其他類型的圖像獲取器件的研究也展露頭角,比如,光纖視覺傳感器,結合其他光電技術,以及構成陣列器件已經有報道。
作為圖像獲取裝置的組成部分,嵌入式系統、DSP對圖像獲取起著圖像采集與時序控制的作用。大量的工業圖像處理系統中采用嵌入式系統或DSP,也有部分系統采用工業PC機作為主控機器,完成圖像采集、處理和識別,并完成控制的功能。嵌入式系統或嵌入式微控制器(Embedded MCU)芯片技術發展迅速,主要的工業應用采用8位、16位芯片,高端應用已經采用32位芯片。在高精度的運動檢測和控制領域,32位嵌入式微控制器應用報道也不鮮見。在機器視覺系統中,對嵌入式系統性能的要求比一般的工業控制、機器人控制等場合要高。如,某種32位嵌入式微控制器芯片,內嵌大容量的Flash ROM和SRAM,其主頻達到700MHz,帶豐富的DSP指令系統,高速并行接口、通信接口齊備,提供可視化編程,支持匯編、ANSI C以及Visual C++等語言編程,支持在線仿真和調試等,使得開發應用的周期大大縮短。
2.2 圖像處理、圖像理解與模式識別理論研究及最新發展
前面已經述及,機器視覺是針對工業應用領域。但作為視覺系統,所采用的圖像處理、圖像理解與模式識別的基礎理論和技術是相同的。
數字圖像處理、圖像理解與模式識別,這是當今計算機視覺研究的熱點。這既表明,圖像處理與模式識別在現代信息技術中的重要作用,同時也說明,該研究領域仍然存在大量沒有解決的研究難題。
圖像的增強、圖像的平滑、圖像的數據編碼和傳輸、邊緣銳化、圖像的分割等在不同的研究目標和應用中會采取不同的方法,也在不斷出現新的研究成果,本文不述及。作為機器視覺能否得到應用,關鍵在于圖像的識別。
圖像的模式識別過程實際上可以看作是一個標記過程,即利用識別算法來辨別景物中已分割好的各個物體,給這些物體賦予特定的標記,它是機器視覺系統必須完成的一個任務。什么是模式和模式識別?廣義地說,存在于時間和空間中可觀察的事物,如果可以區別它們是否相同或相似,都可以稱之為模式;狹義地說,模式是通過對具體的個別事物進行觀測所得到的具有時間和空間分布的信息;把模式所屬的類別或同一類中模式的總體稱為模式類(或簡稱為類)。而“模式識別”則是在某些一定量度或觀測基礎上把待識模式劃分到各自的模式類中去[6]。
模式識別的方法,即數據聚類、神經網絡、統計分類和結構(句法)模式識別方法。用于圖像識別的方法主要分為決策理論和結構方法。決策理論方法的基礎是決策函數,利用它對模式向量進行分類識別,是以定時描述(如統計紋理)為基礎的;結構方法的核心是將物體分解成了模式或模式基元,而不同的物體結構有不同的基元串(或稱字符串),通過對未知物體利用給定的模式基元求出編碼邊界,得到字符串,再根據字符串判斷它的屬類。這是一種依賴于符號描述被測物體之間關系的方法。
廣泛應用于統計模式識別中密度估計的方法之一是基于混合密度模型的。根據期望最大(EM)算法得到了這些模型中有效的訓練過程。按照共享核函數可以得出條件密度估計的更一般的模型,類條件密度可以用一些對所有類的條件密度估計產生作用的核函數表示。提出了一個模型,該模型對經典徑向基函數(RBF)網絡進行了修改,其輸出表示類條件密度。與其相反的是獨立混合模型的方法,其中每個類的密度采用獨立混合密度進行估計。提出了一個更一般的模型,共享核函數模型是這個模型的特殊情況。
在20世紀70年代,波蘭學者Pawlak Z和一些波蘭的邏輯學家們一起從事關于信息系統邏輯特性的研究。粗糙集理論就是在這些研究的基礎上產生的。1982年,Pawlak Z發表了經典論文Rough Sets,宣告了粗糙集理論的誕生。此后,粗糙集理論引起了許多科學家、邏輯學家和計算機研究人員的興趣,他們在粗糙集的理論和應用方面作了大量的研究工作。1991年,Pawlak Z的專著和1992年應用專集的出版,對這一段時期理論和實踐工作的成果作了較好的總結,同時促進了粗糙集在各個領域的應用。此后召開的與粗糙集有關的國際會議進一步推動了粗糙集的發展。越來越多的科技人員開始了解并準備從事該領域的研究。目前,粗糙集已成為人工智能領域中一個較新的學術熱點,在模式識別、機器學習、知識獲取、決策分析、過程控制等許多領域得到了廣泛的應用。
參考文獻[7]提出了一種模式識別理論的新模型,它是基于“認識”事物而不是基于“區分”事物為目的。與傳統以“最佳劃分”為目標的統計模式識別相比,它更接近于人類“認識”事物的特性,故稱為“仿生模式識別”。它的數學方法在于研究特征空間中同類樣本的連續性(不能分裂成兩個彼此不鄰接的部分)特性。文中用“仿生模式識別”理論及其“高維空間復雜幾何形體覆蓋神經網絡”識別方法,對地平面剛性目標全方位識別問題作了實驗。對各種形狀相像的動物及車輛模型作全方位8 800次識別,結果正確識別率為99.75%,錯誤識別率與拒識率分別為0與0.25%。
在特征生成上,發展出許多新的技術,包括基于小波、小波包、分形的特征,以及獨立分量分析。其他研究,也都取得了長足的進展,諸如關子支持向量機,變形模板匹配,線性以及非線性分類器的設計,包括貝葉斯分類器、多層感知器,決策樹和RBF網絡,獨立于上下文的分類,包括動態規劃和隱馬爾科夫建模技術。
2.3 機器視覺領域應用的拓展
機器視覺的應用研究,已經拓展到幾乎每個可能的工業領域。最主要的應用行業,為汽車、制藥、電子與電氣、制造、包裝/食品/飲料、醫學等。在現代工業自動化生產中,涉及到各種各樣的檢查、測量和零件識別應用,例如汽車零配件尺寸檢查和自動裝配的完整性檢查、電子裝配線的元件自動定位、飲料瓶蓋的印刷質量檢查、產品包裝上的條碼和字符識別等。這類應用的共同特點是連續大批量生產、對外觀質量的要求非常高。這種帶有高度重復性和智能性的工作,過去是靠人工檢測來完成。人工執行這些工序,在給工廠增加巨大的人工成本和管理成本的同時,仍然不能保證100%的檢驗合格率(即“零缺陷”)。0.1%的缺陷的存在,對企業在市場上的競爭也是極為不利的。有些時候,如微小尺寸的精確快速測量、形狀匹配、顏色辨識等,用人眼根本無法連續穩定地進行。機器視覺的引入,代替傳統的人工檢測方法,避免了人眼的視覺疲勞。由于機器視覺系統可以快速獲取大量信息,而且易于自動處理,也易于同設計信息以及加工控制信息集成,因此,在現代自動化生產過程中,機器視覺系統廣泛地應用于工況監視、成品檢驗和質量控制等領域。機器視覺系統的特點是提高生產的柔性和自動化程度。在一些不適合人工作業的危險工作環境或人工視覺難以滿足要求的場合,常用機器視覺來替代人工視覺;同時在大批量工業生產過程中,用人工視覺檢查產品質量效率低且精度不高,用機器視覺檢測方法可以大大提高生產效率和生產的自動化程度。而且機器視覺易于實現信息集成,是實現計算機集成制造的基礎技術,極大地提高了投放市場的產品質量,提高了生產效率。典型的線徑的在線檢測與控制,如被加工工件的直徑測量、銅線的拉線線徑測量與控制,傳統的接觸式測量方法存在缺陷,人工在線測量是不可能的。采用線陣CCD線徑測量方法,是較早期機器視覺成功應用的例證。機器視覺的特點是自動化、客觀、非接觸和高精度,與一般意義上的圖像處理系統相比,機器視覺強調的是精度和速度,以及工業現場環境下的可靠性。機器視覺極適用于大批量生產過程中的測量、檢查和辨識。線陣CCD在連續、掃描在線測量中的應用非常具有優勢,如面積測量[8],不僅得到的結果準確,而且實時、快捷。再如,零件裝配完整性、裝配尺寸精度、零件加工精度、位置/角度測量、零件識別、特性/字符識別等。在零售業界,POS的終端設備,如條碼識讀機,也是線陣CCD在機器視覺上的典型應用。連續流動流體測量,如,透明管道水的澄清度、異物測量,為自來水、工業污水水質測量與控制,江河污染監測;此外,如在線食用油品油質監測,為保證生產出合格的油品提供保障。
隨著圖像處理和模式識別理論研究的進展,采用二維圖像的機器視覺系統在最近幾年得到了成功應用。如指紋、掌紋、虹膜和人臉等食物特征識別的機器視覺系統,已經在機場、車站安檢、考勤、門禁認證、海關通關等場合使用;在恐怖主義威脅下,不僅對人的識別更加重視,貨物運輸中也逐步考慮使用更加先進的機器視覺系統,如,采用計算機斷層掃描技術的貨物安檢和成分識別研究正在開展。
在醫學診療過程中,病癥的識別離不開機器視覺系統的使用。如,超聲波、CT、磁共振、基于CCD的內窺鏡等裝備,在大、中型醫院已經獲得普遍推廣。
目前,國際上視覺系統的應用方興未艾,國內,機器視覺系統也進入應用的快速發展期,主要的視覺系統采用進口,不同類型的應用,均可以采取購買成熟系統的方法。國內形成產品的視覺系統主要有,用于糧食的色選機、線徑測量系統等。
3 機器視覺系統及典型應用分析
機器視覺系統形式多樣,在不同的場景中應用所采用攝像裝置也是不同的。主要區分為,線陣和面陣兩類。工業視覺大多數使用線陣系統。下面列出部分使用線陣和面陣視覺系統的應用。
3.1 機器視覺的典型應用
(1) 紡織與服裝
? 斷紗檢測;
? 織染檢測;
? 布料、皮革形狀檢測。
(2) 食品與糧食
? 糧食異物檢測、分揀與色選;
? 飲料液位檢測;
? 生產日期、保質期字符識別;
? 灌裝線上空瓶的破損、潔凈檢測。
(3) 特種檢驗
? 纜繩磨損與破損檢測;
? 容器與管道探傷;
? 游樂設施速度檢測;
? 危險裝備的在線狀態檢測。
(4) 包裝
? 外觀完整性檢測;
? 條碼識別;
? 嘜頭、密封性檢測。
(5) 機械制造
? 零部件外形尺寸檢測;
? 裝配完整性檢測;
? 部件的定位與姿態識別;
? 零件、發動機、底盤等編號的同色凹字符識別。
(6) 郵政分揀
? 郵政編碼識別;
? 包裹物品檢測。
(7) 海關與口岸
? 指紋、掌紋、虹膜與人臉識別;
? 貨物識別;
? 安檢危險物品檢測。
此外,機器視覺還廣泛應用于集成電路檢測、航空航天、軍事國防、消防和公路交通等。下面通過一個具體的視覺系統來說明。
3.2 機器視覺在汽車輔助自動駕駛中的應用
在汽車的輔助自動駕駛中,機器視覺系統的典型應用,如圖2所示。機器視覺系統在其中的主要任務在于,完成對車輛前方、車輛后方和兩側,以及車內駕駛員行為等各種視覺信息的獲取和處理,并完成輔助駕駛指令的發出。其中前方車輛和路況信息對安全駕駛起著關鍵作用。汽車輔助自動駕駛,是未來發展智能汽車的前提和基礎。
著重介紹該立體視覺系統,該系統已經完成實驗室研究[9]。示意圖如圖3所示。在車輛前向對稱位置,左右裝置雙目視覺的立體視覺系統。獲取前方的車輛和路況信息,也包括道路標志信息。其基本原理是用兩臺CCD攝像機以不同角度獲取物體圖像,通過空間物點在兩幅圖像中對應像點之間的幾何位置關系來重構該物點的空間三維坐標。根據本車的速度和與前方車輛的相對位置或距離,不斷檢測前方視場范圍內的車輛和環境信息,得到前方車輛的速度、車輛的高寬尺寸,并獲取前方路況其他信息,如道路標志信息,路面障礙物信息等。根據得到的綜合信息,輔助駕駛人員采取安全、有效的操控方式。達到高精度三維定位的一個關鍵前提是特征向量的選取以及高精度立體匹配。
圖2 輔助自動駕駛的路況示意圖
過程如下:首先完成對采集到的圖像進行灰度變換、直方圖增強、平滑濾波等必要的預處理。需要指出的是,由于序列圖像本身含有各種噪聲干擾,且當目標運動速度過快時可能產生圖像的“拉毛”現象,所以需要對圖像進行平滑濾波。應用較多的高斯濾波器雖然能抑制高斯噪聲,但它不能消除任何毛刺現象。考慮這種情況,系統采用了快速中值濾波(FM)算法。它的思想是,把數字圖像中一個像素點的灰度值,用該點鄰域中各點的中值替代,其中每次窗口沿著行平移一列后進行排序時,實際窗口內容變化的只是丟棄了最左側的列取而代之的是一個新的右側列,而其余的窗口下的像素值沒有改變。該算法是一種很好的非線性濾波方法,可極大減小運算量,能消除脈沖干擾造成的孤立噪聲,以及疊加白噪聲和長尾疊加噪聲,并可克服線性濾波器濾波結果中細節模糊的問題,能較好地保護邊界信息。經過預處理后的圖像序列成為可供計算機分析處理的圖像。
圖3 輔助自動駕駛的立體視覺系統示意圖
接下來是圖像分割。主要實現運動區域、前方各種目標信息的檢測。圖像采集是在自然條件下進行的,考慮圖像采集時間間隔短且總的采集時間不長,因此可以忽略視場內光線、背景等變化因素的干擾。實際工作中對于精確性和實時性的要求,采用了計算量小并且檢測結果不受運動目標速度限制的差影法來進行運動檢測,再利用迭代求得最佳灰度閾值對結果幀分割并二值化。
分割后的圖像仍有可能含有少量的背景噪聲干擾,進一步用形態學方法對其進行去噪。采用的結構元素是3×3的中心對稱結構。經過先閉后開(經實驗驗證:這比先開后閉得到的圖像目標連通區域更光滑)的運算后的圖像中基本上只留下完整的運動目標。
還需要通過提取適當的特征向量以及立體匹配來實目標的精確定位。主要步驟如下:
特征提取和目標分類,先采用串行邊界分割技術對圖像中所有連通器區域進行邊界跟蹤運算,再求出各個連通區域的外接矩形和灰度面積等參數。對于多個運動目標的檢測,可在求外接矩形的過程中,根據實際目標的形狀大小、外接矩形尺寸和灰度面積進行匹配,以區分不同物體;
立體匹配是立體視覺中最重要,也是最困難的步驟,是個不適定問題。當空間三維場景被投影為二維圖像時,同一景物在不同視點下的圖像中會有很大的不同。為了求解對應,人們通過增加適當的約束條件(如外極線約束、一致性約束、唯一性約束、連續性約束等)來減少誤匹配。本系統,在外極線約束的條件下再給出兩個約束:
? 方向性約束 由立體成像的幾何特性知,對于場景中的同一空間物體點,其在左圖像中的透視投影將相對于右圖像水平方向移動距離d。基于該特性,在尋求左(右)圖像中各特征點在右(左)圖像中的對應點時,只需在右(左)圖像中其對應的外極線上,向左(右)一定范圍內搜索。而由于攝像機位置及其方向的測量誤差和不確定性,匹配點可能不會準確地出現在右(左)圖像平面中的外極線上,因此有必要在外極線的一個小鄰域內進行搜索。
? 視差范圍約束 在運動檢測之前的攝像機現場標定環節中,利用每個標定點在左右圖像中形成的視差,可以得到一個大致的視差范圍,從而給出一個視差范圍約束。倘若特征點的視差超出這一范圍,就認為是誤匹配加以舍去。
有了以上幾個附加約束,就可以把每一時刻物體在左右攝像機中的信息綜合起來,圖像中對應的一小段極線附近搜索匹配點,而不是在整個對應圖像上搜索。這樣可以有效避免誤匹配,縮短匹配時間。
4 結語
機器視覺是圖像技術、模式識別技術,以及計算機技術發展的新的產物,是實現智能化、自動化、信息化的先進技術領域。機器視覺系統的應用,大大提高裝備的智能化、自動化誰拼,提高裝備的使用效率、可靠性等性能。隨著新的技術、新的理論在機器視覺系統中的應用,機器視覺將在國民經濟的各個領域發揮更大的作用,一方面可以帶來新的產業增長點,向市場推廣滿足各種需求的機器視覺系統產品,產生直接的經濟效益;另一方面,通過機器視覺系統的應用,更加有效地發揮自動化裝備的效能,提升自動化生產水平,提高產品質量,帶動整個產業的生產效率大幅提高。
參考文獻:
[1] David A. Forsyth, Jean Ponce. Computer Vision[M]. Prentice Hall, Inc.,2003.
[2] 劉艾, 馬偉方, 施文康. 基于聲表面波傳感的無線標簽識別系統[J]. 上海交通大學學報,2001,35(5).
[3] 王慶有. CCD應用技術[M].天津大學出版社, 2000,11.
[4] 章毓晉. 圖像理解與計算機視覺[M] 清華大學出版社,2000.
[5] 顏發根,丁少華,陳樂,劉建群. 基于PC的機器視覺系統[J]. PLC& FA,2004,7.
[6] 邊肇其,張學工. 模式識別[M]. 清華大學出版社,1999.
[7] 王守覺. 仿生模式識別(拓撲模式識別)―一種模式識別新模型的理論與應用[J]. 電子學報,2002,30(10).
[8] 關勝曉. 不規則形體面積的CCD測量研究[J]. 儀表技術與傳感器,1998(11).