国产欧美日韩精品a在线观看-国产欧美日韩精品一区二区三区-国产欧美日韩精品综合-国产欧美中文字幕-一区二区三区精品国产-一区二区三区精品国产欧美

章毓晉
男，教授，博士生導師。主要科學研究領域為其積極倡導的圖像工程（圖像處理、圖像分析、圖像理解及其技術應用）和相關學科。已在國內外發表了300余篇圖像工程研究論文，出版了專著《圖象分割》和《基于內容的視覺信息檢索》，編著了《英漢圖像工程辭典》，主編出版了 "Advances in Image and Video Segmentation" 和 "Semantic-Based Visual Information Retrieval"。

摘要：本文對與機器視覺和圖像技術相關的一些名詞給出了簡潔概括的定義，對機器視覺中主要涉及的圖像技術的原理進行了介紹，并給出了一些圖像技術應用的實例和結果。

關鍵詞：機器視覺；圖像工程；圖像出來；圖像分析；圖像理解；圖像技術

Abstract: This paper provides the brief and general definitions of some terms related to 
machine vision and image techniques. It also gives some specified introductions for the 
principles of image techniques used in machine vision and shows some real examples and 
results for the applications of these image techniques.

Key words: Machine Vision; Image Engineering; Image Processing; Image Analysis; Image
 Understanding; Image Techniques

    機器視覺與圖像技術各有特點并有密切的聯系。本文擬對此給予概括的介紹和討論。

1 名詞和定義

    先給出一些與機器視覺和圖像技術相關名詞的定義[1]。

    視覺  物體的影像刺激視網膜所產生的感覺和在大腦皮層所得到的知覺。人類了解世界的一種重要功能。視覺包括“視”和“覺”兩個步驟，所以視覺可進一步分為視感覺和視知覺。

    視感覺  視覺的低層次。它主要接收外部刺激，從外界獲得信息。視感覺主要是從分子微觀層次來理解人們對光（可見輻射）反應的基本性質（如亮度、顏色）。對視感覺的主要研究內容有：⑴光的物理特性。如光量子、光波、光譜；⑵光刺激視覺感受器官的程度。如光度學、眼睛構造、視覺適應、視覺的強度和靈敏度、視覺的時間特性以及視覺的空間特性；⑶光作用于視網膜后經視覺系統加工而產生的感覺。如明亮程度、色調。

    視知覺  視覺的高層次。它將外部刺激轉化為有意義的內容。視知覺主要論述人們從客觀世界接受視覺刺激后如何反應及反應所采用的方式，研究如何通過視覺形成人們關于外在世界空間的表象，所以兼有心理因素。視知覺是在神經中樞進行的一組活動，它把視野中一些分散的刺激加以組織，構成具有一定形狀的整體以表達和認識世界。視知覺又可分成亮度知覺、顏色知覺、形狀知覺、空間知覺、運動知覺等。

    機器視覺  使用電子設備和光學感知技術，自動獲取和解釋場景的圖像，以控制機器的過程。在很多情況下也看作計算機視覺的同義詞。但計算機視覺更側重對場景分析和對圖像解釋的理論和算法，而機器視覺或機器人視覺則更關注圖像的獲取、系統的構造和算法的實現。

    計算機視覺  利用計算機來實現人類視覺系統功能的一門學科。其中實際上用到圖像工程三個層次的許多技術，但目前的研究內容主要與圖像理解相對應。

    機器人視覺  針對機器人的機器視覺。機器人視覺的研究目標是構建使機器人具有視覺感知功能的系統，該系統通過視覺傳感器獲取環境的圖像，并通過視覺處理器進行分析和解釋，從而讓機器人能夠檢測和辨識物體，完成特定的工作。

    圖像  一種直接或間接作用于人眼并進而產生視知覺的實體，即客觀存在的事物。它可以是用各種觀測系統以不同形式和手段觀測客觀世界而獲得的（一般圖像是客觀場景的投影）。人的視覺系統就是一個典型的觀測系統，通過它得到的圖像就是客觀景物在人心目中形成的影像。

    圖像是客觀景物的表達，包含了景物的描述信息。科學研究和統計表明，人類從外界獲得的信息約有75%來自視覺系統，也就是從圖像中獲得的。這里圖像的概念比較廣，包括照片、繪圖、動畫、視像，甚至文檔等。中國有句古話，“百聞不如一見”。人們常說，“一圖值千字”。它們都說明圖像中所含的信息內容非常豐富，而事實上圖像也確實帶有大量的信息，是人類最主要的信息源。

    圖像技術  廣義上各種與圖像有關技術的總稱。這包括利用計算機和其他電子設備進行和完成一系列工作的技術。例如，圖像的采集、獲取、編碼、存儲和傳輸，圖像的合成和產生，圖像的顯示和輸出，圖像的變換、增強、恢復（復原）和重建，圖像水印的嵌入和提取，圖像的分割，目標的檢測、跟蹤、表達和描述，目標特征的提取和測量，圖像和目標特性的分析，序列圖像的校正配準，3-D景物的重建復原，圖像數據庫的建立、索引和檢索，圖像的分類、表示和識別，圖像模型的建立和匹配，圖像、場景的解釋和理解，以及基于它們的判斷決策和行為規劃等。另外，圖像技術還可包括為完成上述功能而進行的硬件設計及制作等方面的技術。

    圖像工程  對整個圖像領域進行研究及對圖像技術進行應用的新學科。它是一個將數學、光學等基礎科學的原理，結合圖像應用中積累的經驗，從而發展起來的包含各種圖像技術的整體框架。圖像工程的內容非常豐富，覆蓋面也很廣，根據抽象程度和研究方法等的不同可分為三個層次(如圖1所示)：⑴圖像處理；⑵圖像分析；⑶圖像理解。換句話說，圖像工程是既有聯系又有區別的圖像處理、圖像分析及圖像理解三者的有機結合，另外還包括對它們的工程應用。圖1給出圖像工程三個層次的關系和主要特點。

 

                                         圖1   圖像工程3層次示意圖

2 相關圖像技術介紹

    圖像工程學科所研究和應用的圖像技術非常多[2]。根據近年對圖像工程文獻的統計分類[3]，目前主要研究的有圖像處理，圖像分析和圖像理解三大類中的14小類圖像技術，見表1。

                               表1   圖像工程中圖像技術文獻分類表

 

    在機器視覺的研究和開發應用中，有許多圖像技術起到重要的作用或得到廣泛的應用。它們大部處于上述14類中的9類，即圖像處理中的A1，A3；圖像分析中的B1，B2，B3，B4，B5；圖像理解中的C1，C4。下面對其中6類（即圖像處理中的A1，A3；圖像分析中的B1，B2，B3；圖像理解中的C1的原理給予簡單介紹（另3類則在下一節結合實例給予介紹）。

2.1 圖像采集

    圖像采集指從客觀場景獲取圖像的技術和過程。前面定義中已提到，圖像可用函數 f(x, y)來表示。由此可見圖像的采集涉及到兩方面的技術內容，或者說與兩門學科相關：⑴幾何學，從圖像中的什么地方可找到場景中目標的投影位置(x, y)；⑵輻射度學，圖像中的目標有多“亮”，這確定了在(x, y)處的 f。

    由于需要用計算機對采集到的圖像進行加工，所以需要把直接采集到的模式圖像轉換為數字圖像。這又涉及到兩個工作：⑴空間坐標的離散化，即空間采樣；⑵幅度的離散化，即幅度量化。常用的圖像采集設備都具有兩個功能：⑴接受輻射；⑵模數轉換。

    圖2給出用常見的CCD（也可用CMOS或CID）攝像機進行灰度圖采集的流程。由圖2可見，光源照射到物體上反射到攝像機中；攝像機的CCD陣列中感光單元的個數和分布確定了所采集圖像的空間分辨率；感光單元接受到的光被轉換為電信號，將電信號的幅度量化，量化的級數確定了最好采集到的圖像的幅度分辨率。

 

                                           圖2   灰度圖采集過程

2.2 圖像變換、濾波、增強、恢復/復原、校正等

    圖像變換既可以指在圖像空間將像素從一個位置映射到另一個位置，也可以指將圖像以某種形式從一個表達空間轉換到另一個表達空間。前者比較常見的是坐標變換，包括平移變換，旋轉變換，放縮變換，拉伸變換，和剪切變換。它們的各一個示例見圖3。后者是有效和快速地對圖像進行處理的一種手段。具體是將圖像轉換到新的空間后，利用新空間的特有性質方便地對圖像進行處理，再將處理結果轉換回原空間以得到所需的效果。常用的變換包括傅里葉變換，蓋伯變換，小波變換等。

 

                                            圖3   坐標變換示意圖

    圖像濾波原指將圖像傅里葉變換到頻域后進行加工的手段，后來人們將直接在圖像域進行的類似加工也用濾波來描述。更廣義地說，利用像素本身以及其鄰域像素的灰度關系進行加工的方法都可稱為濾波，所以在蓋伯變換域和小波變換域的許多圖像加工也稱為圖像濾波。圖像濾波可用以對圖像進行增強或恢復。圖像增強技術作為一大類基本的圖像處理技術，其目的是對圖像進行加工，以得到對具體應用來說視覺效果更“好”、更“有用”的圖像。圖像恢復與圖像增強有密切的聯系。圖像恢復與圖像增強相同之處是，它們都要得到在某種意義上改進的圖像，或者說都希望要改進輸入圖像的視覺質量。圖像恢復與圖像增強不同之處是，圖像增強技術一般要借助人的視覺系統的特性以取得看起來較好的視覺結果，而圖像恢復則認為圖像（質量）是在某種情況/條件下退化或惡化了（圖像品質下降了、失真了），現在需要根據相應的退化模型和知識重建或恢復原始的圖像。換句話說，圖像恢復技術是要將圖像退化的過程模型化，并據此采取相反的過程以得到原始的圖像。由此可見，圖像恢復要根據一定的圖像退化模型來進行。

2.3 圖像分割

    圖像分割是由圖像處理進到圖像分析的關鍵步驟，也是一種基本的計算機視覺技術。在對圖像的研究和應用中，人們往往僅對各幅圖像中的某些部分感興趣。這些部分常稱為目標或前景（其他部分稱為背景），它們一般對應圖像中特定的、具有獨特性質的區域。為了辨識和分析目標，需要將這些有關區域分離提取出來。圖像分割就是指把圖像分成各具特性的區域并提取出感興趣目標的技術和過程。這里特性可以是灰度、顏色、紋理等，目標可以對應單個區域，也可以對應多個區域。

    圖像分割多年來一直得到人們的高度重視。至今已提出了上千種各種類型的分割算法。對這些算法可考慮兩個因素來進行分類。一是考慮對圖像分割所可借助的像素灰度值的性質：不連續性和相似性。由于區域內部的像素一般具有灰度相似性，而在區域之間的邊界上一般具有灰度不連續性。所以分割技術可據此分為利用區域間灰度不連續性的基于邊界的技術和利用區域內灰度相似性的基于區域的技術。二是考慮分割過程中不同的處理策略，即并行策略和串行策略，可將分割技術分為并行技術和串行技術。在并行技術中，所有判斷和決定都可獨立地和同時地做出，而在串行技術中，早期處理的結果可被其后的處理過程所利用。對圖像分割較全面和深入的討論可參見專門書籍[4]。圖像分割最新的一些進展可見[5]。

2.4 目標表達、描述、測量

    通過圖像分割可獲得圖像中感興趣的區域，即目標。為有效地刻畫目標，需要對它們采取合適的數據結構進行表達，采用恰當的形式描述它們的特性，并從目標獲得一些定量的數值以進行分析。這些工作是圖像分析的重要步驟。

    一般對目標常用不同于原始圖像的合適表達形式來表示。好的表達方法應具有節省儲存空間、易于特征計算等優點。與分割類似，圖像中的區域可用其內部（如組成區域的像素集合）表示，也可用其外部（如組成區域邊界的像素集合）表示。一般來說，如果比較關心的是區域的反射性質，如灰度、顏色、紋理等，常選用內部表達法；如果比較關心的是區域的形狀等則常選用外部表達法。

    選定了表達方法，還需要對目標進行描述，使計算機能充分利用所獲得的分割結果。表達是直接具體地表示目標，描述是較抽象地表示目標特性。好的描述應在盡可能區別不同目標的基礎上對目標的尺度、平移、旋轉等不敏感，這樣的描述比較通用。描述也可分為對邊界的描述和對區域的描述。除此之外，邊界和邊界或區域和區域之間的關系也常需要進行描述。

    圖像分析的目的是獲得場景中景物的數據，所以在目標表達和描述的基礎上要對目標及特征進行測量。對目標特征的測量從根本上來說是要從數字化的數據中精確地估計出產生這些數據的模擬量的性質，因為這是一個估計過程，所以誤差是不可避免的。實際數據和測量數據產生差異而導致的測量誤差的來源很多，包括：⑴圖像采集過程中各種因素的影響，又可分為空間采樣和灰度量化的影響以及光學鏡頭分辨率的影響；⑵不同的圖像處理和分析手段（例如目標分割）；⑶不同的測量方法和計算公式；⑷圖像處理和分析過程中噪聲等干擾的影響。

2.5 目標顏色、形狀、紋理、空間和運動等的分析

    目標特征有很多種，常可劃分為顏色特征，紋理特征，形狀特征，空間特征和運動特征等。下面對紋理，形狀和運動的分析給予簡單介紹。

    紋理是物體表面的固有特征之一，因而也是圖像區域一種重要的屬性。對紋理的分析（包括對紋理特點進行刻畫，表示紋理數據，辨認紋理模式）是圖像分析的一個重要分支，其中對紋理表達和描述方法主要有3類：統計法、結構法、頻譜法。

    在統計法中，紋理被看作一種對區域中密度分布的定量測量結果。統計模型是利用對圖像灰度的分布和關系的統計規則來描述紋理。它比較適合描述自然紋理，常可提供紋理的平滑、稀疏、規則等性質。統計法的目標是估計隨機過程的參數，如分形布朗運動或馬爾可夫隨機場。

    在結構法中，紋理被看作是一組紋理基元以某種規則的或重復的關系結合的結果。這種方法試圖根據一些描述幾何關系的放置/排列規則來描述紋理基元。利用結構法常可獲得一些與視覺感受相關的紋理特征，如粗細度(coarseness)、對比度(contrast)、方向性(directionality)、線狀性(line-likeness)、規則性(regularity)、粗糙度或凹凸性(roughness)等。

    頻譜法一般利用傅里葉頻譜（通過傅里葉變換獲得）的分布，特別是頻譜中的高能量窄脈沖來描述紋理中的全局周期性質。近年許多其他頻譜方法，如貝塞爾-傅里葉頻譜，蓋伯頻譜也得到了較多的應用。

    形狀分析是圖像分析的一個重要分支，其重點是刻畫圖像中目標的各種形狀特性。形狀描述符在形狀分析起重要的作用。一方面，一個形狀性質可用基于不同的理論技術的描述符來描述；另一方面，借助同一種理論技術也可以獲得不同的描述符以刻畫目標形狀的不同性質。對形狀的描述也是對形狀分類的基礎，例如在為確定形狀相似性而進行的匹配中，匹配的常是形狀描述符。

    對形狀的描述常采用三類方法：特征的方法（用特征描述形狀特性）；形狀變換的方法（借助從一種形狀轉換為另一種形狀的參數模型）；基于關系的方法（將復雜形狀分解成簡單基元，既描述基元性質也描述基元關系）。

    運動分析近年隨著視頻的大量采集和應用而得到廣泛重視。連續采集的視頻圖像序列能反映場景中目標的運動和場景的變化，從而提供了更多的信息。運動分析的研究目的和工作內容可包括：

    對運動的檢測，即檢測場景中是否有運動。這種情況一般僅使用單個固定的攝像機就可以了。一個典型的例子是安全監視，任何導致圖像發生變化的因素都考慮在內。由于光照的變化常比較緩慢而運動物體的變化常比較迅速，所以可進一步區分開。

    對運動目標的檢測和定位，即檢測場景中是否有運動目標，它當前在什么位置，進一步還可包括確定運動目標的軌跡，并預測它下一步的運動方向和趨勢以及將來的運動軌跡。這種情況一般也僅使用單個固定的攝像機。根據檢測目的不同可采用不同的技術。如果僅需確定運動目標的位置，可借助運動信息對運動目標進行初步分割。如果還需確定運動目標的運動方向、趨勢和軌跡，則常采用目標匹配技術。

    對運動目標的分割和分析，即檢測目標運動的情況、獲得目標的特征、提取運動參數、分析景物運動規律、確定運動類型等。在此基礎上，可進一步識別運動物體。這種情況有時需使用運動的攝像機。

    對立體景物的重建和對行動/場景的理解，這需要通過目標運動信息進一步獲取立體景物的深度、確定其表面朝向以及遮蓋情況等。另一方面，綜合運動信息和其他圖像中的信息，可以進行運動因果關系的識別，如果進一步借助場景知識，還可對場景給出解釋。這種情況常使用兩個或多個靜止或運動的攝像機。

2.6 圖像配準、匹配、融合、鑲嵌等

    圖像匹配是圖像理解中的一項重要技術。一方面，它可將同一場景的不同圖像結合起來提供更全面的場景信息；另一方面，它可將事先未知的視覺輸入與先前已有的認知結果聯系起來，從而用已知解釋未知并最終建立對輸入的解釋。圖像匹配可在不同的抽象層次進行。在像素層可利用模板匹配，在特征層可利用感知匹配，而在目標層可利用語義匹配。

    圖像配準與圖像匹配密切相關。配準的含義一般比較窄，主要指將在不同時間或空間獲得的圖像建立對應，特別是幾何方面的對應（幾何校正），最后要獲得的效果常體現在像素層次。匹配則既可考慮圖像的幾何性質也可考慮圖像的灰度性質，甚至圖像的其他抽象性質和屬性。從這點來說，配準可以看作是對比較低層表達的匹配。

    圖像融合是近年得到廣泛研究和應用的圖像技術，它通過對由不同傳感器獲取的數據進行綜合處理和分析，并進行協調、優化、整合，從而提取更多的信息或獲得新的有效的信息，并增加決策的可信度和系統的可靠性。當對多幅圖像進行融合時，常需先對各幅參與融合的圖像進行配準。圖像融合對配準精度有較高的要求，如果空間誤差超過一個像素，則融合結果會出現重影，嚴重影響融合圖像的質量。

    一般將對多傳感器圖像的融合方式從層次上由低到高分為三級，即像素級（pixel based）融合、特征級（feature based）融合和決策級（decision based）融合。像素級融合是在底層的數據層進行的融合，指對圖像傳感器原始采集來的物理信號數據（兩幅或多幅圖像）進行處理和分析，生成目標特征而獲得單一融合圖像。特征級融合是一種在中間層次進行的融合，它需要對原始圖像提取特征，獲得景物信息（如目標的邊緣、輪廓、形狀、表面朝向和相互間距離等）并進行綜合，以得到置信度更高的判斷結果。決策級融合是在最高層次上進行的融合，它能根據一定的準則以及每個決策的可信度直接做出最優決策。

3 相關圖像技術示例

    下面對圖像分析中的B1，B2和圖像理解中的C1共3類技術結合幾個具體實例介紹如下：

3.1 目標檢測、提取、跟蹤、識別和分類

    對場景中目標的檢測和跟蹤有重要的意義。例如，圖4給出兩幅乒乓球比賽的場景，圖(a)用長方框框出了運動員的位置（這是對運動員檢測的結果）而圖(b)用白線標出了乒乓球運動的軌跡（這是對乒乓球在兩次擊球之間的運動進行跟蹤的結果）。根據這些結果，教練員和運動員可進行動作和戰術的分析，而電視臺也可查詢精彩鏡頭。

               

                              (a)                                        (b)

                                        圖4   目標檢測和跟蹤示例圖

3.2 人臉和器官的檢測、定位與識別

    近年對人臉的定位和識別得到了廣泛的應用。圖5給出對兩幅人臉和器官的定位示例圖。圖5(a)顯示了一幅從場景中定位出人臉的圖像。圖5(b)顯示了四幅在人眼眨動過程中跟蹤虹膜區域和眼簾區域得到的結果。根據人臉定位的結果可繼續進行人臉的識別，而根據對虹膜和眼簾的跟蹤結果可幫助對人的表情變化做出判斷。

               

                              (a)                                          (b)

                                       圖5   人臉和器官的定位示例圖

    圖6給出表情分類中的三幅示例圖。圖6(a)中人眼睜開但嘴巴基本閉合，圖6(b)中人眼睜開且嘴巴也張開，圖6(c)中人眼閉合但嘴巴仍然張開。考慮到人眼和嘴巴的變化和狀態，可以判斷出這是一個人的表情為高興的序列。

                           

                     (a)                      (b)                    (b)

                                     圖6   表情分類示例圖

3.3 基于內容的圖像和視頻檢索

    基于內容的圖像和視頻檢索是在數據快速增長、信息急劇膨脹情況下為滿足人們快速提取有用視覺信息的需求而逐步受到重視的一個研究熱點。早期的研究主要是根據圖像（視頻）的視覺特征（包括顏色、紋理、形狀、空間關系以及運動信息等）來進行，即通過提取當前查詢圖像的特定視覺特征并與數據庫中圖像已獲取的視覺特征進行匹配來提取與查詢圖像具有相似性的圖像[6]。

    圖7給出用形狀特征進行查詢檢索的一組示例圖。考慮有一個包括上衣、T-shirt、裙子、褲子等的服裝圖像庫，需要迅速找到其中的T-shirt。用戶畫了一個如圖7(a)所示的T-shirt草圖，用它作為查詢圖，就可借助基于形狀特征的方法獲得如圖7(b)、(c)、(d)、(e)和(f)這樣一些圖片。
 

                                  (a)               (b)               (c)
 

                                  (d)               (e)               (f)

                                       圖7   利用形狀特征查詢的示例

    經過10多年的研究，基于內容的圖像和視頻檢索已取得長足的進步。近期該領域的研究主要集中在基于語義的圖像和視頻檢索方面，具體的研究涉及如何跨越視覺特征和語義描述間的鴻溝，圖像和視頻的自動標注，人機交互反饋以結合高層知識，語義檢索的模型和工具，以及針對具體應用的技術[7]。

    圖8給出一組對圖像進行自動標注的結果示例圖。這里對每幅圖片用了四個詞來標注，這些詞均來自訓練中所構建的視覺關鍵詞辭典。由圖8可見，這些標注詞中有些可以揭示圖片的拍攝季節，有些能夠反映圖片拍攝的場所，有些則列出了圖片中重要的景物。借助這些標注，用戶有可能在較高的語義層次對圖片進行查詢和檢索。

                               

                                白天，戶外                 云彩，山脈

                                樹木，房屋                 森林，湖泊

                               

                                夏天，白天                  秋天，森林                 

                                海岸，沙灘                  樹木，樹葉

                                          圖8   圖像標注示例

4 結語和展望

    前面對機器視覺中有廣泛應用的9類圖像技術進行了介紹。根據對2007年相關技術的研究文獻的統計[3]，表1中的14圖像類技術共包含了662篇文獻，平均47篇/小類，而相關的9類圖像技術共包含了472篇文獻，平均52篇/小類。由此可見，在機器視覺中有廣泛應用的9類圖像技術也是得到較多重視和研究的圖像技術。

    事實上，圖像技術有很多優點。例如，圖像技術具有形象直觀和方便靈活（類型廣泛，可進行局部處理）的特點，它能以非接觸和無損的方式對產品進行質量檢測。圖像采集實時快速，圖像系統精度高，重復性強，工作不會疲勞。所以圖像技術有望在包括機器視覺的各個領域得到越來越多的應用。

    最后需要指出，機器視覺與圖像技術有密切的聯系，它們的覆蓋面在一定程度上也有所重合。雖然人們常把它們當作不同的學科，但事實上它們在概念上或實用中并沒有絕然的界限。根據對它們目前的研究和應用來看，它們在許多場合和情況下可以看作是專業和背景不同的人習慣使用的不同術語更為恰當，而且它們雖各有側重但常常是互為補充的。



參考文獻

[1] 章毓晉. 英漢圖像工程辭典[M]. 北京：清華大學出版社，2009.

[2] 章毓晉. 圖像工程，第2版（合訂本）[M]. 北京：清華大學出版社，2007.

[3] 章毓晉. 中國圖像工程：2007[M]. 中國圖象圖形學報，2008，13(5)：825-852.

[4] 章毓晉. 圖象分割[M]. 北京：科學出版社，2001.

[5] Zhang Y-J (ed.). Advances in Image and Video Segmentation[M]. USA: IRM Press. 2006.

[6] 章毓晉. 基于內容的視覺信息檢索[M]. 北京：科學出版社，2003. 

[7] Zhang Y-J (ed.). Semantic-Based Visual Information Retrieval[M]. USA: IRM Press. 2007.