国产欧美日韩精品a在线观看-国产欧美日韩精品一区二区三区-国产欧美日韩精品综合-国产欧美中文字幕-一区二区三区精品国产-一区二区三区精品国产欧美

1  引言

    近年來隨著Internet和多媒體技術的發展，圖像已成為一種重要的信息資源。各種數字圖像中包含了大量有用的信息，然而由于它們無序的分布在世界各地，圖像中所包含的信息無法被有效的訪問和使用。這就要求有一種能夠迅速而準確查找和訪問用戶所需要的圖像信息的技術，即圖象檢索技術。

    20世紀70年代以來，圖像檢索技術已逐步成為一個非常活躍的領域，其推動力主要來源于數據庫系統和計算機視覺這兩大研究領域。圖像的索引和檢索目前有多種方法，總得來看分為兩種，一種是傳統的基于文本的圖像檢索方法，另一種是近年來已逐漸成為國內外研究熱點的―基于內容的圖像檢索方法。

   傳統的基于文本的圖像檢索方法利用自然語言的優勢，將圖像作為數據庫中存儲的對象，用關鍵字或自由文本對其進行描述。檢索以查詢和圖像文本描述之間的相似性為基礎，采用常規的信息檢索技術（IR）。但是這種技術存在以下缺點：一是在基于這種技術的系統中，必須輸入文本描述或使用現有的標題，目前的計算機視覺和人工智能技術都無法對圖像自動進行文本標注，而必須依賴人工對圖像作出標注；二是文本描述可能不完備，或者主觀，不同的人對同一幅圖像有不同的理解方法，這種主觀理解的差異將導致圖像檢索中的失配，此外，圖像中所包含的豐富的視覺特征（顏色、紋理或形狀等）往往無法用文本進行客觀地描述。

    基于內容的圖像檢索系統（Content Based Image Retrivel，簡稱為CBIR）融合了圖像理解、模式識別、計算機視覺等技術，將圖像的視覺特征作為特征向量進行提取，然后將示例圖像的特征向量與系統中存儲圖片的特征向量進行相似度比較，按相似度大小排列返回給用戶。與傳統基于文本的圖像檢索系統相比，CBIR從更深層次對圖像媒體進行理解和控制，索引和檢索過程可以自動完成而且易于實現，還可以通過可視化界面與用戶進行交互，便于方便的構造查詢、評估和改進檢索結果。實踐已證明該方法能夠產生相當好的檢索性能。

2  系統總體模型

基于內容特征的圖像檢索系統涉及到圖像處理、圖象識別、數據庫三個領域的技術，主要包括：接口技術，即查詢者與系統之間的交互方式，查詢者以何種方式提出查詢的內容，系統如何解釋接受，對系統給出的結果，查詢者如何給出正確的反饋，進行再次查詢；匹配技術，即圖像相似性的度量準則；數據庫技術，包括圖像存儲的技術，圖像的高維索引技術。

基于內容的圖像檢索系統一般由兩個系統構成，即數據庫生成子系統和數據查詢子系統，每個子系統由相應的功能模塊組成，其基本結構如圖1 所示。

圖1  CBIR系統構成

3  系統關鍵技術

3.1  特征向量的提取以及相似度計算

    基于內容的圖像檢索系統中最關鍵的技術是特征向量的提取以及相似度計算，選擇提取何種特征作向量和相應的相似度算法對最終檢索系統的效率有著極其重要的影響。就目前情況來看，特征向量的提取以及相應的相似度算法主要有以下三種情況。

    (1)  基于顏色特征的檢索

    顏色特征是圖像檢索中所使用的最直觀的視覺特征，是彩色圖像最顯著的特征，它對圖像本身的尺寸、方向、視角的依賴性較小，具有較高的穩健性。因此基于顏色的圖象檢索技術是基于內容的圖像檢索技術最常用最基本的方法。
Swainhe和Ballard[1]于1991年提出用顏色直方圖作為圖象索引，顏色直方圖在基于內容的圖像檢索系統中得到廣泛關注。其主要思想是：首先計算出用戶所給的示例圖像的顏色直方圖，然后與圖像特征矢量數據庫中存儲的直方圖進行相似度計算，最后按相似度的大小排列返回檢索結果，相似度最大的為最為匹配的圖像。直方圖描述了圖像顏色（灰度）空間的統計分布和基本色調。具體地說，對于一幅圖像I，其顏色（灰度）由L級(C1,C2……Cl)組成，Ci為第i級顏色值。在整幅途中，具有Ci值的像素個數有hi個，則一組像素的統計值h1,h2,……hl就稱為該圖像的顏色直方圖，用H（h1,h2,……hl）表示。關于直方圖的距離量度有絕對值距離（L1度量法）、二次距離度量法、歐幾里德距離等方法。其中絕對值距離絕對值距離（L1度量法）形式如下：

   

    其中，H為示例圖像的顏色直方圖，I為索引庫中的圖像顏色直方圖，和分別為示例圖像和庫中圖像第i種顏色像素的頻數。

    顏色直方圖雖然能較好的反映出圖像中各種顏色的頻率分布情況，但忽略了顏色的空間分布信息，使得不同的圖像可能具有相同的顏色特征。Pass等人提出圖像的顏色聚合矢量CCV(Color Coherence Vector) [2] 來作為圖像索引，是圖像直方圖的一種演變。其核心思想是將圖像中在感知上相似顏色的像素所占據的連續區域的面積大于系統所給定的閥值時，該區域中的像素為聚合像素，否則為不聚合像素，這樣統計圖像所包含的每種顏色的聚合像素和不聚合像素的比率稱為該圖像的顏色聚合矢量。將顏色聚合矢量作為特征向量提取的檢索方法比直方圖的檢索精度要高。 為了能夠在大規模圖像數據集中進行快速地搜索，Smith和Chang等人提出了顏色集的概念。

    研究者對顏色作為特征向量的索引方法已經有了很多的研究，目前存在的主要問題是顏色空間的選擇不統一。有人使用RGB顏色空間，因為它記錄了圖像本質的顏色特性。但更多的人選擇了HSV、MUSHELL顏色模型,它們與人的視覺特性比較接近，這樣就給對各種檢索方法進行評價帶來一定困難。顏色特征僅僅是基于內容檢索技術中的一個種方法，在實際應用中可與其它檢索方法結合，可取得更佳效果。

    (2)  基于紋理特征的檢索

    紋理特征是一個重要的圖像特征，它是物體表面具有的內在特征，包含了關于表面結構安排及周圍環境的關系，被定義為“一種反映一個區域中像素灰度級的空間分布的屬性”。

    目前基于紋理的算法主要分兩類：一種是結構分析法，即從圖像結構組成上探索紋理的規律或者直接去探求紋理構成的結構規律；一種是統計分析法，即從圖像有關屬性的統計分析出發的。前者將圖像中非常具有結構規律的特征加以分析，后者對圖像中的色彩強度的空間分布信息進行統計。現在比較常用的是后者。Haralick等人從數學角度研究了圖像紋理中灰度級的空間依賴關系，根據圖像中像素之間的方位和距離關系構造了一個共生矩陣（comatrix）[3]，然后從中提取有意義的統計特征作為紋理特征的表達，使用的特征主要有能量、熵、相關性和慣量，該方法的最大缺點是這些統計特征沒有和人在視覺對紋理特征鑒別之間建立對應關系。

    Tamura等人在對計算機視覺進行研究的基礎上，進行了大規模的心理測試，使紋理描述盡可能地接近人的感知，由此提出了到目前為止最好的紋理規范，這六個紋理特征分別為：粗糙性（coarseness）、對比度(contrast)、方向性(directionality)、線條相似性(linelikeness)、規則性(regularity)和光滑性(roughness)。其中前三個特征對于圖像檢索尤為重要，大多數基于紋理的圖像檢索系統都只使用前3個特征來描述紋理特征。例如在QBIC系統中，紋理由粗糙性、對比度和方向性來描述。

    近年來隨著小波（wavelet）變換在圖像分析中的廣泛應用，許多研究者開始將小波變換運用于紋理特征表示中，采用小波變換后的系數作為圖像的索引。如Smith和Chang從小波子波段中提取統計特征作為圖像的紋理表示[4]，取得了較好的效果。Chang和Kuo 則采用樹結構小波變換來進一步提高圖像分類能力的準確度[5]。Ma和Manjunath評價了各種小波變換形式后，發自案給予Gabor小波變換的檢索效果最佳。  

    (3)  基于形狀特征的檢索

    形狀特征是圖像中重要的中層特征，與顏色或紋理等特征不同的是，表達形狀特征是基于對圖像的分割。當前技術無法對圖像做到準確而穩健的自動分割，因此基于形狀的檢索使用某些可能是半自動化的方法把圖像分割成單個的對象。在對圖像進行分割后，其關鍵問題就在于如何對形狀進行表示和如何進行形狀之間的相似性度量。形狀特征表示的一個重要準則是要求對位移、旋轉、縮放的不變性，通常形狀特征表示可以分為全局特征和局部特征。全局特征包括圖中整個物體的圓度、環狀度、中心矩、離心率以及矩不變量等。局部特征包括形狀的外邊界，比較成功的表達式傅立葉描述符，用經傅立葉變換后的邊界作為形狀特征，這樣用較少的參數就包括比較復雜的邊界。

    形狀特征也稱為輪廓特征，指圖像中子圖像的邊緣特征。采用形狀特征進行檢索時，用戶可以粗略的勾畫出一個形狀或是輪廓，從圖像庫中檢索出形狀相似的圖像。基于形狀檢索的難點在于尋找能夠檢索與大小、方向及扭曲伸縮無關的方法。為此，可同時采用三個特征作為形狀特征，即長/短軸比、2周長/面積比、最近與最遠點的連線間的夾角。這三個特征對形狀的大小變化與旋轉都不變，其中長短軸分別定義為形狀質心到形狀邊緣最遠點或最近點的連線。

    實際上常用的辦法是采用全局特征和局部熱爭相結合來進行形狀的相似檢索。如Eakins等人提出了一組重畫規則并對形狀輪廓等用線段和圓弧進行簡化表達[6]，然后定義形狀的鄰接族和形族兩種分族函數對形狀進行分類。鄰接族主要采用了形狀的全局特征，如其邊界信息等，而形狀族主要采用的形狀的局部特征。在形狀進行匹配的時候，除了每個族中形狀差異外，還比較每個族中質心和周長的差異，以及整個形狀的位置特征矢量的差異，查詢判斷距離是這些差異的加權和。

3.2  系統評價方法

    基于內容的圖像查詢系統涉及到很多不同的檢索算法，需要對各種算法的檢索結果進行優劣比較。從現在的研究情況來看，對檢索效果的評價更多的放在對檢索結果的正確與否，主要使用的是查準率（precision）和查全率（recall）這兩項。

    查準率是指在查詢過程中，用戶所查到的相關圖像數目與數據庫中的所有圖像數目的比率，查全率是指在查詢過程中，用戶所查到的相關圖像數目與數據庫中相關的圖像數目之間的比率。查準率和查全率越高，則說明該查詢系統的性能越優。

4  典型的基于內容的圖像檢索系統介紹

    基于內容的圖像檢索技術自20世紀90年代提出至今，國內外已研制出了不少成功的系統原型，均大致包括以下功能：圖象分類瀏覽功能、按示例圖檢索功能、按手繪草圖檢索功能、用戶反饋等。下面介紹一個典型基于內容的圖像檢索系統。

    (1)  QBIC系統

    QBIC（Query By Image Content）系統[7]是由IBM公司的開發的第一個商業化的基于內容的圖像檢索系統。QBIC系統（如圖2所示）分為兩個子系統：數據庫生成（Data population）子系統和數據庫查詢(Database query)子系統。數據庫生成子系統的主要功能是對圖像的特征向量進行提取，包括圖像的顏色、紋理、形狀等特征。數據庫查詢子系統的主要功能是完成基于內容的圖像檢索技術，負責對用戶查詢輸入的圖像進行同樣的特征提取并把特征信息輸入匹配引擎，檢索出具有相似性特征的圖像，這部分提供了完整的用戶界面，可以選擇各種特征（顏色、紋理、輪廓、對象運動方式、視場運動方式等）進行檢索。由查詢接口、結果瀏覽器、檢索引擎三個模塊組成。

圖2  QBIC系統模型

   QBIC系統支持基于示例圖像的查詢方式和手繪草圖的圖像索引方法。在此系統中，顏色特征的表達采用了平均色和色彩直方圖，紋理特征的表達采用了紋理的粗糙度、對比度和方向性3者的綜合，形狀特征的表達采用了形狀的面積、圓形率、離心率、主軸方向以及一組變換無關矩等描述方式。草圖特征以其邊界信息為基礎。在圖像相似性計算過程中考慮了顏色二值數之間的感知相似性。

    QBIC的基于圖像內容的檢索技術已制成獨立的產品，如IBM數字圖書館、超媒體管理器、DB2數據庫的圖像擴展等工具軟件。

    (2)  PhotoBook系統

    PhotoBook是一套瀏覽、檢索圖像的交互式工具，由MIT媒體實驗室開發。它包含三個子系統，分別提取形狀、紋理和人臉特征，用戶可以分別做基于上述特征中的任何一種檢索。在PhotoBook最新版本FourEyes中，Picard等提出將人也包括在圖像的標注和檢索過程中。

    (3)  Image Rover系統

    Image Rover系統是基于萬維網的圖像導航系統，用戶使用點擊小圖標的方法查詢到自己所需要的圖文信息。Image Rover系統成功的運用了基于內容的查詢技術，特點是通過HTML文件將可視化信息和文本信息統一起來。它由文件采集子系統和圖像檢索系統兩部分組成。它使用的視覺特征有顏色、邊界定向、紋理和形狀。它和其他系統的主要區別在于使用了相關反饋。相關反饋可使用戶通過相關項目的說明迭帶地提煉出一個查詢，以取得更好的搜索性能。

    (4)  WebSEEK系統

    WebSEEK是哥倫比亞大學開發的基于內容的視覺查詢原型系統，是基于WWW方式的文本/圖像搜索引擎。在WebSEEK中，使用兩種獨立的自動化過程對圖像進行分析。第一個過程抽取和索引顏色直方圖和紋理等視覺特征。第二個過程分析相關的文本并把圖像分類成定制圖像類別中的主題類。目前已分類的圖像有66萬多幅，形成了一個極富創新性的圖像目錄。    

    WebSEEK的一個主要特征是綜合了視覺特征和文本，該方法的可行性通過一個大的基于萬維網的實驗臺來演示。所用到的視覺特征有顏色集、紋理特征的小波變換。為加快檢索過程，還開發出了基于二叉樹的索引算法。該系統的一個主要特征是用到了圖區域的空間關系查詢和直接從壓縮數據中提取視覺特征。

    (5)  MARS

    MARS（Multimedia Analysis and Retrieval System）系統[8]是美國UIUC（University of Illinois at Urabana Champaign）大學所開發的，運用計算機視覺、數據庫管理系統和信息檢索等領域的知識。MARS系統與其它系統的區別在于它的重點不是在于尋找單個的最佳特征表示，而在于如何將不同的視覺特征組織成有意義的檢索體系，以動態地適應不同的用戶及應用場合。MARS系統是正式提出相關反饋的系統，它將相關反饋技術集成到檢索的不同層次過程中。

    (6)  Virage系統

    Virage[9]是一個商業公司開發的視頻系統原型，成功地應用在多個美國機構的視頻數據庫中。其數據庫包括索引數據庫和視頻數據庫，數據把編輯管理部分和客戶訪問部分分離。其特色在于一個強大編輯器，計算機首先對視頻進行預處理，通過語音識別和文字識別獲取圖像中的文本信息，進行鏡頭切割，使得編輯人員可以很方便地修改和添加注釋，從而獲得較為全面的描述信息。

5  結語

    基于內容的圖像檢索技術是一種綜合的集成技術，其中一些關鍵技術涉及到特征提取、圖像分割、相似度計算等。目前國際上在基于內容的圖像檢索領域的諸多研究已經取得了很大進展，但仍存在很多不完善的地方，仍需進一步深入研究。

    (1)  綜合多特征的檢索：圖像具有不同的特征表示方法，不同的特征提取對應著不同的相似性算法。采用多種特征相結合的方法來提高系統效率，是需要解決的問題。例如在顏色、紋理、形狀等幾種查詢特征中，選擇兩種或者兩種以上進行綜合查詢。在進行綜合查詢時，如何設置各個特征向量的權重是關鍵問題。在不同的應用系統中，權重應據實際需要而定。

    (2)  與數據庫技術的融合：基于內容的圖像數據庫把圖像處理、圖像識別、數據庫三個領域的技術成果結合起來，是一個有前途的發展方向。當上千萬的圖像數據集出現時，數據庫將成為圖像檢索系統的一個重要部分，而且這對圖像特征的表達能力、計算速度以及層次可達性都將產生重大影響。

    (3)  基于內容的編碼：現在使用的媒體，其格式和編碼沒有考慮到內容，只是針對顏色、像素來編碼，因此從這些數據中抽取內容非常困難。如果在對媒體數據編碼時就考慮到媒體的內容，即媒體包含其表示內容的信息，這樣對這些數據的內容進行檢索就會更有效和準確。目前在這方面的工作已經取得很大進展，例如即將成為國際標準的基于內容的編碼標準MPEG-4 和多媒體數據內容表示國際標準MPEG-7。

參考文獻：
[1]  Swain M J, Ballard B H, Color indexing[J].International Journal of Computer Vision.1997, 7(1):11-32.
[2]  唐立軍, 段立娟, 高文. 基于內容的圖像檢索系統[J]. 計算機應用, 2000, 10(7): 41-45 [3]. 李向陽, 魯東明, 潘云鶴. 基于內容的圖像檢索技術與系統[J]. 計算機研究與發展, 2001, 38(3): 344-354.
[4]  Smith J R, Chang S F, Transform feature for texture class: fication and discrimination in large image database.In:Proc of IEEE Int