李子青, 獲湖南大學學士、國防科大碩士、英國Surrey大學博士學位。2000年辭去新加坡南洋大學終身教職,加盟微軟亞洲研究院。2004年作為“百人計劃”入選者來到中科院自動化所,現為模式識別國家重點實驗室研究員和生物識別與安全技術研究中心主任,智能視覺物聯網研發中心主任。由于在人臉識別、模式識別、計算機視覺領域的貢獻,他當選為IEEE Fellow。研究領域包括統計模式識別與機器學習理論,以及生物特征識別、智能視頻監控,圖像處理與計算機視覺,圖像與視頻理解。 學術研究積極活躍,發表論文 200 多篇,撰寫編寫著作 8 部。
作為人臉識別和智能視頻監控專家,李子青主持了相關領域的多個國家科學研究項目和重大應用工程項目,在相關領域獲準和申請專利10余項。在微軟研發的人臉識別系統 EyeCU,比爾•蓋茨接受CNN采訪為之講解。與中科奧森聯合研發的“AuthenMetric 中科奧森 ”人臉識別系統和智能視頻監控系統,已在包括北京奧運會、上海世博會邊檢通關等多個國家重大安全項目中實施并發揮作用。李子青為SAC/TC100/SC2副主任委員,代表中國國家成員體撰寫了中國第一個ISO/IEC JTC1/SC37生物識別國際標準工作草案獲采納,并在2006年會全體會議上作了“生物特征識別在中國”的主題演講。
物聯網作為戰略新興產業的重要組成部分,對加快轉變經濟發展方式具有重要的推動作用。物聯網產業作為新一代信息技術的重要組成部分而被列為國家“十二五”規劃的重點扶持產業,從而被提到國家戰略高度,并隨著國家對新興產業的扶持政策逐漸明朗,逐步從概念炒作走向實質。
隨著平安城市、數字城市、智慧城市的建設,物聯網的內涵也不斷擴展與延伸,用攝像機和智能識別系統實時感知人、車、物、路的性質和狀態,給視頻信號 “貼標簽”,并以三網融合方式傳輸,形成新型的報警聯動和技防網,支持政府決策辦公和應急指揮、服務民生,用于反恐、防盜、維穩,將成為物聯網的主要發展方向之一,這便是智能視覺物聯網。智能視覺物聯網,被稱為物聯網的升級版本,但并不被大多數人所了解,本期記者就針對智能視覺物聯網采訪了中科院自動化所模式識別國家重點實驗室研究員和生物識別與安全技術研究中心主任,智能視覺物聯網研發中心主任李子青博士。請他和廣大讀者談一談智能視覺物聯網目前在我國的應用情況。
■《自動化博覽》:物聯網已經成為當今社會非常熱點的話題,您如何看待物聯網在中國的應用情況?
李子青:物聯網,即物與物相聯系的互聯網。物聯網提供各種感知技術廣泛應用平臺,包括傳感、連接,以及智能信息處理三個基本部分,有如下特點:(1)連接各種傳感器如射頻識別(RFID)、圖像視頻傳感器、聲音傳感器、紅外感應器、壓力傳感器等,實時采集其聲、光、熱、電、力學、化學、生物、位置等各種需要的信息;(2)采用泛在網絡,包括互聯網和“多網融合”;(3)具有對感知信息的智能處理與利用的能力,這是物聯網最具價值的部分。
物聯網用途廣泛,遍及智能交通、環境保護、政府工作、公共安全、平安家居、智能消防、工業監測、環境監測、老人護理、個人健康、花卉栽培、水系監測、食品溯源、敵情偵查和情報搜集等多個領域。物聯網把新一代IT技術充分運用在各行各業之中,具體地說,就是把感應器嵌入和裝備到電網、鐵路、橋梁、隧道、公路、建筑、供水系統、大壩等物體中,然后將“物聯網”與現代互聯網整合起來,實現人類社會與物理系統的整合,在這個整合網絡中,存在能力超級強大的中心計算機群,能夠對整合網絡內的人員、機器、設備和基礎設施進行實時管理和控制。在此基礎上,人類便能以更加精細和動態的方式管理生產和生活,達到“智慧”狀態,提高資源利用率和生產力水平,改善人與自然間的關系。人們正走向“物聯網”時代,但這個過程可能需要很長時間。
下面我舉幾個國內物聯網的典型應用案例:
(1)物聯網傳感器產品已率先在上海浦東國際機場防入侵系統中得到應用。
系統鋪設了3萬多個傳感節點,覆蓋了地面、柵欄和低空探測,可以防止人員的翻越、偷渡、恐怖襲擊等攻擊性入侵。上海世博會也與中科院無錫高新微納傳感網工程技術研發中心簽下訂單,購買1500萬元防入侵產品。
(2)智能交通系統(ITS)
利用先進通訊、計算機、自動控制、傳感器技術,實現對交通的實時控制與指揮管理。交通信息采集被認為是ITS的關鍵子系統,是發展ITS的基礎,成為交通智能化的前提。
(3)首家高鐵物聯網技術應用中心在蘇州投用
我國首家高鐵物聯網技術應用中心2010年在蘇州科技城投用,該中心將為高鐵物聯網產業發展提供科技支撐。刷卡購票、手機購票、電話購票等新技術的集成使用讓旅客可以擺脫擁擠的車站購票;與地鐵類似的檢票方式,可實現持有不同票據旅客的快速通行。該中心研發了目前世界上最大的票務系統,每年可處理30億人次,而目前全球在用系統的最大極限是5億人次。
(4)國家電網首座220千伏智能變電站
2011年,國家電網首座220千伏智能變電站——無錫市惠山區西涇變電站投入運行,并通過物聯網技術建立傳感測控網絡,實現了真正意義上的“無人值守和巡檢”。設計和建設水平全國領先。
■《自動化博覽》:智能視覺物聯網是人臉識別技術在物聯網時代的應用,可以為我們介紹一下什么是智能視覺物聯網嗎?
李子青:智能視覺物聯網,簡稱“視聯網”,是由智能視頻監控和聯網報警系統組成的物聯網。它的定義是:通過視覺傳感標簽、射頻識別(RFID)、紅外感應器、全球定位系統、激光掃描器等信息傳感設備,按約定的協議,把任何物體與互聯網相連接,進行信息交換和通信,以實現對物體的智能化識別、定位、跟蹤、監控和管理的一種網絡。智能視覺物聯網是物聯網的升級版本,由智能視覺傳感器、智能視覺信息傳輸、智能視覺信息處理和針對人車物三大類目標的物聯網應用四部分構成。它利用各類圖像傳感器,包括監控攝像機、手機、數碼相機,獲取人、車、物圖像或視頻,采用圖像視頻模式識別技術對視覺信息進行處理, 提取視覺環境中人、車、物視覺標簽,并通過網絡傳輸與視覺標簽應用系統連接,提供便捷的監控、檢索、管理與控制。
通過公共場所管理、智能樓宇、交通管制、學校、監獄、金融、社區、個人視頻設備等終端用戶搭建起“智能視覺物聯網”,能夠實現對資源的統一監控、管理和調度,因此智能視覺__物聯網具有廣泛的應用前景。
■《自動化博覽》:智能視覺物聯網的核心技術是什么?
李子青:智能視覺物聯網的一個重要核心技術就是智能視覺標簽系統。我們知道RFID有RFID的標簽,什么是視覺標簽呢?就是對圖象和視頻當中的內容進行識別、理解和分類。最重要的就是對人車物貼視覺標簽,這個標簽包含各種各樣的物件的屬性,包括它的名稱、它的ID,它的顏色,它的身份,它的發生的地點等。我們要利用視覺理解或者圖象處理與計算機視覺的技術手段完成實現這樣一些功能。視覺標簽與RFID標簽的區別是什么呢?利用視覺標簽可以在更遠距離對物體進行識別,這是視覺標簽和RFID標簽之間最顯著的區別,打破了距離和范圍的限制,并且在多個物體同時出現的時候不會出現混淆,因為每個物體應該有一個唯一標簽。這個標簽是比較虛擬化的標簽,它會把這些標簽,我們對這些物體,對人車物提取標簽之后,會把信息存儲到數據庫。
智能視覺物聯網的另一個重要核心技術就是智能視覺信息挖掘。我們可以把人車物視覺標簽綜合起來,拓展到其他領域。這個架構其實就是上文提到的四層架構,即傳感層、傳輸層、信息處理層、綜合應用層。只有把網絡力量實現起來之后,才能體現出這個網的價值,視覺標簽分析或者視覺標簽的提取,如果只是單路的話,它的作用是比較有限的。如何把這個在大范圍內實現出綜合視覺標簽內容的挖掘與關聯呢?一個例子就是流動人群行蹤挖掘,這個也是從公共安全實際應用中提出來的。假設我們有很多攝像頭在各個地點部署,每一個攝像頭都對流動人群進行視覺標簽提取,識別他的身份,這些攝象頭分析的視覺標簽信息送到一個中央服務器,我們可以把在不同時間、地點和跨攝像機提取出來的人物從這個數據庫當中進行關聯和挖掘,從而分析出流動人群的行蹤,這樣就更能體現視覺物聯網的價值。
■《自動化博覽》:智能視覺物聯網的特點有哪些?主要應用在哪些領域?可否為我們介紹1、2個智能視覺物聯網的實際應用案例?
李子青:智能視覺物聯網包含視覺傳感器+傳輸+智能分析三個部分。主要特點是:
(1)多種視覺信息獲取設備——智能視覺物聯網必須支持多種視覺傳感和圖像設備。這些包括圖像、視頻文件;移動設備,如手機、數碼相機;固定設備,如網路攝像頭、監控攝像機。智能視覺物聯網這些圖像視頻終端設備作為結點,采集環境中物體、目標信息。
(2)視覺信息獲取與傳輸——智能視覺物聯網的數據傳輸必須兼容各種主流網絡介質,以“多網合一”、有線和無線的方式進行視覺信息傳輸, 如“三網融合”。三網融合是指電信網、廣播電視網、互聯網在向寬帶通信網、數字電視網、下一代互聯網演進過程中,三大網絡通過技術改造,其技術功能趨于一致,業務范圍趨于相同,網絡互聯互通、資源共享,能為用戶提供語音、數據和廣播電視等多種服務。圖1 “三網合一”人臉識別架構
(3)智能視覺標簽系統——作為智能視覺物聯網信息處理的核心部分,對視覺感知范圍的人、車或其他物件、對目標標簽物體的身份及其實時狀態進行智能分析,對其進行“貼標簽”處理,并輔以標簽屬性包括名稱、ID、屬性、地點、運動狀態、行為等(如圖2所示)。與RFID物理標簽相比,智能視覺標簽系統的特點是:(a)通過無源方式提供標簽信息;(b)屬于虛擬表現性質;(c)打破距離限制,可以遠距離獲取。圖2 對目標標簽物體進行貼標簽處理
(4)智能視覺信息挖掘——作為智能視覺物聯網的更高級部分,對所覆蓋大范圍中的目標視覺標簽進行關聯,識別挖掘各目標的運動軌跡,并分析其行為。智能視覺標簽系統與智能視覺信息挖掘, 作為視覺信息處理的兩個重要構件,是智能視覺物聯網最核心的部分,也是其未來的發展重點。
從應用的角度來講,我們可以根據標簽的屬性對視覺物聯網的應用進行分類,比如面向人的視覺標簽系統,最典型的應用就是人臉識別或者是人口管理、身份管理。面向車的視覺標簽系統的應用就是智能交通,如識別車牌、車型、車的速度以及是否違反交通規則。對其他物件標簽的應用就應用更廣了,比如我們超市每一個物件都會有一個標簽。所以,其應用會包括身份識別、門禁系統、社保身份識別、銀行帳戶管理、電子商務、網絡購物等。智能交通就是交通指揮、車輛違章檢測,路口信息監測等,還有其他物件標簽,比如在博物館會用一些監控攝像頭對展品進行監控。關于視覺標簽的信息挖掘,目前的核心技術已經用到了北京奧運、上海世博,用到了邊檢通關,包括深圳和珠海和北京T3航站樓,大家出入境的時候可以看到兩邊有這樣一個閘機。另外,北京天安門從去年國慶節開始也實施對流動人群進行監控。
為積極探索人像識別比對技術支撐、服務公安實戰的有效手段和方法,李子青團隊就大規模人臉數據庫比對技術與無錫市公安局進行合作研發,根據實地調研確定了七個實戰應用場景:網上追逃、嫌疑人身份識別和排查、暫住人口身份確認、二代證重證管理、公交查報站系統整合、重點區域對涉恐涉穩等特定人員的預警、模糊圖像還原。
目前,團隊與無錫市公安局共同承擔的江蘇省科技支撐計劃海量視頻綜合利用技術集成與示范應用項目,本項目基于核心技術研發的人臉識別和視頻分析相關系統在無錫公安應用示范中取得了顯著成效并獲得推廣。例如:
(1)人臉識別綜合應用平臺:為用戶提供用戶登陸、工作提醒、人像照片檢索、人像比對、圖像工具、系統工具、討論區等綜合應用工具。目前該平臺已正式上線,向全警開放使用。
(2)標準人像采集比對系統:該系統具有現場人像圖片采集、圖片質量評估和人臉比對的完整功能,能及時、準確、迅速的比對出重點人員,對刑偵破案和監控管理提供了便利。目前已部署在崇安寺派出所、廣義派出所、無錫市監管支隊、看守所、拘留所等試點。
(3)視頻偵查系統:該系統能兼容公安行業10余種視頻格式,視頻處理速度快,目標分類準確率高,且具有影像分析功能,能處理光照過暗、塵霧天氣等特殊場景。目前該系統在惠山分局、濱湖分局示范應用。
■《自動化博覽》:智能視覺物聯網在國內的應用情況如何?面臨哪些問題?該如何解決?
李子青:目前在國內,廠商多數實力有限,規模較小,研發能力不強,用戶雖然有智能視頻監控方面的需求,但具體需求并未完全清晰。因此,可以說目前的智能視覺物聯網市場是希望很大,困難不少。
目前,智能視覺物聯網發展各方面問題都有待研究解決。
(1)智能視覺物聯網的發展網絡框架及標準體系不夠完善應盡快制定智能視覺物聯網相關的框架標準體系,堅持國際標準和國內標準同步,統一技術和接口的標準,明確智能視覺物聯網的涵蓋范疇和定位,出臺智能視覺物聯網關鍵的發展技術和相關產業的配套扶持政策,統一技術標準和相關的評價體系,構建統一的運營平臺,形成規?;藴驶洕?br />
(2)智能視覺物聯網產業鏈尚未完善
目前,國內物聯網產業鏈還并不完善,在體制方面還有很多工作要做,如加強廣電、電信、交通等行業主管部門的合作,共同推動信息化、智能化的交通系統的建立。加快電信網、廣電網、互聯網的三網融合進程等。產業鏈的合作需要兼顧各方面的利益,而在各方利益機制及商業模式尚未成型的背景下,物聯網普及仍相當漫長。
(3)智能視覺物聯網的關鍵性技術不夠成熟
智能視覺物聯網技術在中國的推廣較晚,技術研發和市場推廣都存在明顯的不足。大多數生產和推廣視頻監控產品的企業,其業務仍然停留在非智能范疇,比如普通的網絡視頻監控、分布式視頻監控等。隨著人們公共安全意識和對先進的視頻監控認識的提高,國內市場上也逐漸出現了對智能視頻監控的需求,己經有公司開始這一領域的研究,但是,由于自主研發能力的限制,目前都只是采用引進國外成熟技術的形式,聯合推出面向于中國市場的相關產品。比如漢王科技公司,與以色列的Mate公司合作推出了基于多種行為(如越界、徘徊、遺留、消失、定向運動等)的視頻檢測嵌入式產品。除了各公司推出商用的視覺監控系統外,國內外一些大學和科研院所也在踴躍參與智能視頻監控方法的研究,成果主要體現在學術論文和算法開發,具體的課題包括背景建模、目標分類、目標跟蹤以及視頻內容分析等。但是以上智能視頻監控系統,對于多攝像機、大范圍海量監控視頻的針對性不足,無法有效用于海量大范圍場景的視頻監控和深度挖掘。
運營商應建立開放式產業鏈,完善和繼續投資3G網絡,深化對智能視覺物聯網技術的研究開發。
(4)智能視覺物聯網相應的法律法規制度有待進一步制定和確認
應通過專業人士與專業機構對智能視覺物聯網進行研究,全面考慮縱向的深化與橫向涉及的其他各行業,制定出相應的、行之有效的法律,為物聯網的深化發展提供保障和指導。
■《自動化博覽》:您如何看待智能視覺物聯網在未來的發展前景?
李子青:網絡攝像機未來勢必朝著高清、智能與更好的網絡性能方向發展,所對應的就是百萬高清、高壓縮比,以及集成的智能視頻分析與識別功能。2010年高清網絡攝像機平均每月出貨量超過1萬余臺,全年出貨總量將超過20萬臺,與2009年相比增長超過 200%,占網絡攝像機的比例約為34%。在高清網絡攝像機中,百萬像素占56%,200萬像素占37%,300萬像素或以上占7%。這也帶來了數據量的巨大增長。
根據政府、公安部門要求,當前攝像頭所采集的監控視頻數據至少需要保存30天以上,故其產生的海量視頻數據是非常驚人的:如某監控場所需要8路視頻監控系統進行7×24小時不間斷的監控,數據按3個月即可覆蓋來算,其需要的存儲空間大致為3.4TB,這么龐大的一個數據量只是監控一個場所產生的,如果全國的工程完成,那么至少3000萬個攝像頭所產生的視頻文件,將達到上千萬個TB,并會因歸檔的需求而不斷增加下去。
在《國家中長期科學和技術發展規劃綱要(2006-2020年)》已明確指出智能信息處理是信息產業這一重點領域中的研究重點。傳統單純的視頻監控系統存在諸多問題,大量的視頻監控信息陳舊,缺乏有效利用方法。智能視頻分析基礎技術性能亟待提升與改善。因此,應圍繞智能信息處理,以突破視頻監控的智能感知技術和加強海量數據處理能力為目標,以先進智能視頻分析技術為重點,加強安防智能識別軟件開發,重點研究海量視頻下的智能化視頻分析和數據處理技術。
智能監控市場目前還處于市場萌芽期,潛在市場空間巨大。政府和企業都存在充分的消費意愿。政府需要加強治安管理,提高監控能力,強化對群體性事件和突發性事件的應對措施,保持社會穩定。企業需要加強內部安全防范,而且企業在管理、業務上對智能監控的需求也正在開始增多。這些需求都蘊藏著巨大的商機,值得智能監控廠商深度挖掘與開發。隨著“平安城市”建設等重大工程的順利推進及商業、民用需求的不斷增長,未來國內智能監控市場將持續升溫,并不斷創造出新的市場機會及應用價值,智能視頻監控產業的美好前景值得期待。
摘自《自動化博覽》2014年3期