信息來源:中國儀器儀表學會
一般而言,“大數據”指具有大容量、高速度、內容多樣性和價值密度低等四個關鍵特性的數據和信息。儀器儀表是一類重要的“大數據”數據源,反映的是觀察、記錄、描述自然世界時所產生的大量數據,如科研數據、工程數據、多媒體數據等。相對互聯網線上活動、社交網絡、人口統計數據、金融交易行為、電子商務、通信行為明細等由人類社會行為產生的數據來源,儀器儀表引起的“大數據”現象具有單個數據塊大、數據總量巨大、形式上非結構化等特點。實現數據信息的獲取、轉換、存貯、處理和揭示物質運動是儀器儀表的基本任務。
為此,在這里主要探討兩類問題:針對“大數據”引起的嚴峻挑戰,研究儀器儀表技術的本身發展問題;抓住“大數據”帶來的空前機遇,研究儀器儀表技術對“大數據”的支撐問題。
一、“大數據”現象下的儀器儀表可研究方向
1、儀器儀表中“大數據”的獲取與傳輸問題
“大數據”的獲取通常是高速率的,這對儀器儀表檢測通道的D/A轉換能力提出了很高的要求,開發高采樣率、高速率的數據采集裝置成為一個值得研究的方向。電信號傳輸方面,SFP 和QSFP 接口技術正在普及,下一代25G接口技術也正在研發;光信號傳輸也非常值得研究。一個典型案例比如測繪地理信息,諸如海島、山脈等地理圖形,依靠傳統測量手段來獲取不具有可操作性,現在一般采用機載激光雷達系統,這被看做測繪行業進入數字化測量時代的象征,由于飛機航速快、測繪面積大,帶來的單位時間數據量巨大。機載激光雷達系統集成GPS、IMU、激光掃描、數碼相機等多種光譜成像儀器,具有很強的數字成像能力。“大數據”中測繪儀器儀表的測量技術更強調具有高頻掃描、寬視角的能力。
2、儀器儀表中“大數據”的存儲問題
長久、可靠的保存“大數據”,并保證其在可用性和可訪問性以及在使用“大數據”過程中,存儲技術如何充分利用、發揮現有的網絡技術、介質訪問技術,從而及時高效地為高層決策提供滿足讀寫要求的數據訪問。現有的儀表磁盤故障、陣列存儲形式會帶來數據管理、訪問、可靠性的瓶頸。開發對象存儲技術、具有冗余糾錯副本功能儲存技術,儀器儀表存儲“大數據”的能力有待研究。傳統的“磁盤 文件系統”的儲存結構不適應“大數據”,采用“Flash 云”的儲存結構應用于儀器儀表亟待研究。
3、儀器儀表中“大數據”的處理、利用問題
不同的儀器儀表獲得的“大數據”的格式結構不一致,比如有流量、壓力、密度等物理量,也有文本、音頻、視頻等多媒體信息。儀器儀表中的“大數據”分析處理利用問題不局限于單個單元,而是由大量嵌入設備的傳感器、控制器、執行器構成的整體系統完成。數據挖掘算法、機器學習算法、預測統計等人工智能方法越來越被廣泛應用到智能設備中,從而完成對“大數據”的分析處理利用。一個實例是智能電表,當用戶安裝有太陽能等新能源時,用戶自產的太陽能轉化電能與企業供應的電能之間可以存在一個平衡關系,智能電表終端通過長時間的監測單位時間采用的用戶用電習慣等“大數據”,可以智能預測未來一段時間內用戶用電需求,再通過電量交易平衡電網壓力和削減用電成本。
現在一種觀點認為,儀器儀表的“大數據”行為強烈依賴IT設備,建立數據采集儀器到IT設備之間緊密聯系的端到端解決方案具有較大挑戰性。
4、儀器儀表中“大數據”的安全問題
如何保證自身以及用戶數據的安全隱私,已經成了“大數據”發展的首要議題。儀器儀表安裝位置廣泛,有的暴露自然環境之中,也有通過軟環境受到數據入侵造成的數據毀滅,儀器儀表技術的“大數據”安全問題值得研究。需要建立自上而下的儀器主動安全防護體系,對“大數據”的入侵、毀滅具有可抗性、恢復性。
總的來說,“大數據”下的儀器儀表研究開發已逐漸突破傳統范疇,正在向云計算、云存儲、互聯網技術等融合發展。工程師們需要開發擁有更高帶寬和吞吐量的最先進的高速串行數據總線技術,同時對不斷更新和復雜化的行業規范和標準提供簡單省時又精確的測量方法;解決各種瞬態信號在時間相關的多個互聯域中的聯合監測和分析;在能源技術方面做到更高效、節能、穩定。
二、儀器儀表技術的發展對“大數據”的支撐
1、多物理量檢測技術、RFID技術和模塊化數據采集系統等為“大數據”的獲取提供前提與支撐。
多種物理量檢測獲取到不同種類的數據,即為非結構化數據,現代儀表檢測的靈敏度、精度、測量范圍、檢測對象都有了很大的提升,現代儀器儀表對物理世界的認知交互應用越來越廣泛。先進的傳感檢測儀表是信息世界與物理世界互動的前提,也是造成海量數據的原因。如美國國家儀器公司(NI公司)開發的產品NICompactDAQ、CompactRIO、PXI硬件,以及諸如NILabVIEW系統設計軟件和DIAdem之類的工具為“大數據”實時的在采集數據的源頭處理數據。
2、互聯網技術、總線技術、分布式儀表技術為“大數據”的信息融合提供多樣性保障。
隨著現代工業的飛速發展和生產裝置規模的不斷擴大,生產過程日趨復雜,對企業生產自動化儀表和各種信息的集成設備信息綜合要求越來越高。據估計,到2020年,全球將有約300億的儀器設備通過無線方式發生互聯,無線傳感網、物聯網技術在智能電網、智能交通等中得到了越來越多的應用。一個大的復雜系統亟需綜合各種數據信息,不同設備檢測獲取的數據的結構是不同的;通過網絡,中間點智能變送器發揮的作用更加重要,它將為上層設備的“大數據”分析提供可訪問性、可用性。總的來說,網絡技術、總線技術、分布式測量技術為儀器儀表產生的“大數據”信息的時空融合提供渠道,以保證數據多樣性。
3、低功耗、高處理能力的集成電路與存儲技術為“大數據”的運算處理速度和海量存儲提供可能。
低功耗、高頻率的微型芯片、大規模集成電路、超大容量存儲技術的迅猛發展直接促進了海量數據的有效處理與存儲。近年出現的云儲存技術有效突破本地單一傳感器數據存儲的局限。1965年,GordonMoore提出著名的摩爾定律,即集成電路中晶體管數量大約每兩年就會翻一番。近50年過去,摩爾定律依然影響著電子行業,摩爾定律的效應令技術的價格變得可以讓人承受,并且新的發明幫助工程師和科學家以先進的電子儀器儀表采集、分析和儲存數據,正是這些變化引起了“大數據”這一奇觀現象。
4、嵌入“智慧”的儀器儀表為“大數據”的低密度價值信息的分析、綜合、提取、決策提供支持。
從“大數據”中汲取價值的過程是一個從原始數據獲取到有價值信息提煉的階段過程。統計分析、數據挖掘、機器學習等智能算法越來越被嵌入到智能儀器儀表中,使得對“大數據”的價值利用更為充分,借助現代化微型智能處理器、執行單元儀表等,可以建立有效的“大數據”分析模型,并在大量數據集合上執行多種模式的智能交互。