引言
工業(yè)企業(yè)已進(jìn)入了“大數(shù)據(jù)”時代,企業(yè)所管理數(shù)據(jù)的規(guī)模、種類和復(fù)雜度都在以前所未有的速度呈爆炸式增長。據(jù)麥肯錫咨詢公司統(tǒng)計(jì),“制造業(yè)的數(shù)據(jù)存儲量高于其它行業(yè)——2010年的新數(shù)據(jù)存儲量接近2EB”。
大數(shù)據(jù)源自各種系統(tǒng)、設(shè)備和應(yīng)用程序數(shù)據(jù)量的激增,使用傳統(tǒng)軟件解決方案,在可以接受的時間內(nèi)完成這些數(shù)據(jù)的采集、管理和處理會非常困難。一個數(shù)據(jù)集內(nèi)的大數(shù)據(jù)規(guī)模從幾十TB到許多PB不等。隨著高級裝置和設(shè)備的數(shù)量不斷增加,大量運(yùn)行數(shù)據(jù)隨之上線,這種趨勢經(jīng)常被稱為工業(yè)互聯(lián)網(wǎng)。前瞻型企業(yè)正在利用這些數(shù)據(jù)實(shí)現(xiàn)卓越運(yùn)營和預(yù)測性分析,獲得競爭優(yōu)勢,加速企業(yè)成長。
云計(jì)算已成為數(shù)據(jù)處理、儲存和分配的可行、主流解決方案,但對于具有TB量級數(shù)字內(nèi)容的企業(yè),大量數(shù)據(jù)在云內(nèi)外的傳輸成為了難以解決的困難。作為在企業(yè)內(nèi)實(shí)現(xiàn)高速海量數(shù)據(jù)傳輸?shù)南葘?dǎo)企業(yè),GE采用行業(yè)領(lǐng)先的歷史數(shù)據(jù)庫解決方案,提供適用于大數(shù)據(jù)的云技術(shù)。
基于實(shí)時和歷史過程信息的數(shù)據(jù)驅(qū)動策略有助于企業(yè)優(yōu)化績效。信息是實(shí)現(xiàn)工業(yè)企業(yè)競爭力和增長的核心要素,因此利用大數(shù)據(jù)云勢在必行。
云技術(shù)前景
云計(jì)算可帶來按需擴(kuò)展、逐步投資的計(jì)算和存儲能力。與企業(yè)內(nèi)部數(shù)據(jù)中心相比,云技術(shù)不需要大量的前期IT投資,企業(yè)可以方便地升級基礎(chǔ)實(shí)施,只對需要的能力進(jìn)行投資。這就難怪越來越多的企業(yè)開始采用云技術(shù)——亞馬遜網(wǎng)絡(luò)服務(wù)(AWS)S3云存儲系統(tǒng)內(nèi)儲存的數(shù)據(jù)量從2010年的2620億個對象激增至2012年第一季度末的9050億個對象。
工業(yè)數(shù)據(jù)面臨的難題
目前,大數(shù)據(jù)的創(chuàng)建和使用已經(jīng)擴(kuò)展到了雅虎、谷歌和Facebook等大型網(wǎng)絡(luò)公司之外的領(lǐng)域。各個領(lǐng)域的企業(yè)(包括工業(yè)企業(yè))都面臨不斷上升的壓力,須利用數(shù)據(jù)推動的策略保持競爭優(yōu)勢——這需要不斷增長的數(shù)據(jù),致使數(shù)據(jù)集的規(guī)模日益龐大。此外,不斷發(fā)展和日趨嚴(yán)格的監(jiān)管要求也需要采集更多信息,作為審計(jì)和合規(guī)性的證明。
制造型企業(yè)須記錄大量的過程數(shù)據(jù),不斷增長的數(shù)據(jù)量成為了普遍存在的情況。例如,生產(chǎn)個人護(hù)理產(chǎn)品的CPG公司每33毫秒產(chǎn)生5000個數(shù)據(jù)樣本,其結(jié)果是:
• 每秒152000個樣本
• 每分鐘9百萬個樣本
• 每小時5.45億個樣本
• 每個輪班40億個樣本
• 每天130億個樣本
• 每年4萬億個樣本
顯然,用于提取值的數(shù)據(jù)量超出了傳統(tǒng)數(shù)據(jù)管理系統(tǒng)的能力范圍。此外,管理工業(yè)大數(shù)據(jù)的困難并不只限于信息量;由于數(shù)據(jù)具有不同的格式和來自不同來源,還存在數(shù)據(jù)多樣性和復(fù)雜度問題。經(jīng)常存在過程信息“島”,必須進(jìn)行合并、儲存和分析,以便獲取背景和有意義的值。
為了利用大數(shù)據(jù),企業(yè)需要具備支持多種信息類型的能力、儲存大數(shù)據(jù)集的基礎(chǔ)設(shè)施及信息采集和儲存后對信息進(jìn)行利用的靈活性——能夠?qū)﹃P(guān)鍵趨勢進(jìn)行歷史分析,以實(shí)現(xiàn)實(shí)時預(yù)測性分析。隨著企業(yè)愈發(fā)了解到其價值主張?jiān)醋杂谛畔ⅲ髷?shù)據(jù)處理技術(shù)正快速獲得發(fā)展動力。
幾乎每一種企業(yè)感興趣的分析洞察都涉及時間元素,這要求專為利用大時間序列數(shù)據(jù)集實(shí)現(xiàn)關(guān)鍵洞察而設(shè)計(jì)的解決方案對其數(shù)據(jù)的值加以利用。
尋求工業(yè)數(shù)據(jù)解決方案
工業(yè)企業(yè)應(yīng)感到慶幸的是,谷歌、雅虎和Facebook對大數(shù)據(jù)具有更高的需求。這幾家公司對點(diǎn)擊流、網(wǎng)絡(luò)日志和社會互動的分析需求迫使它們創(chuàng)建新型的大數(shù)據(jù)集存儲和分析工具。這些公司打下的基礎(chǔ)也可應(yīng)用到工業(yè)領(lǐng)域,用于管理今后只會繼續(xù)增長的數(shù)據(jù)爆炸。
例如,Hadoop是一種可通過使用標(biāo)準(zhǔn)硬件,實(shí)現(xiàn)數(shù)據(jù)存儲擴(kuò)展的工具,可在許多低成本計(jì)算機(jī)間分配數(shù)據(jù)。數(shù)據(jù)分配后,隨之而來的是數(shù)據(jù)定位和處理難題,這可以使用Map Reduce解決,Map Reduce提供一個框架,數(shù)據(jù)在一個簇內(nèi)的許多節(jié)點(diǎn)間并行處理,允許將處理映射給許多位置的數(shù)據(jù),然后將類似數(shù)據(jù)元素的輸出縮減成一個結(jié)果。
雖然Hadoop可能在處理大數(shù)據(jù)集方面具有良好前景,但創(chuàng)建Hadoop環(huán)境時的復(fù)雜度和要求的專業(yè)技能超出了工業(yè)企業(yè)的能力范圍。但這些企業(yè)仍須在整個企業(yè)內(nèi)進(jìn)行升級,以處理生產(chǎn)過程和其它工業(yè)運(yùn)營中產(chǎn)生的大量時間序列數(shù)據(jù)。
例如,生產(chǎn)經(jīng)理可能想要了解通過生產(chǎn)線的原料流速變化時,溫度改變對品質(zhì)的影響;電廠主管可能想要分析過去5年的數(shù)據(jù),研究異常情況和變化,了解之后是否發(fā)生了斷電,以實(shí)現(xiàn)預(yù)測性分析。
這種層面的運(yùn)營洞察需要能夠?qū)μ囟〞r間段的大數(shù)據(jù)集進(jìn)行快速查詢的能力——這種獨(dú)特、強(qiáng)大的能力需要一種工業(yè)數(shù)據(jù)解決方案。
GE高級歷史數(shù)據(jù)庫的強(qiáng)大之處
對于工業(yè)大數(shù)據(jù)解決方案,人們首先想到的可能并不是歷史數(shù)據(jù)庫軟件,但許多企業(yè)可能沒有意識到的是:這些先進(jìn)、開箱即用的解決方案是專為高效采集、存儲和管理大量時間序列過程數(shù)據(jù)而設(shè)計(jì),而這正是工業(yè)大數(shù)據(jù)的難點(diǎn)所在。
隨著數(shù)據(jù)集的規(guī)模和復(fù)雜度不斷增加,高級歷史數(shù)據(jù)庫為企業(yè)提供了一種有效、簡單、方便的方法,能夠高效地利用大量實(shí)時和歷史過程數(shù)據(jù),這是優(yōu)化決策支持的關(guān)鍵要求。它們可以幫助企業(yè)連接和采集不同系統(tǒng)和設(shè)備的數(shù)據(jù),發(fā)掘數(shù)據(jù)中隱含的信息。
高級歷史數(shù)據(jù)庫采用了時間序列友好的數(shù)據(jù)結(jié)構(gòu),使其性能大大優(yōu)于傳統(tǒng)的關(guān)系或關(guān)鍵值數(shù)據(jù)結(jié)構(gòu),可在大數(shù)據(jù)集和相關(guān)時間段內(nèi)高效地進(jìn)行查詢。歷史數(shù)據(jù)庫為真正的實(shí)時數(shù)據(jù)提供速度大幅加快的讀寫性能和微秒級分辨率,能夠采集過程級的信息值,持續(xù)推動改良。
此外,高級歷史數(shù)據(jù)庫能夠與過程數(shù)據(jù)源連接,直接獲取數(shù)據(jù)——合并整個企業(yè)的數(shù)據(jù)并進(jìn)行壓縮,實(shí)現(xiàn)高效存儲,極大減少了精確再生時間序列信號所需的數(shù)據(jù)量。
對于前文提及的CPG公司,與采用傳統(tǒng)數(shù)據(jù)庫相比,歷史數(shù)據(jù)庫可把每個樣本需要的磁盤空間減少85%。由于采用了智能記錄,歷史數(shù)據(jù)庫本質(zhì)上能比傳統(tǒng)方法更加高效地儲存時間序列數(shù)據(jù),智能記錄精簡了占用大量磁盤空間的無附加值數(shù)據(jù)點(diǎn),但仍能表示“真實(shí)的全貌”。
推動創(chuàng)新、競爭和增長
擁有了完備的歷史數(shù)據(jù)庫性能,工業(yè)企業(yè)就能夠充分利用高級分析,有效地查詢幾年內(nèi)的歷史數(shù)據(jù),明確趨勢和模式,從而支持實(shí)時決策。企業(yè)能夠更充分地了解產(chǎn)品質(zhì)量或生產(chǎn)時間損失等影響關(guān)鍵領(lǐng)域的因素,作出更明智的決策。
隨著越來越便宜的云存儲和越來越強(qiáng)大的云處理,云正成為存儲和分析公司所收集數(shù)據(jù)的不二選擇。借助云服務(wù)以及隨之而來的大數(shù)據(jù)工作流和其他類型的應(yīng)用程序,用戶不再需要或同等程度的新軟件和新分析方法的培訓(xùn)過程,耗費(fèi)勞力。
借助Proficy Historian, GE的M&D中心持續(xù)管理整個系統(tǒng)內(nèi)的數(shù)據(jù)流,通過大數(shù)據(jù)更好、更快地作出決策,從而優(yōu)化運(yùn)營和財(cái)務(wù)績效。
案例研究:大數(shù)據(jù)幫助GE能源節(jié)省數(shù)百萬
只有實(shí)現(xiàn)輕松的時間序列過程數(shù)據(jù)訪問,從而通過數(shù)據(jù)分析確定關(guān)鍵業(yè)務(wù)的趨勢,工業(yè)企業(yè)才能從大數(shù)據(jù)中獲益。有了這一洞察力,企業(yè)能夠提高自身的運(yùn)營響應(yīng)度和靈敏度,憑借差異化競爭信息從業(yè)內(nèi)同行中脫穎而出。
例如,位于亞特蘭大的GE能源監(jiān)測和診斷(M&D)中心,喬治亞州收集全球50多個國家上千臺燃?xì)廨啓C(jī)的數(shù)據(jù),每天為客戶收集10千兆字節(jié)的數(shù)據(jù)。中心不得不組織并闡明來自系統(tǒng)內(nèi)傳感器振動和溫度信號的恒定數(shù)據(jù)流。
• 高數(shù)據(jù)壓縮和實(shí)時數(shù)據(jù)訪問
監(jiān)測和診斷中心仰仗GE的Proficy Historian軟件收集并管理其連續(xù)數(shù)據(jù)流。軟件強(qiáng)大的數(shù)據(jù)壓縮性能實(shí)現(xiàn)了極其高效的海量數(shù)據(jù)收集、存儲和集中。它將年度存儲容量從之前的60百萬兆字節(jié)縮減到10百萬兆字節(jié),降低了每百萬兆字節(jié)存儲數(shù)據(jù)的管理成本,從而顯著削減了成本。
使用Proficy Historian之前,中心只能以多個關(guān)系數(shù)據(jù)庫為基準(zhǔn),在線存儲3個月原有應(yīng)用程序的數(shù)據(jù),優(yōu)化數(shù)據(jù)的能力有限。從存檔中拉出數(shù)據(jù),手動加載離線數(shù)據(jù),然后運(yùn)行數(shù)據(jù)查詢,落實(shí)數(shù)據(jù)請求需要幾天甚至幾周的時間,這是一項(xiàng)耗時且艱巨的任務(wù)。
現(xiàn)在,借助Historian,中心能夠在線存儲長達(dá)10年的數(shù)據(jù),無需手動移動數(shù)據(jù),即可高效查詢更大的數(shù)據(jù)集,從而實(shí)現(xiàn)近乎實(shí)時的數(shù)據(jù)分析。它能夠快速地給出自安裝后設(shè)備性能劣化等影響運(yùn)營性能的關(guān)鍵問題的答案。更快地確定問題,從而及時地作出決策,更快地實(shí)行糾正措施。
• 更快的分析和預(yù)測診斷
如今,中心每天連續(xù)運(yùn)行上百個不同的數(shù)據(jù)算法,企業(yè)得以更快地進(jìn)行歷史數(shù)據(jù)的分析,為實(shí)時運(yùn)營系統(tǒng)帶來意義和上下文,從而獲得關(guān)鍵競爭優(yōu)勢。它也能通過比較歷史數(shù)據(jù)和當(dāng)前資產(chǎn)績效,查看劣化跡象的趨勢和模式,提前數(shù)周預(yù)測資產(chǎn)故障和停機(jī)時間,在問題發(fā)生之前進(jìn)行檢測、診斷和預(yù)測。
例如,中心避免了多起由閥門伺服和執(zhí)行機(jī)構(gòu)問題引起的故障,利用歷史和高級分析實(shí)現(xiàn)數(shù)據(jù)脈絡(luò)化和可行性情報(bào),減少停機(jī)時間,為客戶節(jié)省了數(shù)百萬的支出。安裝Historian后,通過系統(tǒng)內(nèi)大數(shù)據(jù)的使用,每年能節(jié)約和免除0.75億美元的成本,同時將性能增強(qiáng)為雙倍,為客戶帶來價值。
結(jié)語
業(yè)務(wù)和IT主管們需要捫心自問,他們的工業(yè)企業(yè)是否最大化過程數(shù)據(jù)的潛在價值,并通過對過程數(shù)據(jù)的分析推動實(shí)時改進(jìn)。隨著數(shù)據(jù)容量的不斷增大,信息驅(qū)動的戰(zhàn)略將成為一種很普遍的競爭力來源,在工業(yè)領(lǐng)域應(yīng)用大數(shù)據(jù)比以往任何時候都來的迫切。
仔細(xì)分析高級歷史,不難發(fā)現(xiàn)技術(shù)是如何通過對大量歷史數(shù)據(jù)集的高效、實(shí)時分析幫助企業(yè)利用其時間序列過程數(shù)據(jù)的。這些解決方案能夠?yàn)槠髽I(yè)提供關(guān)鍵見解,以便及時地作出運(yùn)營決策,改革業(yè)務(wù)方式,同時確保整個企業(yè)內(nèi)的持續(xù)改進(jìn)。
未來,通過信息,企業(yè)能夠更好地了解自身的業(yè)務(wù),并預(yù)見可能發(fā)生的問題,利用大數(shù)據(jù)的價值,提高績效,超越競爭對手。企業(yè)擁有更為出眾的創(chuàng)新力和競爭力,推動價值。云中的大數(shù)據(jù)能夠顯著地促進(jìn)業(yè)務(wù)增長,持續(xù)推動績效優(yōu)化,獲得長期成功。
摘自《自動化博覽》2012年第12期