“ 大數據” 時代的腳步已悄然而至,“大數據”(Big Data)已迅速成為近期爭相傳誦的熱門科技概念。未來的十年將是一個“大數據”引領的智慧科技的時代。專家們認為:“‘大數據’技術就是下一個經濟、國防、安全、社會活動等領域的制高點!”“大數據”是繼云計算、物聯網之后信息技術領域的又一熱點, “大數據”時代的來臨,給各行各業帶來了根本性變革,讓所有人都看到了“大數據”的挑戰與機會。對于工業控制行業同樣也是如此。本文即從“大數據”技術及其在工控行業中的應用研究的角度來探討一下“大數據”技術問題。
NO1 吹響大數據“集結號”!
“大數據”(Big Data)之所以會成為熱點,主要應歸因于近年來互聯網、云計算、移動和物聯網的迅猛發展。無所不在的移動設備、射頻識別技術(RFID)、無線傳感器每分每秒都在產生著成千上億的數據,數以億計用戶的互聯網服務時時刻刻都在產生巨量的數據,需要處理的數據量實在是太多、增長實在是太快了,而業務需求和競爭壓力對數據處理的實時性、有效性又提出了更高要求,傳統的常規技術手段根本無法應對“大數據”浪潮。國際數據公司(IDC- InternationalData Corporation)預計,大量新數據無時不刻不在涌現,它們以每年50%的速度在增長,或者說每兩年就要翻一番多。
人類社會發展的核心驅動力, 目前,已由“動力驅動”轉變為“數據驅動”;經濟活動重點,已從材料的使用轉移到“大數據”的使用。“大數據”正在成為各個業界的焦點話題。2012年1月,在瑞士達沃斯舉行的世界經濟論壇上,“大數據”是框定的主題之一。該論壇的一份報告——《大數據,大影響》,宣告了“大數據時代”的到來!今天已經進入“大數據”時代,身邊的一切都在“大數據”范圍內。人們似乎再也沒有什么秘密可言,各種信息都暴露在“大數據”之中。“大數據”幾乎是無處不在。傳統行業創新升級,“大數據”成背后推手!企業必須直面“大數據”的挑戰。
NO2 關于“大數據”的基本認識
2.1 “大數據”的定義
什么是“大數據”?從一般意義上說,“大數據”是指那些超過傳統數據庫系統處理能力的數據,數據量通常在10TB(1TB=1024GB,為1萬億字節)以上。因為數據庫、“大數據”已經成為變革的中心,事實上成為一場信息革命,在IT領域、能源業、制造業、零售業、政府管理、科技與國防軍事等,“大數據”都改變了整個世界的運行方式。因此,我們稱之為“大數據“時代。對于什么是“大數據”,目前業界并沒有統一的定義。而根據維基百科的定義:“‘大數據’是指無法在可承受的時間范圍內用常規軟件工具進行捕捉、管理、處理的數據集合。”從產業角度,常常把這些數據與采集它們的工具、平臺、分析系統一起統稱為“大數據”。
縱觀人類歷史,每一次劃時代的變革都是以新工具的出現和應用為標志的。蒸汽機把人們從農業時代帶入了工業時代,計算機和互聯網把人們從工業時代帶入了信息時代,而如今“大數據”時代已經到來,它源自信息時代,又是信息時代全方位的深化應用與延伸。“大數據”時代的生產原材料是數據,生產工具則是“大數據”技術,是對信息時代所產生的海量數據的挖掘和分析,從而快速地獲取有價值信息的技術和應用。
2.2 “大數據”的量級20多年來,各個領域特別是信息領域的數據量的加速增長,是“大數據”概念產生的基礎。專家測算,2000年全球新產生的數據量為1000PB到2000PB,到2010年僅僅全球企業一年新存儲的數據量就超過了7000PB。
大數據= 海量數據+ 復雜類型數據。目前全球每年產生的數據量是ZB級,到2015年會達到35個ZB。這表明,海量存儲已經達到了ZB級(1ZB=1000PB,1PB=1000TB,1TB=1000GB,1GB=1000MB),對于硬件系統的需求已經超出了傳統的設計概念。
2.3 “大數據”的特點
國際數據公司( IDC) 認為, 某項技術要想成為“ 大數據” 技術, 必須滿足IBM所描述的三個 “V”:多樣性(variety)、大容量(volume)和時效性高(velocity)。多樣性是指數據應包含結構化的和非結構化的數據;大容量是指聚合在一起供分析的數據量必須是非常龐大的;時效性高則是指數據處理的速度必須很快。具體來說,“大數據”具有4個基本特征:一是數據體量巨大。百度資料表明,其新首頁導航每天需要提供的數據超過1.5PB(1PB=1024TB),這些數據如果打印出來將超過5千億張A4紙。有資料證實,到目前為止,人類生產的所有印刷材料的數據量僅為200PB。二是數據類型多樣。現在的數據類型不僅是文本形式,更多的是圖片、視頻、音頻、地理位置信息等多類型的數據,個性化數據占絕對多數。三是處理速度快。數據處理遵循“1秒定律”,可從各種類型的數據中快速獲得高價值的信息。四是價值密度低。以視頻為例,一小時的視頻,在不間斷的監控過程中,可能有用的數據僅僅只有一兩秒。
2.4 “大數據”技術的構成
如果說“大數據”是一種技術,又具體包括哪些技術?專家認為,“大數據”技術由四種技術構成:它們包括:分析技術、存儲數據庫、NoSQL數據庫、分布式計算技術。
各種研究表明,“大數據”是與智能制造、無線網絡革命并行的又一次顛覆性的技術變革。其具體內容包括:海量數據分析技術、“大數據”處理技術、分布式計算技術、數據可視化技術。
NO3 美國正在全面推進“大數據”研發
2012年3月29日,奧巴馬總統發布《大數據研究和發展倡議》,開啟了美國“大數據”全面研發工作,“大數據”作為信息時代獲取、處理與利用信息的一項核心技術,正改變著國家安全、社會經濟發展乃至人類生活的各個方面,已成為信息時代大國競爭的一個戰略性的新領域。美國甚至流行一句諺語叫“除了上帝,任何人都必須用數據來說話”。美國政府把“大數據”看成是“未來的新石油”。
美國政府宣布“大數據研究和發展倡議(Big Data Research and DevelopmentInitiative)”,來推進從大量的、復雜的數據集合中獲取知識和洞見的能力。《大數據研究和發展倡議》提出,將提升美國利用收集的龐大而復雜的數字資料提煉真知灼見的能力,協助加速科學、工程領域創新步伐,強化美國國土安全,轉變教育和學習模式。《大數據研究和發展倡議》還承諾將在科學研究、環境保護、生物醫藥研究、教育以及國家安全等領域利用“大數據”技術進行突破。
該倡議涉及聯邦政府的美國國家科學基金(NSF)、美國國家衛生研究院(NIH)、美國能源部(DOE)、美國國防部(DOD)、美國國防部高級研究計劃局(DARPA)、美國地質勘探局(USGS)等六個部門。這些部門承諾將投資總共超過兩億美元,來大力推動和改善與“大數據”相關的收集、組織和分析工具及技術。在這份倡議中還透露了多項正在進行中的聯邦政府各部門的大數據計劃。主要內容如下:美國國家科學基金和美國國家衛生研究院主要推進大數據科學和工程的核心方法及技術研究,項目包括管理、分析、可視化、以及從大量的多樣化數據集中提取有用信息的核心科學技術;國防部高級研局項目主要推進大數據輔助決策,集中在情報、偵查、網絡間諜等方面,匯集傳感器、感知能力和決策支持建立真正的自治系統, 實現操作和決策的自動化;美國能源部試圖通過先進的計算進行科學發現,提供2500萬美元基金來建立可擴展的數據管理、分析和可視化研究所;美國地質勘探局通過給科學家提供深入分析的場所和時間、最高水平的計算能力和理解大數據集的協作工具,催化在地理系統科學的創新思維。
NO4 “大數據”技術在工控行業中的若干應用研究
4.1 在電力行業的若干應用研究
在電力行業,堅強智能電網建設及“三集五大”管理體系的決策部署,對數據的管理、共享及互操作提出了更高的要求。電力行業面臨著正在形成的大數據環境,為此,需要不斷挖掘大數據環境下的業務數據處理的潛在需求,探索適應電力數據的理論和方法,使得電力信息系統的運維的外延向數據運維的范疇進一步地拓展。以更好地適應數據量的迅速增長、數據類型的多樣化、數據時效性不斷提高。
以智能電網為例,電網互聯是電力系統發展的客觀規律,有必要加強研發大規模互聯電網的安全穩定運行技術、先進可靠的配電網與共用技術及微電網技術為主的分布式電力系統。因此,采集、分析并有效應用“大數據”是解決能源與公共事業關鍵業務的重要因素,可以實現向智能電網轉型、改善分布式可再生發電的資產預報與調度、提高發電效率以及改變客戶運營模式。
《大數據時代》的作者舍恩伯格說,可以抽象地認為,智能電網就是“大數據”這個概念在電力行業中的應用,就是通過網絡將用戶的用電習慣等信息傳回給電網企業的信息中心,進行分析處理,并對電網規劃、建設、服務等提供更可靠的依據。同時,對于風能、太陽能等具有間歇性的新能源,通過“大數據”分析進行有效地調節,也可以使新能源更好地與傳統的水火電進行互補,更為靈活地出力。在本質上,智能電網是“大數據”在電力上的應用。在電力行業,堅強智能電網的迅速發展使信息通信技術正以前所未有的廣度、深度與電網生產、企業管理快速融合,信息通信系統已經成為智能電網的“中樞神經”,支撐新一代電網生產和管理發展。
“大數據”與電網的融合可組成智能電網,涉及發電到用戶的整個能源轉換過程和電力輸送鏈,主要包括智能電網基礎技術、大規模新能源發電及并網技術、智能輸電網技術、智能配電網技術及智能用電技術等,是未來電網的發展方向等。電力企業是不是符合“大數據”應用的企業?享譽信息產業界多年的梅特卡夫定律指出,網絡的價值與聯網的用戶數的平方成正比。隨著電力工業與信息化的深度融合,智能電網將承載著電力流、信息流和業務流,電網和電力信息通信網的用戶將發生疊加,電網的整體價值會躍升。這種價值的躍升將使電力企業具有大數據的時代特征。電力信息通信將突破傳統運維、產生更多的增值服務,甚至催生新的管理模式創新。數據中心將被賦予更多的職能,比如強大的數據挖掘、數據分析和決策能力。電力企業業務數據主要來自生產數據和運營管理數據。電力企業生產數據既包括發電量、電壓穩定性等實時采集的數據,也包括物聯網、云計算、新能源并網、移動互聯、電動汽車充換電、車聯網等技術帶來的新數據業務。電力企業運營管理數據,則包括交易電價、售電量、用電客戶、ERP、一體化平臺、協同辦公等方面的數據。如能充分利用這些基于電力生產、使用等實際數據,對其進行深入分析,便可以提供大量的高附加值服務。這些增值服務將有利于電網安全檢測與控制,客戶用電行為分析與客戶細分,電力企業精細化運營管理等,實現更科學的需求側管理。數據、信息和知識的“按需分配、恒值供給、多次挖掘”將成為新經濟形態的不竭動力,而“大數據”技術和應用成為決策的輔助系統。
“大數據”時代對電力行業發展提出新的挑戰,但也帶來新的發展機遇。通過良好的數據管理,并運用數據挖掘手段踐行大數據戰略,將切實提高電力生產、營銷,以及電網運維等各方面生產管理水平,為使中國電力企業繼續立于世界先進行列提供強大的信息技術支撐。
據悉,2013年3月,中國電機工程學會電力信息化專委會擬編制發布《中國電力大數據發展白皮書(2013)》,這將是我國首次就電力“大數據”問題發布的白皮書。作為電力信息化專委會秘書處所在單位,國網信息通信有限公司承擔白皮書的調研和編寫工作。白皮書全文12000 余字,分為引言、迎接電力“大數據‘時代、展望電力“大數據”時代、邁向電力“大數據”時代、結束語等五部分。
這充分表明,電力工業作為國家基礎性能源設施,與社會發展和人民生活息息相關,是國民經濟社會健康穩定持續發展的重要條件。積極應用“大數據”技術,推動中國電力“大數據”事業健康發展,對實現中國電力工業科學發展具有極大的現實意義。
完全可以預期,“大數據”技術的在電力行業中的應用研究,僅僅是開始。隨著電力行業的不斷發展,“大數據技術”應用,將會不斷擴展與深化。
4.2 有助于提升工控行業的“洞察力”
所謂“洞察力”,指的是人對任何特定情況作出預見的能力。在企業管理上,“洞察力”更意味著管理者必須擁有以數據為基礎、深入觀察分析,透過現象看本質、將理論應用到實際工作中的能力。隨著數據總量的持續增長和急速膨脹,“大數據”時代已經來臨,2013年電力、石油等能源細分行業紛紛拉開了“大數據”開發應用的序幕。“大數據”技術強調的是從海量數據中快速獲取有價值信息的能力,如何從海量數據中高效獲取數據,有效地深加工并最終得到有用的數據是能源企業涉足“大數據”的目的。“大數據”是以大量資料為基礎,以更加科學的方式,進行分析、洞察的創新能力。
實際上, 進入“ 大數據” 時代以來,現代企業正經歷著規模化、多樣化和高速化的數據挑戰。越來越多的管理者開始意識到,若無法對海量信息進行有效的分析處理,預測出潛在的業務風險,便容易在競爭中處于劣勢;若無法通過有效的溝通,確保洞察到的信息被較好地執行,則可能致使企業商機的流失。
未來,企業會依靠洞悉數據中的信息更加了解自己,也更加了解客戶。在這個瞬息萬變的時代,面對各種隨時可能發生變化的形勢,管理者不妨使用“以洞察獲取先機、用溝通確保執行”的方式,制定各種應對戰略,保證企業這艘“大船”平穩行駛,在不斷的競爭中獲得勝利。企業管理公司SAP(全球知名的企業管理和協同化商務解決方案供應商)曾做過一項調查,發現在任何行業中,將最具競爭力的企業與最不具競爭力的企業相比,前者的員工受到更強洞察力的影響的比例是后者兩倍,由此可見,強大的洞察力對企業競爭優勢起推動作用。
歸根到底,“大數據”的最終意義在于獲得提升“洞察力”的能力和價值。移動互聯時代,數據已經被認為是寶貴資源,任何一家有雄心、渴望獲取洞察力的企業,都應及早制定“大數據”戰略和方案。否則,所有的機會將被“數據鴻溝”所延宕。
4.3 “大數據”的核心:更準確地預測企業數據
在“大數據”時代,數據與機器將在人類的日H常決策中占有重要的地位。未來,人類必須學會如何和海量的數據相處。從個體角度而言,人類需要學會如何平衡個人直覺與數字證據之間的關系;從企業與組織角度而言,人類需要探索企業組織架構和決策流程與數據之間的關系;從創新角度而言,人類需要探索如何打造合適的產業環境,促進更多的創新的“大數據”應用的誕生。“大數據”時代,海量數據處理與挖掘的技術固然十分重要,但是,更為重要的因素仍然是人。只有人,才能利用新技術與新方法創造性地搜集與探索數據中隱含的意義;只有人,才能最大限度地發揮數據的作用,在機器與數據的支持下更有效地決策。換句話說,“大數據”的核心:是要求更準確地預測企業的數據。為了適應“大數據”時代的來臨,企業需要從管理者的思維方式、企業的組織架構和信息環境等多方面進行改變以與之相適應。
企業“大數據”的應用一方面是與宏觀經濟、人民生活、社會保障、道路交通的信息融合,促進經濟社會發展;另一方面,是各個行業或企業內部,跨專業、跨單位、跨部門的數據融合,提升行業、企業管理水平和經濟效益。
4.4 數據挖掘技術在工控行業里的應用
數據挖掘, 又稱為知識發現(Knowledge Discovery),是通過分析每個數據,從大量數據中尋找其規律的技術。利用大數據可對業務進行分析,加工成有用的數據,進而全面掌控企業業務。對電力行業來說,大數據是電力企業深化應用、提升應用層次、強化集團企業管控的有力技術手段。隨著電力企業各類IT系統對業務流程的基本覆蓋,采集到的數據量迅速增長。電力行業面臨的問題不僅僅是收集和存儲數據,而是圍繞數據采用相應的定量和統計信息,挖掘更加有價值的信息。如國網信通公司在北京亦莊的數據中心里,就設有10200個傳感器,它們及時采集數據,存儲到云并進行分析和利用。
數據挖掘是從海量實際應用數據中,提取隱含在其中的、潛在有用信息和知識的過程,是一個知識發現過程。整個過程分為業務理解、數據理解、數據準備、建立挖掘模型、評估和部署六個步驟。即在開始數據挖掘之前,我們必須了解業務需求,根據需求明確挖掘主題、要求和最終目標;接下來便是對現有數據進行評估,并對原始數據進行組織、清理、集成、變換等一系列數據收集和預處理工作;在搞好數據治理的基礎上,便可應用數據挖掘算法和工具建立挖掘模型;之后對所建立的模型進行評估,重點具體考慮得出的結果是否符合最初的業務目標;最后,便可將發現的結果以及過程利用各種可視化技術(報表、報告、圖形等)呈現出來。
4.5 工控行業的“大數據”應用案例
工業控制系統中“大數據”的應用研究。現舉例如下:
案例之一,《SCADA系統中大數據處理的研究與開發》
在SCADA (Supervisory Control AndData Acquisition)系統,即數據采集與監控系統的實際應用過程中,由于很多應用企業的數據采集點很多,同時由于應用方面的實際需要,通常需要把采集的數據保留一段很長的時間,用于查詢、分析和統計。另一方面,很多數據的采集要求實時性較高,需要保持著較高的采集頻率,從而,數據庫中的數據勢必會越來越多,因此,在保證系統穩定與正常訪問的前提下,將不可避免地面臨著大數據的處理問題。
如:某城市供水管網數據SCADA系統中有多個水廠,每個水廠有多達上百個數據采集點,包括了水溫、水流量、水壓力、水位以及其它多項監測數據。針對此類問題, 在不改變數據采集周期、不增加硬件設備的情況下,通過優化數據結構和算法,完全可以達到提高數據訪問速度、提高系統運行效率的目的,可具體進行優化。
案例之二,《大數據推動自動化和信息化融合》
2012年9月20日,“第二屆云計算大會暨大數據高峰論壇 ”在北京召開。在此次以“云計算與大數據融合發展方向”為主要探討話題的高峰論壇上,與會嘉賓北京首鋼自動化信息技術有限公司總工程師郭雨春做主題演講。
郭雨春認為,“縱覽首鋼對數據應用歷史,原來數據是一種資料,到后來變成資源,到現在是一種資產。”“兩化融合在制造業來講應該是比較新的課題,結合企業的信息化,從管理角度來講,應該是精細化管理,從生產流程來講應該是產業升級。這兩個都離不開自動化和信息化支持。建立數字化企業是兩化深度融合必然結果, 而其中最關鍵的是數據。因為兩化融合進程中,首先要提到就是自動化和信息化之間關系,就是因為有大數據,有了數據的融合,所以才出現了自動化和信息化的融合。” 毫無疑問,大數據創業的前景十分廣闊,“看不見的數據,看得見的價值”正給新興的通過數據創業的公司帶來難以估量的市場潛力。
案例之三,《“大數據”支撐智慧城市建設》
未來智慧城市的建設將帶來數據量的爆發式增長,“大數據”將像血液一樣遍布智慧交通、智慧醫療、智慧生活等智慧城市建設的各個方面,城市管理正在從“經驗治理”向“科學治理”轉變。智慧城市是否真正“智慧”源自“大數據”,如何挖掘海量數據的潛在價值并為城市治理提供可靠決策和建議,成為智慧城市建設的關鍵。專家建議,中國必須抓住“大數據”時代的機遇,挖掘海量數據的潛在價值,進而推進智能城市建設。
結合智慧城市對信息的需求,“大數據”在智慧城市中的落腳點為——為智慧城市的各個領域提供強大的決策支持。在城市規劃方面,通過對城市地理、氣象等自然信息和經濟、社會、文化、人口等人文社會信息的挖掘,可以為城市規劃提供強大的決策支持,強化城市管理服務的科學性和前瞻性。在交通管理方面,通過對道路交通信息的實時挖掘,能有效緩解交通擁堵,并快速響應突發狀況,為城市交通的良性運轉提供科學的決策依據。在安防與防災領域,通過大數據的挖掘,可以及時發現人為或自然災害、恐怖事件,提高應急處理能力和安全防范能力等。
中國工程院院士鄔賀銓在2013年1月11日舉行的《2013中國智慧城市年會》上說:“‘大數據’挖掘對智慧城市的經濟發展和社會管理是無形的生產資料,‘大數據’價值的合理共享和利用將創造巨大財富。” 鄔賀銓認為,智慧城市是城鎮化進程的下一階段,是城市信息化的新高度,是現代城市發展的愿景。智慧城市在產生大數據的同時,“大數據”也支撐著智慧城市的建設和發展。
NO5 “大數據”技術應用的局限性
這里,我并不是想說大數據分析不是一個好的工具。而是想說,就像任何好的工具一樣, 它有它所擅長的地方, 也會其局限的地方。 而世界正因為不能單從一個方面解釋而顯得有趣。
5.1 就像任何工具一樣,“大數據”分析也有其局限性。
“大數據”的局限性是算法不能完全代替人的判斷。實際上“大數據”在很多方面都無法取代人類的智慧和判斷,“大數據”可以處理大量非結構化數據,彌補管理者過于依賴直覺的不足;但是人們也應當意識到,“大數據”也有很多不擅長的地方:例如,無法對“情感”和“社會關系”等進行定性分析,原始數據和分析結果會受到人類主觀意識影響;又如,“大數據”不擅長上下文情景分析;再如,“大數據”不擅長處理真正的巨型問題;還如,原始數據往往會被扭曲,數據分析的結論往往基于大眾偏好。
“大數據技術目前存在局限性,還不適用于所有企業。“大數據”最美的地方,就是我們不再受數據容量的局限,它可以不斷的增加一些變量,然后增加價值,幫助我們做出更好的決策。
斯坦福大學專家特來沃爾•哈斯蒂也指出,“大數據”的理論是“在稻草堆里找一根針”,而面臨的問題則是“所有稻草看上去都挺像那根針”。而喬治•梅森大學專家瑞貝克•高爾丁則提出“數據提供者造假”的危險,在“大數據時代”變得更有害,因為“大數據”理論建立在“海量數據都是事實”的基礎上,但人們無法控制數據提供者和搜集者本人的偏見和篩選。近年來已有不少學者指出,擁有最完善數據庫、最先接受“大數據”理念的華爾街投行和歐美大評級機構,卻每每在重大問題上判斷出錯,這本身就揭示了“大數據”的局限性。
5.2 企業信息安全成為重大問題“大數據”堪稱一把雙刃劍,不論是企業還是個人,都會因為“大數據”的爆發而獲益匪淺,但同時,個人隱私也無處遁形。站在不同的角度看“大數據”,它既可能是大機會、大發展、大創新,也可能是大危機、大破壞、大淘汰。由于“大數據”炙手可熱,數據的流失、泄露和私下買賣也成為噩夢,全球各地不時發生的個人信息被盜可被看作“大數據時代”對個人生活的傷害,而“維基泄密事件”則提醒強力部門和各國政府,“大數據”的魔力同樣會對強者構成反嚙。數字世界擴大的同時也意味著危險隨之擴大。
最近,通過美國人斯諾登的持續爆料,“棱鏡門”公之于眾,全球在感到觸目驚心的同時,也不得不對美國收集數據的廣泛和浩瀚嘆為觀止。美國政府的神通廣大,一部分就是基于“大數據”。進入2013年6月,美國“棱鏡門”事件不斷發酵,為全球信息安全敲響了警鐘。“棱鏡”折射出的隱憂:大數據時代你我都是透明人!未知的安全威脅,讓人不寒而栗。
數據已經成為“企業的命脈”。然而,我們既不應該過分迷信大數據、將現有非“大數據”技術馬上棄之不顧,也不應該將一切問題都推在“大數據”身上。很顯然,傳統技術不會瞬間“過時”、新技術也無法一手遮天。
5.3 “大數據”理論并非人人相信
然而“大數據”概念似乎正被不顧后果、毫無章法地過度使用;即使偶爾使用方法對路,其適用范圍也并不像技術人員想象的那么寬泛。例如:美國學者就質疑過“大數據”理論。微軟研究院首席研究員、麻省理工學院公民媒體中心客座教授凱特•克勞福德的文章《對大數據的再思考》,就從五個方面對大數據理論提出了質疑:
(1)大數據中存在偏見和盲區。克勞福德認為,數字無法自己說話。不論其規模有多大,數據集歸根到底是人類設計的產物,而大數據的工具并不能使人們擺脫曲解、隔閡和錯誤的成見。
(2)大數據在一定程度上可以使城市變得更加智能和高效,但具體效果如何取決于市政官員對數據及其局限性的了解。
(3)大數據可能導致基于群體的歧視。大數據的倡導者認為 ,“大數據對不同的社會群體不會‘厚此薄彼’”,克勞福德認為,實際情況并非如此。大數據不僅不會避免群體歧視,還可能加重這一趨勢。
(4)隱私泄露是大數據應用中的重要問題。克勞福德認為,大數據的倡導者關于“大數據是匿名的,因此它不會侵犯我們的隱私”一說是大錯特錯。
(5)大數據為科學研究提供了新的途徑,但不可斷言“大數據是科學的未來”。克勞福德稱,大數據的研究方法只能統計某件事情發生的頻率和相關性,但不能得出因果關系。將大數據策略和小數據研究相結合也許是更好的科學研究途徑。
現今對于“大數據”的預測或悲觀或樂觀,它究竟會如何改變人類社會,我們還將拭目以待。但是,專家認為:“大數據”的創新性、先進性與前瞻性,是值得肯定的。因此,辯證地看“大數據”對人類活動的影響才是正確地。
5.4 “大數據”概念常常被過度濫用
“大數據”這個概念常常被過度濫用,要么就是被完全錯誤理解。對于某個特定應用程序中數據量的增加而言,無論這種增長幅度有多么迅猛,我們都不能就將其稱之為大數據應用。我們需要做的是對這套系統進行擴容,而這個過程根本沒那么復雜——只需做一些設計調整,如果系統本身就預留了擴展設計,連調整都不需要。
不過,一些學者指出,由于“大數據”理論過于依靠數據的匯集,那么一旦數據本身有問題,在“只問有什么,不問為什么”的模式下就很可能出現“災難性大數據”,即因為數據本身的問題,而導出錯誤的預測和決策。
“大數據”在業務層面也給企業帶來多重挑戰,其中三條最為緊迫。一是法律環境的缺失和民眾不客觀的情緒。在歐盟,什么是信息隱私、什么是信息安全是有明確規定的,有很明確的規范。美國的互聯網企業比較強勢,通常是做了再說,如果出了問題會通過游說國會,通過立法的形式加以肯定、保護。但是在中國,從整體上相關法律是缺失甚至說是空白的,電信運營商既沒有法律規范作為依據,也做不到像美國的運營商和互聯網企業對政府擁有強勢的影響力。
NO6結束語
根據IDC預測,中國的“大數據”市場從2012年到2016年將增長5倍,政府、電信、能源、銀行等將是最先使用“大數據”工具的行業。還預測,未來三年我國“大數據”市場將突破百億元。整個行業發展空間巨大。毫無疑問,“大數據”創業的前景廣闊,“看不見的數據,看得見的價值”正給新興的通過數據創業公司帶來不可估量的市場潛力。
“大數據”時代的到來,充滿了機遇與挑戰,誰能夠最快地習慣這種新形式下的數據模式,熟悉和掌握處理這種數據處理方法,誰就會在之后的信息爭奪戰中占得先機,取得主動權。“大數據”引領我們走向數據智能化時代,“大數據”時代將會智謀未來!得“大數據”者得天下!中國的工控行業應當在“大數據”浪潮里,迎頭趕上,奪取勝利果實。
摘自《自動化博覽》2013年10月