來源: 中國信息產業網
中國工程院院士鄔賀銓認為,大數據時代已經到來。
為什么是“大數據”時代?
據鄔賀銓介紹,工業革命以后,書籍以文字為載體,知識量大約十年翻一番,迄今翻番的周期已經縮短為兩年左右。目前,醫療衛生、地理信息、電子商務、影視娛樂每天都有大量數據產生。因此,到2012年年底,全球數據總量將達到2.7ZB,到2015年將達到8ZB。麥肯錫預測,到2020年,全球數據使用量要暴增44倍(不是生產量,而是使用量)達到35.2ZB。
上海世博會期間,將近1萬輛公交車都裝上了攝像頭,這些攝像頭1個小時將產生3.6GB的數據量,每天只有一半的車傳數據,每天兩分鐘,一個月就產生18TB。北京目前裝了80萬以上的高清攝像頭,每天產生的數據量相當可觀。
由此可見,“數據爆炸”已經出現。大數據會使全球制造業、政府、零售商、金融機構獲得很多數據,并由此產生巨大的商業價值。例如全球個人用戶使用地理信息數據的商業價值就高達6000億美元,美國醫療行業數據價值每年可達3000億美元。
那么,該如何應對大數據時代的到來?
鄔賀銓認為,首先,大數據需要大管道和超高速的網絡連接。大數據通常都是非結構性的,其中視頻、音頻等數據對實時性提出了很高的要求。因此,網絡需要寬帶化。大數據的存儲、分析也給運營商帶來了新挑戰,例如移動網絡此前優化的主要目的是語音業務,但現在數據業務在網絡中已經占有主導地位,考慮到數據業務具有突發性的特點,也需要在網絡層面加以考慮。在投資方面,數據業務投資比語音業務高5倍,電信運營商不得不對核心網進行虛擬化,以便有效利用網絡資源。
然而,在寬帶網建設方面,我國的國際互聯網干線帶寬、國內帶寬以及移動互聯網下載速率的國際排名都比較靠后,這和中國在世界的政治地位相比太不相稱。
其次,大數據時代的網絡優化需要以內容為中心。過去互聯網的瀏覽是要訪問一個網站,但訪問網站不是目的,我們需要的是內容。過去的網絡結構并不是以內容為核心的,現在把內容分配在邊緣路由器上,我們就可以快速地找到內容,而不必考慮這個內容來自于哪個網站。同時,互聯網既然是以數據為主,為了減少時延提高吞吐量,移動網絡就要盡量做到扁平化。移動通信,顧名思義,是為了人在移動過程中通信。現在移動通信70%~80%的話務量都產生在室內,因此,應該理解為個人通信更合適,而且現在的移動通信主要消耗的不是語音帶寬,而是數據帶寬。所以,沒有必要讓所有的用戶都去訪問網絡中間的服務器,而是把很多操作放在網絡邊緣。
此外,大數據時代期待新的商業模式。據鄔賀銓介紹,目前移動互聯網的流量相當于8年前的固網流量。面對移動數據流量猛增的態勢,需要改變完全按照下載流量而不區別下載速度的資費方式。例如同樣的數據,5秒鐘下載完成和5分鐘下載完成的用戶體驗是截然不同的,因此在資費方面也需要區別對待。
應對“大數據”挑戰僅管理數據量是不夠的
中國信息產業網官方微博
全球技術研究和咨詢公司Gartner最近指出,許多IT領袖通過排斥信息管理的其他方面,而側重在信息的大容量上來管理“大數據”帶來的挑戰,這留下了大量的問題需要在以后解決。
大數據是一個流行的術語, 用來代表在未來豐富數據格局中信息的指數增長、獲取和使用。所謂“大數據”過度集中在信息量上(從存儲通過轉換/傳輸直到分析的每一個層面)。隨著IT領袖試圖擴大和改變,以滿足不斷變化的業務需求,大數據極大地側重在目前的問題上并導致短視的決策,這將有害于企業的信息架構。
當信息管理人員同時失去數據訪問和資格方面的控制時,他們可能將側重點放在量上。Gartner分析師告誡,過于狹窄的側重點將迫使兩到三年后進行大規模的再投資,以解決大數據其他方面的問題。
Gartner研究副總裁Mark Beyer表示:“當今的信息管理準則和技術根本無法完成處理所有動態信息的任務。信息管理人員必須通過規劃信息管理的所有層面,從根本上重新考慮他們的方法。訪問大數據浩瀚資源的業務需求為信息管理人員提供了企業改變使用信息方式的機會。IT領袖一定要教育業務同行直面挑戰,同時確保一定程度的控制和協調,以使大數據機會不會變成大數據混亂, 這也許會提高合規風險,增加成本并造成許多信息孤島。”
當前,全球信息量正在以59%以上的年增長率增長,量顯然是管理數據、業務方面的一個最重要的挑戰,但IT領袖也必須在重視信息量管理的同時,關注信息的種類和信息處理的速度。
量:企業系統內部的數據量的增加是由交易量、其他傳統數據類型和新的數據類型引發的。過多的量是一個存儲的問題,過多的數據是一個大量分析的問題。
種類:IT領袖在將大量的交易信息轉化為決策上一直存在的困擾——現在有更多類型的信息需要分析——主要來自社交媒體和移動(情景感知)。種類包括表格數據(數據庫)、分層數據、文件、電子郵件、計量數據、視頻、靜態圖像、音頻、股票行情數據、金融交易和其他種類。
速度:這涉及數據流、結構化記錄的創建,以及訪問和交付的可用性。速度意味著正在被生成的數據有多快和數據必須被多快地處理以滿足需求。
Gartner分析師表示,雖然大數據是一個重大問題,但真正的問題是讓大數據更有意義,在大數據里面尋找模式幫助組織機構作出更好的商業決策。
Gartner副總裁兼著名分析師Yvonne Genovese表示:“企業正日益使用新形式的信息,例如文本、社交和情景。在我們所說的基于模式的戰略中尋找支持業務決策的模式。對這些企業來說,管理極端數據的能力是他們的核心競爭力。基于模式的戰略是作為變化的一個引擎,利用其模式選擇流程中的所有維數。它提供新業務解決方案建模的基礎,允許企業采用。可以在包括社交計算分析或情景感知計算引擎在內的多種媒介中完成‘尋找模型并采用’的周期。”
來源:中國信息產業網-人民郵電報 作者:洪林