大數據時代的來臨

“大數據”是指一組數據集非常龐大且復雜，以致于很難利用現有的數據庫管理工具進行處理。它有助于統一大型數據集，并能夠從分析中得出其它信息，而不是來自具有相同數據總量的單獨的較小數據集。企業領導者已對此作出回應，CEO們是大數據倡議的頭號支持者。在互聯網極為發達的今天，大數據時代即將來領。本文重點分析大數據時代，監控儲存模式的變化以及大數據帶來帶的智慧城市新面貌。

大數據時代的來臨

互聯網特別是移動互聯網的發展，加快了信息化向社會經濟各方面、大眾日常生活的滲透。有資料顯示，1998年全球網民平均每月使用流量是1MB(兆字節)，2000年是10MB，2003年是100MB，2008年是1GB(1GB等于1024MB)，2014年將是10GB。全網流量累計達到1EB(即10億GB或1000PB)的時間在2001年是一年，在2004年是一個月，在2007年是一周，而2013年僅需一天，即一天產生的信息量可刻滿1.88億張DVD光盤。我國網民數居世界之首，每天產生的數據量也位于世界前列。淘寶網站每天有超過數千萬筆交易，單日數據產生量超過50TB(1TB等于1000GB)，存儲量40PB(1PB等于1000TB)。百度公司目前數據總量接近1000PB，存儲網頁數量接近1萬億頁，每天大約要處理60億次搜索請求，幾十PB數據。一個8Mbps(兆比特每秒)的攝像頭一小時能產生3.6GB數據，一個城市若安裝幾十萬個交通和安防攝像頭，每月產生的數據量將達幾十PB。醫院也是數據產生集中的地方。現在，一個病人的CT影像數據量達幾十GB，而全國每年門診人數以數十億計，并且他們的信息需要長時間保存。總之，大數據存在于各行各業，一個大數據時代正在到來。

信息爆炸不自今日起，但近年來人們更加感受到大數據的來勢迅猛。一方面，網民數量不斷增加，另一方面，以物聯網和家電為代表的聯網設備數量增長更快。2007年全球有5億個設備聯網，人均0.1個；2013年全球將有500億個設備聯網，人均70個。隨著寬帶化的發展，人均網絡接入帶寬和流量也迅速提升。全球新產生數據年增40%，即信息總量每兩年就可以翻番，這一趨勢還將持續。目前，單一數據集容量超過幾十TB甚至數PB已不罕見，其規模大到無法在容許的時間內用常規軟件工具對其內容進行抓娶管理和處理。

數據規模越大，處理的難度也越大，但對其進行挖掘可能得到的價值更大，這就是大數據熱的原因。首先，大數據反映輿情和民意。網民在網上產生的海量數據，記錄著他們的思想、行為乃至情感，這是信息時代現實社會與網絡空間深度融合的產物，蘊含著豐富的內涵和很多規律性信息。根據中國互聯網絡信息中心統計，2012年底我國網民數為5.64億，手機網民為4.2億，通過分析相關數據，可以了解大眾需求、訴求和意見。其次，企業和政府的信息系統每天源源不斷產生大量數據。根據賽門鐵克公司的調研報告，全球企業的信息存儲總量已達2.2ZB(1ZB等于1000EB)，年增67%。醫院、學校和銀行等也都會收集和存儲大量信息。政府可以部署傳感器等感知單元，收集環境和社會管理所需的信息。2011年，英國《自然》雜志曾出版專刊指出，倘若能夠更有效地組織和使用大數據，人類將得到更多的機會發揮科學技術對社會發展的巨大推動作用。

大數據：分隔的存儲系統

大的數據并不是一種特定類型的數據。每一種非結構化數據均可被視為大數據。這包括在社交網站上的數據、在線金融交易數據、公司記錄、氣象監測數據、衛星數據和其他監控、研究和開發數據。大數據的量是巨大的而且是非結構化的。

1、通過隔離管理大數據存儲

如果您在您的企業中有多個存儲箱，那么將數據庫、線交易處理(OLTP)和微軟Exchange應用到特定的存儲系統絕對是一個好主意。而專其它存儲系統則用于大數據應用，如門戶網站，在線流媒體應用，等等。

如果您的企業負擔不起分隔的存儲系統，將特定的前端存儲端口到數據庫，OLTP，等等；致力于大數據應用到其他端口。背后的基本原理是使用專用端口，而大數據流量是以千字節或兆字節衡量，OLTP應用流量是以每秒的輸入/輸出操作(IOPS)衡量，因為數據塊的大小是比大數據更大而比OLTP應用程序更校OLTP應用程序是CPU密集型的，而大數據應用程序更多的使用前端端口。因此，更多的端口可以專注于大數據應用。

第2頁：大數據應用的必然選擇

2、大數據分析

如今，很多公司提供兼容數據管理的存儲系統。你應該在尋找你的大數據存儲管理解決方案時評估這些公司。如EMCIsilon的集群存儲系統對于大數據存儲管理是一個更好的選擇，因為在一個單一的文件系統中大數據能增長到多字節的數據。除了存儲，大數據管理的另一項大的挑戰是數據分析。一般的數據分析應用程序無法很好的處理大數據，畢竟涉及到大量的數據。

目前，諸如EMCGreenplum這樣的公司就在采用專門針對大數據的管理和分析的工具。這些應用程序運行在集群存儲系統上，緩解大數據的管理。建議選擇應用程序可同時工作在群集存儲系統，并迅速有效地分析數據。快速索引，確保元數據始終駐留在固態硬盤(SSD)，如果存儲箱為您提供了這樣的選擇的話。

管理大數據的另一個需要重點考慮的是未來的數據增長。你的大數據存儲管理系統應該是可擴展的，足以滿足未來的存儲需求。

大數據：智慧城市的智慧引擎

大數據應用于智慧城市，推動我國城市化進程。智慧城市是城市信息化向智慧化發展的必經階段，同時在建設智慧城市過程中也會帶動相關產業的整體發展，成為經濟轉型、產業升級、城市提升的新引擎。

從智慧城市的體系結構來看，由于智慧城市的基礎在于物聯網技術，因此智慧城市體系架構和物聯網的體系結構相類似，也可分為四層，分別為感知層、傳輸層、平臺層、應用層。智慧城市相對于之前數字城市概念，最大的區別在于對感知層獲取的信息進行了智慧的處理，因此也可以認為智慧城市是數字城市的升級版。由城市數字化到城市智慧化，關鍵是要實現對數字信息的智慧處理，其核心是引入了大數據處理技術。

大數據技術是處理感知層數據的必然選擇

感知層是智慧城市體系對現實世界進行感知、識別和信息采集的基礎性物理網絡，海量的數據在感知層產生。以視頻監控為例，北京目前用于視頻監控的攝像頭有50萬個，一個攝像頭一個小時的數據量就是幾G，每天北京市的視頻采集數據量在3PB左右，而一個中等城市每年視頻監控產生的數據在300PB左右，這些攝像頭實時回傳信息，海量數據對數據存儲、并發處理的要求是近乎苛刻的。同時，對于海量數據的處理不單是智慧化的必然要求，同時也是對IT投資的一種保護，否則非但不能充分挖掘數據的價值，還將為海量數據所累。

智慧城市的建設帶來數據量的爆發式增長，而大數據就像血液一樣遍布智慧交通、智慧醫療、智慧生活等智慧城市建設的各個方面，城市管理正在從“經驗治理”轉向“科學治理”。

大數據為智慧城市的各個領域提供強大的決策支持。在城市規劃方面，通過對城市地理、氣象等自然信息和經濟、社會、文化、人口等人文社會信息的挖掘，可以為城市規劃提供強大的決策支持，強化城市管理服務的科學性和前瞻性。在交通管理方面，通過對道路交通信息的實時挖掘，能有效緩解交通擁堵，并快速響應突發狀況，為城市交通的良性運轉提供科學的決策依據。在輿情監控方面，通過網絡關鍵詞搜索及語義智能分析，能提高輿情分析的及時性、全面性，全面掌握社情民意，提高公共服務能力，應對網絡突發的公共事件，打擊違法犯罪。在安防與防災領域，通過大數據的挖掘，可以及時發現人為或自然災害、恐怖事件，提高應急處理能力和安全防范能力。