SQL Server大數據解決方案設計及實現
2013年4月18-20日,第四屆中國數據庫技術大會(DTCC 2013)在北京福朋喜來登酒店拉開序幕。在為期三天的會議中,大會將圍繞大數據應用、數據架構、數據管理(數據治理)、傳統數據庫軟件等技術領域展開深入探討,并將邀請一批國內頂尖的技術專家來進行分享。本屆大會將在保留數據庫軟件應用實踐這一傳統主題的基礎上,向大數據、數據結構、數據治理與分析、商業智能等領域進行拓展,以滿足于廣大從業人士和行業用戶的迫切需要。
自2010年以來,國內領先的IT專業網站IT168聯合旗下ITPUB、ChinaUnix技術社區已經連續舉辦了三屆數據庫技術大會,每屆大會超過千人規模,云集了國內技術水平最高的數據架構師、DBA、數據庫開發工程師、研發總監、IT經理等,是目前國內最受歡迎的數據庫技術盛會。
在4月19日(大會第二天)下午的主題演講中,來自微軟亞太研發集團云創新中心高級項目經理孫巍先生,為我們分享了關于《基于SQL Server的大數據解決方案設計及實現》的相關話題,其中主要提到了大數據到底意味著什么、是否真的需要大數據、以及關于大數據的一些事。
▲微軟亞太研發集團云創新中心高級項目經理孫巍
真的需要大數據嗎?
大數據是目前IT領域目前最熱門的話題,但是我們真的需要大數據嗎?每家企業都需要大數據戰略嗎?孫巍先生表示,大數據確實能給我們帶來很多好處,我們所有人都需要,比如企業的品牌和產品的口碑如何?如何基于天氣和交通流量的模式優化我的車隊?如何更好地預測我的支出?
▲大數據到底意味著什么?
但是,大數據是一項系統工程,不能僅僅是購買或使用某個產品就可以解決問題,并且大數據需要很多很多資源和技術,所以,大數據離我們很遠嗎?
2類主流的NOSQL系統
鍵/值存儲
• 例如:MongoDB, Couchbase, Cassandra, Windows Azure;
• 靈活的數據模型,例如JSON;
• 通過鍵的Hash支持集群;
• 基于鍵獲取單一的記錄。
▲管理大數據
Hadoop
• 為存儲和處理海量數據而設計的可擴展容錯框架;
• 典型的沒有數據模型;
• 記錄存儲在分布式文件系統。
微軟的Hadoop策略
談到微軟的Hadoop策略,孫巍先生主要提到了四點,包括構建微軟自己的Hadoop分發版本,比如向Apache基金會提交變更、免費下載等;其次是為Windows和Azure而優化,包括AD與Systems Center的集成,以及Hadoop-as-a-service-on-Azure;專注于.NET開發者,表現為Visual Studio集成、支持C#;最后就是企業就緒的差異化,包括性能和可擴展、高可用、易于使用等等。
總結
針對本次演講,孫巍先生做出了自己的總結,大數據這個話題不僅僅只是Hadoop,未來并不是一個某一個架構或方案能夠一統天下的格局,需要對大數據有一個清晰的認識。并且,微軟正在積極參與大數據的方案和設計。