大數據堪比隱形金礦 奧巴馬政府稱其為"未來的新石油"
如果你是《老友記》的粉絲,你一定不會忘記錢德勒。劇中,他總是不斷地向人們解釋自己的工作,似乎別人永遠也搞不懂他所謂的“統計分析和數據修復專員”是做什么的?
這不能怪錢德勒,10年前,在《老友記》熱播時,要向一個陌生人解釋這個與數據統計分析相關的崗位確非易事。不過到了今天,錢德勒的工作卻變得炙手可熱。
隱形的金礦
在經歷了幾年的批判、質疑、討論、炒作之后,大數據終于迎來了屬于它的時代。2012年3月22日,奧巴馬政府宣布投資2億美元拉動大數據相關產業發展,將“大數據戰略”上升為國家戰略。奧巴馬政府甚至將大數據定義為“未來的新石油”。
早在1980年,著名的未來學家阿爾文·托夫勒便在《第三次浪潮》一書中,熱情地將大數據贊頌為“第三次浪潮的華彩樂章”。而那時候,科技水平的局限,世界并沒有做好擁抱大數據時代的準備。直到2009年前后,“大數據”一詞才開始逐步受到信息技術行業的重視。
2013年,世界上存儲的數據預計能達到約1.2澤(約12億TB)字節,如果把這些數據全部印刷成書,這些書可以覆蓋整個美國52次,如果將之存儲于標準的光盤,這些光盤可以堆成五堆,每一堆都可以伸到月球。
大數據的原理非常簡單,學過統計學的人都知道,在統計學中,樣本選取得越多,得到的統計結果就越接近真實的結果。海量的數據充斥世界,如果能將它們“提純”并迅速處理成有用信息,無異于掌握了一把能打開另一個世界的鑰匙。
越來越多的政府、企業,正逐步意識到這隱藏在數據山脈中的金礦,數據分析能力正成為各種組織的核心競爭力。目前,幾乎所有世界級的互聯網企業,無論社交平臺之爭還是電商價格大戰,都有它的影子。
2013年,被不少業內人士稱作“大數據元年”。
阿里:掘金大數據
阿里巴巴集團控股有限公司(下稱阿里集團)就是這樣一個深諳“數據的巨大力量”的企業。
2012年7月10日,阿里集團宣布設立首席數據官崗位(CDO),負責推進“數據分享平臺”戰略。同時,阿里集團發布了“聚石塔”平臺,為天貓、淘寶平臺上的電商以及電商服務商等提供數據云服務。
8年前,在支付寶(中國)網絡技術有限公司(下稱支付寶)成立的第二天,支付寶內部成立了數據部門。然而作為一個處理大數據業務的部門,它直到2010年才開始真正陸續有大數據業務,也就是在那一年,剛剛從美國歸來的計算機博士秦予加入了支付寶公司,負責支付寶和淘寶集市的大數據業務。
在中國,支付寶擁有的個人數據信息僅次于銀行業,然而如何將這些海量的數據信息轉化為可以產生價值的商業信息,成為了秦予最撓頭的事兒。
“作為大數據行業的先行者,阿里集團有海量的數據,是中國最好的平臺。”秦予告訴《中國經濟周刊》。
秦予率領的支付寶數據科學家團隊,主要工作就是把淘寶、天貓、支付寶、聚劃算的用戶分為50個族群進行研究,然后對每個族群的特征進行觀察總結。
這個團隊首先會關注他們的各種偏好,比如鐘愛的媒體,上網搜索的內容或者喜歡在淘寶上購買的商品等,在全面了解用戶的需求后,再向他們精確地推薦他們可能感興趣的產品。
“大數據的研究方式把更多的關注點放在人身上,而不是商品身上。這樣推薦給用戶的商品是和他類似的人買的商品,不會和他已購買的商品重復。”秦予解釋道。
另一方面,阿里集團也在陸續推出一系列商業化的大數據產品。數據魔方就是其中之一。
在數據魔方平臺上,商家可以直觀地獲取行業宏觀情況、自己品牌的市場狀況、消費者行為情況等。但不能獲得競爭對手的數據,這也保證了淘寶電商競爭環境的公平。
2011年6月,淘寶一分為三,淘寶把發展大數據的主要任務放到了天貓平臺。2012年7月,天貓推出大數據商用產品——“聚石塔”。2012年7月,“聚石塔”正式上線,在“聚石塔”的發布會上,馬云宣布了阿里集團的新戰略:平臺、金融、數據。
“聚石塔”是阿里集團首次利用大數據力量打造的一款大數據商用產品,主要為客戶提供數據存儲、數據計算兩類服務。客戶可以通過“聚石塔”對整個淘寶電商系統中的數據進行整合分析,了解消費者對產品的喜好、以及相關的消費行為數據,以便更好地及時修正營銷策略。
隱私保護僅靠自律
大數據平臺在提供服務的同時,也在時刻收集著用戶的各種個人信息:消費習慣、閱讀習慣甚至生活習慣。如何保護用戶的隱私成了大數據時代發展過程中不可回避的問題。
事實上,就算不被淘寶“調查研究”,我們自身的數據也會被其他人“關注”。我們的郵箱經常不知不覺中被亞馬遜的廣告填滿,瀏覽記錄也被搜索引擎小心保存著。
谷歌街景地圖最近就遭遇了尷尬。谷歌街景地圖需要采集很多道路和房屋的圖像。但民眾卻認為這些圖像會幫助竊賊選擇偷竊目標。因此有人不希望自己的房屋或者花園出現在街景圖片上。而當谷歌同意將這些人的房屋和花園的影像模糊化后,又招來了這對于小偷而言是“此地無銀三百兩”的指責。
今年3月6日,在北京召開的“網民隱私保護與互聯網企業的責任與共贏研討會”上,一位從事互聯網隱私保護的專家告訴《中國經濟周刊》:“目前在技術上還沒有一個萬無一失的隱私保護手段,因此目前只能靠大家自律。”
這位專家建議,提供大數據服務的企業首先要提供必要的技術保障措施。其次還要保障用戶對數據收集后如何使用享有知情權。此外,應該鼓勵行業建立互相監督的機制。同時應該加強相關法律制度的建設,通過立法來保護公民隱私的安全。
大數據應用的成功案例
美劇 《紙牌屋》
美劇 《紙牌屋》 源自美國視頻網站Netflix對用戶數據的分析。該網站發現,喜歡BBC劇、導演大衛·芬奇和演員凱文·史派西的用戶存在交集。于是Netflix就決定打造一部同時滿足這幾個要素的電視劇。事實證明,《紙牌屋》 不負眾望,一舉成名。
農夫山泉
農夫山泉和SAP公司合作,通過對包括高速公路收費、道路等級、天氣、配送中心輻射半徑、突發性需求 (比如某城市有一場馬拉松比賽) 在內的海量數據進行分析之后,能對物流、銷售策略進行及時調整。
阿迪達斯
阿迪達斯總部能對各門店數據進行整合、分析,可以讓阿迪達斯更加準確地了解各地消費者對商品顏色、款式、功能的偏好,同時也可以了解什么價位的產品更容易被接受,以便制定產品指導價。
疫情監測
2009年,美國暴發H1N1禽流感疫情,谷歌通過對將近5000萬條美國人最常檢索的詞條和美國疾控中心的數據進行比較,準確預判了禽流感的暴發時間和地點。