預測模型要大數據還是小數據?
很多數據分析專家都對大數據抱有很大的希望。但是在預測分析世界大會上,演講者講到預測分析模型,對大數據并不是很樂觀。
StatSoft的高級數據分析師兼數據挖掘顧問Gary Miner表示:“大數據對我來說只是一個炒得很熱的概念,并沒有什么新鮮的。”
Miner認為,對于大數據究竟是什么,仍存在爭議。廣為流傳的是IBM提出的三個V,即規模大、速度快和種類多。但是,要想用一個精確地量來定義“大”數據,這本身就是不精確的。有人說幾TB,有人說幾百TB。
樣本代替總量
Miner的感受是,對大數據,人們言過其實了。相反,分析小規模數據集倒來的更實際。他舉了一些醫學實驗如何通過不足100的病例取得研究成果的例子。因為更孝更精良的數據集更容易過濾“噪聲”,獲得“信號”。
存儲空間的成本正在降低,這讓分析界傾向于分析全部數據集。不過Miner 認為通過隨機樣本,你會更快速地獲得更好的結果。
“如果你想從數據中挖掘因果關系,你最好分析小數據集。”
旅游社區TripAdvisor商業部門的分析總監Michael Berry表示,在大數據時代,人們希望通過部署一個技術,就可以解決多種問題。供應商們正在積極迎合這種需求,聲稱自己的大數據軟件可以極大地簡化業務分析項目。但Berry認為,這種簡單便捷的解決方案基本上只是一種幻想。
“這只是一種營銷策略,從來沒有實現過。”
Berry建議,與其坐等大數據軟件來解決一切問題,不如去提升自己的預測模型。定義預測模型的變量要比放入模型中的大規模數據有用的多。
Berry認為,在模型中加入更多的數據反而會增加分析的時間。在分析數據集的時候,樣本足以揭示總量的規律,而且更快捷。如果分析了100個數據節點之后,樣本已經顯而易見了,就不需要繼續分析剩下的十萬個數據節點了。這樣只會延長項目,降低收益。
數據質量
并不是每一個人都這樣看衰大數據。廣告代理商Carmichael Lynch的數據分析戰略家Peter Amstutz認為,在創建預測模型的時候,盡可能多的收集數據變量是很重要的。有時,可以通過一個標準記錄的數據源積累信息變量,但很多時候,組織會得到大量的非結構化數據。這時,大數據就派上用場了。
Amstutz最近幫助Subaru部署了一個提升建模項目,汽車制造商可以通過它更精確地鎖定目標客戶。Amstutz表示,他一直在尋找包含客戶信息的新的數據源,以便于建立目標客戶的個人檔案。參照這些變量,廣告商就可以更精確地找到目標客戶。
數據分析供應商ForeSee移動、媒體和娛樂的高級總監Eric Feinberg認為,最重要的是數據的質量,而不是規模。大數據只有在標準和精確的條件下才有用。
他強調,不同行業應用大數據分析有所不同。在研究銷售趨勢的時候,明顯的峰值只會增加噪點,讓人難以判斷真實的趨勢。而在欺詐檢測中,峰值正是分析人員要分析的。所以使用少量樣本的時候,銷售預測效果較好,但要進行欺詐檢測,就得依靠大數據了。
另一方面,更傳統的方法或許效果更佳。Feinberg舉了醫療器械公司想要完善心臟病客戶個人檔案的例子。醫療器械公司可以通過收集大數據找到相似客戶的共同點,或者花錢找幾個心臟病患者過來。
“兩者是一樣的。甚至后者更難,因為它要花費更多的時間,但結果是一個成熟的數據集。”