LinkedIn張溪夢的分析哲學：大數據要做小做快
linkedIn的目標，是聯結世界上所有的專業人士，讓他們能夠更有效率，更成功。目前，linkedIn在世界范圍內的用戶已增長到2億多，86%的財富100強企業正在使用linkedIn的付費解決方案。在linkedIn上一季度的1.61億美元營收中，“人才解決方案”的貢獻超過了一半。
這樣的成績背后，是張溪夢以不足60人的商業分析團隊，通過集成數據架構、BI、數據挖掘和分析，支持70%現有的4000名linkedIn內部員工，涵蓋了研發、產品、市嘗銷售和運營等五個主要商業職能部門，包括公司的三大業務分支。
有人力資源專家甚至聲稱，linkedIn Recruiter付費招聘服務(linkedIn的旗艦產品， “人才解決方案”業務的核心)是“一枚核彈”，將憑借龐大的數據庫，在今后的招聘市場獲得無可企及的地位。
linkedIn如何做到這一點？張溪夢抽絲剝繭，深入介紹了linkedIn的分析哲學及其背后的技術支撐。
1 |
linkedIn Corp商業分析部總監張溪夢(Simon Zhang)
從金字塔到菱形的分析哲學
分析工作的任務，張溪夢認為是“謀斷”。李世民痛失魏征那段“以銅為鏡”的名言不再贅述，在張溪夢看來，謀斷就在于根據過去和現在定制未來，對象當然就是數據。
linkedIn的三種主要的數據類別，是用戶行為數據，用戶身份特征數據，以及職業網絡數據。如果說2億用戶的數據已經不足以讓現在的存儲硬件和數據庫感到壓力，那么相互關聯的職業網絡數據，絕對是當之無愧的大數據量。
“兵在乎精，不在乎多”，“兵貴速，不貴久!”古中華的兵家圭臬，是張溪夢的大數據智慧所在。他提出了兩個準則，大數據要做小，做快，因為速度決定價值與成敗。
數據分析的傳統金字塔結構，從數據及數據質量管理，先生成商業智能和報表，再進行專門的分析，以及深度分析，最后形成商業洞察，但張溪夢表示，正如偉大的畫家不會借他人之手描繪心中的美景，分析師不需要借助現成的報表來創造未來，也就是說，在linkedIn，商業智能報表要放在分析層之上。
但改造之后的金字塔結構，仍然存在兩大問題，首先是功能層之間脫節，更可怕的是，底層占用了90%的資源。張溪夢的做法，對底層“動手術”，讓金字塔結構“進化”成菱形結構，當金字塔底座實現了小，整個分析流程的面積減少一半，資源的效率獲得100%的提高，而很大的數據變成很小的數據，處理速度也得到質的飛躍。
1 |
linkedIn并沒有就此滿足，再次把菱形做為新的金字塔“進化”，如此反復，至到不能再“小”，進入第二階段的進化，進行球形的應用滾雪球的球形，會形成更大的價值環。
1 |
張溪夢對這套哲學的功效十分欣喜：“我剛開始加入linkedIn，每天從早晨8:30工作到半夜兩三點，一年卻只不過出500個報告，支持不到200人;但現在，我的團隊每人每天就能幫助別人10次。”
然而，問題來了：今天沒有價值的數據，誰能保證在明天沒有價值呢？信息的不對稱造成的后果，很多企業都深有體會，因此，盡可能地搜集數據，是很多專家的忠告，這也是大數據之所以“大”的原因之一。
“情報永遠是不夠的。”張溪夢回答說，數據量在增加，也意味著存儲和分析成本的增加，分析的速度的下降，隨之而來的，往往是價值(ROI)在下降。
為何選擇Teradata
linkedIn的分析哲學得以貫徹實施，IT的力量當然功不可沒。張溪夢表示，科技是linkedIn拓展分析規模的基石。在linkedIn，Hadoop、Aster Data和Teradata是商業分析部賴以運作的三大平臺。
1 |
linkedIn與Teradata的合作，其實是從Aster Data開始，后者現在已被Teradata收購。張溪夢介紹，在linkedIn的基于社交網絡的分析模型中，基于傳統的關系型數據庫進行分析，多級關系網絡的計算，一次就需要好幾天甚至一個星期才能完成，后來采用了Aster Data，分析效率獲得極大的提升，目前的分析時間已經縮短至幾個小時。
在盡管linkedIn在開源技術上花費了很多精力，并自主研發出了多種開源技術，但在數據分析層面，張溪夢更鐘情于采用穩定的商業軟件。他表示，開源技術更新快、功能多，也意味著不穩定;閉源反應慢，但同時也是穩定的代名詞。
張溪夢說，linkedIn不是一家數據庫公司，采用現有的成熟的技術更有利于公司的商業推進速度，而Teradata是最成熟的企業數據倉庫供應商，其解決方案的優越性已經得到市場的驗證。相比之下，采用Hadoop平臺的linkedIn，還需要在中間增加了一個安全層，以保護會員的隱私和利益。
張溪夢的理由，可以概括為專業，權威。事實上，更深層次的是二者對專業的理解不謀而合。張溪夢希望把大數據做小做快，Teradata大中華區總裁辛兒倫恰恰不斷地強調無須貪多，而是要學會舍棄數據，只分析有用的數據。Teradata的數據分析方法是I(整合)、D(探索)、A(行動)。Aster Data就是Teradata的數據探索平臺，其設計的理念，就是要讓不同層次需求的人都能進行各種分析，輕松探索大數據的價值，提供了SQL、MapReduce、統計、圖形、路徑、時間和地理查詢等工具，正適合linkedIn的需求。Teradata平臺則主要用于支持BI。
忠告“準數據科學家”
在這個被稱為“大數據時代”的時代，一個叫做數據科學家(Data Scientist)的新職業被認為即將搶手，包括EMC、微軟、Teradata等公司都在談數據科學家，認為是大數據時代的數據分析的必然需要，甚至有評論稱，數據科學家是二十一世紀“最性感”的職業。
而在linkedIn的模式中，數據科學家的精準判斷尤為重要確認哪些是最有價值的數據，不是單靠軟件平臺就可以實現的。張溪夢表示，最好的分析師要比PM更了解產品，要比Marketing更了解市場，要深刻理解軟硬件之間的關系……
毫不夸張地說，成為linkedIn的分析師也是一種挑戰。所以，張溪夢的“兵在乎精，不在乎多”的另一種含義，也是分析團隊的“精”。
那么，要如何應對未來的挑戰進入這個“性感”的職業？張溪夢的忠告是，不要因為Data Scientist是當前的熱門職業而選擇這個行當，你的長遠目標更重要。他最強調的一點就是興趣，認為興趣會驅動你找到變得專業的方法。
翻開張溪夢的履歷，我們會發現一件有趣的事情：他曾經是一名神經外科醫生。“我是一名稱職的醫生，但我更享受數字，更享受邏輯。”張溪夢說。