大數據挑戰:敢不敢不要加入人的判斷?
這一論斷聽上去好像異端邪說,不是嗎?現在的管理教育大都是對人們判斷力的培養——也就是培養未來領導者“模式匹配”(pattern-matching)的能力,采用的手段通常是讓他們接觸大量的案例研究和其他類型的例證,以便讓他們充滿信心地游走在商界江湖。無論是否在商學院,人們總是告訴我們,要相信自己的本能和直覺,尤其在身經百戰之后,我們完全可以靠本能和直覺在一眨眼的功夫就做出精準的判斷。
但在當今的商業世界中(或許在其他領域也一樣),這卻是最有害的錯誤觀念。正如我在以前的文章中寫到的,人類的直覺很重要不假,但也是有缺陷的。就決定讓哪些囚犯回家而言,假釋裁決委員會的判斷遠不如簡單的規則。在診斷乳腺癌方面,訓練有素的病理學家的結論也比不上影像分析軟件的結果。采購專業人員對哪些供應商將來表現出色的判斷,遠不如一種簡單算法的預測更準確。美國頂尖級的法律學者對某一年最高法院判決投票結果的預測,也遠遠不如數據驅動型的決策規則更精準。
這樣的名錄我可以一直羅列下去,不過,我還是把最后一句話留給心理學家保羅·米爾(Paul Meehl)吧。早在近60年前,他就開始研究“專家”與算法孰優孰劣的問題了。他在職業生涯即將結束的時候曾總結說:“無可爭議的是,社會科學的研究表明,數量眾多的各種研究結果均指向了同一個方向,那就是:在從足球比賽的結果到肝病診斷的諸多預測中,你很難找出幾個預測的結果是對專家和臨床醫生有利的,我們就此完全可以得出切合實際的結論。”
這個結論就是,我們應該將我們的很多決策、預測、診斷和判斷交給算法,無論是無關緊要還是至關重要的事情。就算法是否能給我們提供更好的結果而言,已經是毫無爭議的問題了。
當我們為專家呈上這樣的事實時,他們的典型回應往往是“我知道數據和分析很重要,這也是我做出決策時要考慮它們的原因所在”。這種說法聽上去很有道理,但實際上卻大錯特錯了。研究同樣清楚地表明:當專家把自己的判斷添加到數據驅動型的算法或數學模型的結果中時(換句話說,當他們做出事后評價時。),最終結果往往比只用算法本身得出的結果糟糕。正如社會學家克里斯·斯尼德斯(Chris Snijders)所說的:“你看的結果往往是,專家參與的判斷會介于模型單獨判斷和專家單獨判斷的結果之間。所以說,如果給他們提供模型,專家的判斷結果會更好些,但依然不如模型獨自判斷的表現。”
而當我們把這個次序倒轉過來的時候,也就是讓專家為模型提供信息而不是相反的時候,結果則會好得多。如果專家的主觀意見被量化,并添加到某一算法之中,其結果往往會得到提升。所以,病理學家對癌癥病程的估計可以添加到影響分析軟件的分析過程中,法律學者對最高法院對案件投票的預測也可以改善模型的預測能力。伊恩·艾瑞斯(Ian Ayres)在其卓越的著作《超級數字天才》(Supercrunchers)中曾寫道:“不是讓統計數據充當專家的仆人,而要讓專家成為統計機器的侍從。”
當然,大多數組織都無法輕松完成這一轉變。現如今,大部分決策者都確信自己很擅長此道,自己的決策毫無疑問要比沒有靈魂、簡單樸素的算法做出的決策更好,此外,他們還認為,拿走他們的決策權會削弱自己的權威、降低自己的價值。但顯而易見的是,第一種觀念是錯誤的,第二種認識也同樣謬之千里。
那么,如何實現專家與算法之間角色的大逆轉呢?倚重數據驅動型的決策過程,會讓我們的組織、經濟和社會因此而得到更好的結果嗎?達到這樣的目標需要透明、時間和對結果的認識,在這里,透明是指清楚說明“專家”的判斷有多么糟糕,時間是指讓這種理念廣泛傳播并得到充分理解,對結果的認識則能讓我們為了得到更好的決策而愿意忍受這一艱難的轉變。
在假釋裁決委員會的例證中,我們能看到所有這三個因素的存在。正如艾瑞斯談到的:“在最近25年中,18個州用量刑指南(sentencing guidelines)取代了假釋制度。這些州在評估再犯的風險時已越來越倚重算法評估模型。
對投票者來說,糟糕的假釋決定會產生嚴重的后果,所以,人為把握判斷原則的假釋裁決委員會樂得將投票權拱手相讓。而在商業世界中,競爭,尤其是來自數據驅動型競爭對手的壓力,會讓略遜一籌的決策者舉步維艱。我不知道多久會出現這種結果,但我可以信心十足地說,數據驅動型的企業,會從依然過度倚重專家的企業那里奪走更多的市場份額、客戶和利潤。