深度學習(Deep Learning)，又名深度神經網絡，前身是一只感知機。生于達特茅斯會議次年的ta，注定與人工智能有著不解之緣。人工智能中的各種機器學習方法，從初期的符號學習到后來統計學習再到現在的深度學習，往往代表了學派之爭。初來咋到的感知機何以敢跟當時的霸主——『符號主義』（symbolicism）分爭天下？因為ta有個爹叫『聯結主義』(connectionism)。兩門派針鋒相對的歷史在這暫且不表，先來看看這位初生牛犢，感知機，如何一步步成長為今日叱咤風云的深度學習的。

『感知機』(perceptron)，一個神秘的名字，到底是什么？雖然借用了人類大腦神經元連接的隱喻，但其終究不過是一個有著輸入和輸出兩層神經元的線性分類器。然而世事并不總是線性的，一個連XOR都解決不了的線性分類器如何委以重任？人工智能的爸爸之一，明斯基（Marvin Minsky），甚至專門出了本書《感知機》將其批判了一番，殊不知正是這本書，差點將深度學習扼殺于襁褓之中。大佬一發話，各路人馬紛紛飲恨而歸，相忘于江湖，神經網絡就此進入寒冬期。

圖1.達特茅斯會議五十年重聚首，中間那位是明斯基，于2016年1月24日辭世

多數人放棄了，但有人堅持了下來。為了解決非線性可分的問題，人類（Rumelhart、Williams、Hinton、LeCun等）為感知機加了些隱藏層（hidden layer）,于是『多層感知機』便誕生了，這種每層神經元只與下層連接、神經元之間不同層連接的神經網絡結構就是一個最基本的神經網絡，『前饋神經網絡』（feedforward networks）。如何訓練這個龐然大物，在當時依然不甚明了。直到八十年代中，BP算法的橫空出世，重新燃起了聯結主義的希望。BP算法為訓練多層網絡提供了簡潔優雅的微積分解決方案，使得神經網絡成為現實可用的模型。到此為止，就是神經網絡的第二次潮起。不難想見的是，雖然隨著神經網絡層數的增加，模型能擬合越來越復雜的函數，但如何避免局部最優解，如何避免梯度消失，仍無行之有效的方法。統計學習理論也在此期間登堂入室，大有取而代之之勢。神經網絡再次被打入冷宮。

直到新千年的到來。隨著計算能力的大幅提升和大數據的涌現，及ReLU、pre-training等訓練方法的出現，神經網絡重新以『深度學習』的名字再現江湖，并在2012年橫掃了各大模式識別競賽，至此再無敗績。互聯網巨頭們見形勢利好，也紛紛披甲上陣，投入巨資，深度學習開始一路狂奔向人生巔峰。有趣的是，神經網絡的興衰史恰好也是其更名換姓史——從『感知機』到『神經網絡』再到今天炙手可熱的『深度學習』，每換一次名字，就涅槃一次，可見一個好名字的重要性。若用五個字概括這次深度學習的復興，我想大概是——新瓶裝舊酒，不對，應該是，時勢造英雄。人工智能的車輪滾滾向前，三十年河東，三十年河西。這次聯結主義占盡了風頭，下一次，又會是誰？

圖2. 著名模式識別競賽ImageNet：Large Scale Visual Recognition Challenge

希望了解更多的算法細節？知識核本期視頻將為你詳細解構深度學習背后的成長史，歡迎收看。

視頻地址 http://v.qq.com/boke/page/u/0/9/u03034kx929.html

與我們交流，請聯系：

微信公眾號：知識核

郵箱：[email protected]