簡介：從我的AI之旅開始，我就發現了一些潛力無限的想法和概念，在光輝的歷史上留下了自己的印記。今天，我決定(根據我自己的經驗)列出一些最有趣的想法和概念，這些想法和概念讓我堅持了多年。我希望他們能像激勵我一樣激勵你。因此，讓.

從我的AI之旅中，我發現了一些潛力無限的理念和概念，在光輝的歷史中留下了自己的印記。

今天，我決定(根據我自己的經驗)列出一些最有趣的想法和概念，這些想法和概念讓我堅持了多年。我希望他們能像激勵我一樣激勵你。

所以，我們先從AI愛好者的“初戀”說起。

1.神經網絡——“仿生學的啟示”

每一個使用統計模型(如回歸模型和所有模型)的Machin Learning (ML)新手開發者，在第一次學習人工神經網絡(ANN)時，都經歷過腎上腺素激增的過程。這是在深度學習的門口。

這里的基本思路是通過編程模擬生物神經元的工作，實現一般的函數逼近。

神經科學和計算機科學的融合本身就是一個令人興奮的想法。我們稍后會詳細討論。

數學上，突觸和連接是如何凝聚成大規模矩陣乘法的；神經元的放電如何類似于激活函數，如S函數(sigmoid)；大腦中的高級認知抽象和人工神經網絡的黑匣子聽起來神秘而酷。這些都給新ML開發者帶來了希望，不可思議。

資料來源：作者提供(由坎瓦制作)

在這一點上，新手認為：“從根本上說，這種生物啟發的技術可以成就一切。畢竟，大自然選擇了最好最有效的方式來執行這個過程，不是嗎？”

只有在以后的課程中，他們才會學習到ANN的一些啟發方法，所以還是會有很大的局限性。

理論上，一切聽起來都很好，但他們不切實際、野心勃勃的夢想消失了，就像錯誤配置的神經網絡訓練課程中的梯度(到這種地步？哈哈)。

2.遺傳算法——“向達爾文問好”

遺傳算法是另一種可以應用于計算機科學并受自然啟發的算法。在這里你會發現所有與達爾文進化論有關的術語，比如突變、繁殖、種群、交叉、適者生存等等。

這些進化算法背后的思想是遵循自然選擇，只有最適合環境的個體才有機會繁衍后代。為了增加種群的某種多樣性，最合適的個體所擁有的染色體每隔一段時間就會隨機突變一次。

在這里，“個人”指的是給定問題的可能答案

讓我們看看它的工作流程

來源：作者(使用Canva設計)

簡單明了不是嗎？

這種看似簡單的算法可以應用在現實世界的很多場景中，比如-優化、遞歸神經網絡的訓練過程、一些問題求解任務的并行化、圖像處理等。

雖然有這么多可行的方向，但遺傳算法還沒有取得任何實際效果。

3.自編程序——“需要小心的程序員”

作為遺傳算法應用的延續，這個當然是最精彩的，值得有獨立的一節。

想象一個可以修改自己源代碼的AI程序。它一次又一次的自我完善，循環多次，直到最終達到目的。

許多人認為，

自強/編輯代碼AGI=AI超級智慧

顯然，實現這個方法還有很多困難，但是想想2013年的這個實驗：一個遺傳算法可以用Brainfuck(一種編程語言)構造出一個可以打印出“你好”的程序。

那個遺傳算法的源代碼里沒有寫編程原理，但是它是一個簡單而古老的自然選擇算法。在29分鐘內，它產生了這個-

當你在Brainfuck編譯器中運行這段代碼時，它會打印“hello”。實驗成功了！

這證明了遺傳算法的強大，也表明了它在給定足夠的時間和計算資源的情況下的能力。

4.神經常微分方程-"螺旋層"

回到幾年前，在提交給神經科的4854篇研究論文中，這篇名為《神經常微分方程》的論文脫穎而出，成為四大優秀論文之一。

有什么了不起的？因為它恰恰改變了我們對神經網絡的看法。

傳統意義上的神經網絡層數是離散的，依靠梯度下降和反向傳播來優化(求全局最小值)。當我們增加層數時，我們的內存消耗也會增加，但理論上我們不再需要這么做。

我們可以從離散層模型轉換到連續層模型——這樣就有了無限層。

資料來源：上述研究論文

我們不需要提前確定樓層數。取而代之的是，輸入你想要的準確度，以恒定的記憶為代價，看著奇跡發生。

該方法在時間序列數據(尤其是不規則時間序列數據)中的性能優于傳統的遞歸神經網絡和殘差網絡。

資料來源：上述研究論文

有了這項新技術，我們可以使用任何一種常微分方程求解器，比如歐拉法，而不用梯度上升，使得整個過程更加高效。

而且你也知道，時間序列數據無處不在——從股市的金融數據到醫療保健行業，所以這項技術一旦成熟，就會被廣泛應用。但還是需要開發。

希望能往好的方向發展。

5.神經進化——“再次模仿自然”

神經進化是過去的觀念，可以追溯到21世紀初。與近年來強化學習領域中著名的反向傳播算法相比，它顯示了它的前景和發展。比如在神經架構搜索、自動機器學習、超參數優化等領域。

一句話，“神經進化是一項利用基因算法改進神經網絡的技術”，不僅僅可以改進權重和參數，還能改進網絡的（拓撲）結構（最新的研究）。

這是一場梯度下降優化算法和進化優化算法在訓練神經網絡模型上的戰役。

源：https：//blog.otoro.net

但我們為什么要使用它呢？

因為，在Uber最近的研究中（深度神經進化），他們發現這項技術比起反向傳播可以使模型更快的收斂。在比較低端的PC上幾天的計算時間可以縮短為幾個小時。

如果你正在用梯度下降訓練一個神經網絡并卡在了像局部最優點或者梯度彌散的地方，那么神經進化可以幫你得到更好的結果。

你不需為這項替換付出。在每個神經網絡被應用到的場所，這項技術都可以被用來優化并訓練它們。

“兩個腦袋比一個腦袋來的要好，不是因為有某個腦袋不容易出錯，而是因為它們不太可能犯同一種錯誤。"-C.S Lewis

6.谷歌的AI孩子-”AI創造AI“

調整超參數是一項每個數據科學家都深惡痛絕的繁瑣而又無聊的任務。由于神經網絡實際上是一個黑盒子，我們無法明確地知道我們改變的超參數會如何影響一個網絡的學習。

在2018年，谷歌在自動機器學習（AutoML）的世界中作出了一項突破，制作出了一個叫做NASNet的模型。這個物品識別模型擁有82.7%的準確率，比計算機視覺領域內的其他任何模型都要高1.2%，同時效率還要至少高出4%。

最重要的是，它是通過使用強化學習的方法，在另外一個AI的幫助下發展而成的。

圖源：谷歌研究院

“神經網絡設計神經網絡”。。。這確實是一個驚人的想法，你不這么認為嗎？

在這里，它的家長AI叫做Controller network（控制者網絡），它在數千次的迭代中逐步培養出其AI孩子。在每次迭代中，它計算出孩子的性能并使用這個信息來在下一次迭代中建造一個更好的模型。

這種創造性的思考方式推動了”學會學習“的概念（或者元學習），從而不論是從準確性還是效率都可以擊敗這個星球上任何人類所設計出來的神經網絡。

想象一下在計算機視覺的領域之外它還能做什么。難怪這個概念激起了人們對于超級過載人工智慧最深的恐懼。

7. GANs-”神經網絡 vs. 神經網絡“

GAN是生成式對抗網絡的簡寫，它們可以學會模仿任意的數據分布。

這是什么意思呢？

在GANs之前，機器學習算法專注于尋找輸入和輸出之間的關聯。它們被叫做判別算法。例如，一個圖像分類器可以區分蘋果和橙子。

當你把一張照片輸入到網絡中時，它或返回0（我們讓它指代蘋果）或者返回1（指橙子）。你可以認為它在分配標簽。它在內部創建了一個模型，確定了哪些特征對應了蘋果，哪些特征對應了橙子，然后吐出一個帶有一定概率的標簽。。

然而。。。盡管它們在內部可能有辦法用某種方式表示蘋果和橙子從而對它們進行比較，但它們沒有辦法生成出蘋果和橙子的圖片。

這里就是GANs拿手的地方。一個GAN包含了兩個網絡-一個生成器和一個鑒別器。

沿用之前的例子，如果我們想要生成一張蘋果的照片，那么我會使用一個解卷積網絡來作為我的生成器以及一個卷積網絡來作為我的鑒別器。

這個生成器一開始只會生成一張隨機的噪聲圖像并試著讓它看起來像是一個蘋果。另一方面，鑒別器會試著鑒別出輸入的圖片是真實的還是偽造的（由生成器所生成）。

如果鑒別器可以正確地區分出圖片，那么生成器就要努力改進自己去生成出更加真實的圖片。同時鑒別器也努力提高自己的判別能力。這意味著，不管如何，改進都是不可避免的，問題只是它發生在鑒別器身上還是生成器身上而已。

這看起來有點像一種雙重反饋循環。

GANs的復雜性使得它們難以訓練，最近在英偉達發布的一篇研究論文中他們描述了一種方法，通過漸進地改進生成器和鑒別器來訓練GANs。（有趣的說法！）。

關于GAN的機制我們說的足夠多了，那么我們該如何使用它呢？

一些酷炫的GAN的應用：

使面孔變老

超高分辨率

圖像混合

衣服轉換

3D物體生成，之類的。

更多信息可以參見這篇文章。

8.遷移學習-”使用預先訓練好的網絡“

從零開始訓練一個神經網絡是需要昂貴的計算成本，有時還會變得非常混亂。但試想一下我們可以從另外一個以前在其他數據集上已經訓練好的網絡中獲取知識，并將其重新用在我們新的目標數據集的訓練過程中。

這樣子，我們可以加速在新的領域上進行學習的過程并且節省大量的計算能耗和資源。可以把它想成是一場起點比其他人要靠前的跑步比賽。

不要把你的時間浪費在重復造輪子上

顯然，你不可以把這項技術用在兩個毫不相關的領域上，但在一些領域上-自然語言處理和計算機視覺，使用已經訓練好的網絡是一種新的規范

Source：https://www.topbots.com/

計算機視覺領域中，在物品偵測，物品識別，和圖像分類任務中，人們會使用像VGG ConvNet，AlexNet，ResNet-50，InceptionV3，EfficientNet之類的已經預訓練好的網絡。特別是在任務剛開始的階段。

即使是在像神經風格轉移（NST）這樣的任務上，你可以使用VGG19來迅速獲取內在表示從而節省時間。

在如情感識別和語言翻譯的NLP任務中，各類的不同詞向量嵌入方法如斯坦福的GloVe（表示詞匯的全局向量）或者谷歌的Word2Vec都是標配。

我不想提及那些最新的語言模型（那些大家伙）如谷歌的BERT，OpenAI的GPT-2（生成式預訓練Transformer），和全能的GPT-3。他們都是在我們這些平民難以想象的海量的信息中訓練出來的。他們幾乎把整個網絡作為他們的輸入數據集并花費了數百萬美元來進行訓練。

從這一點而言，它看起來像是未來我們使用的預訓練網絡。

9.神經形態架構 -”次世代材料“

在看了那么多軟件世界的進展之后，我們來關注一下硬件部分。

但在那之前，先來看一下這個荒謬的對比。。。

人類的腦子里平均有860億個神經元和大約1千萬億突觸。直觀地說，你實際上可以通過解開你的腦子來到達月球（用400000千米長的神經纖維）。

如果你想要模擬你的腦子，你需要消耗大量的計算能源（1百億億次運算），這是在現有的技術水平上無法實現的。

即使是最強大的超級計算機也無法實現這么大的運算量，更別提我們的大腦僅僅需要20瓦的電力（比點燃一個燈泡還少）就可以做到這種程度。

為什么？因為”架構“

圖源：https://randommathgenerator.com/

你知道嗎，今天我們用到的每一臺計算機都是基于一個有75年歷史的架構，即馮諾依曼架構。在這個架構中，內存和處理器是相互分離的，這使得我們在執行大運算量的任務，如大型矩陣乘法，時存在著性能瓶頸。

這個馮諾依曼瓶頸的產生是因為我們執行一系列指令的時候傳入輸入和得到輸出的過程是有順序的。但在我們的腦子中，進行記憶和處理的單元本質上是同一個，這使得它可以用閃電般的速度處理巨量的數據同時只需要消耗極小量的能量。在這里，連接記憶和處理單元的就是記憶本身。

有一些公司例如IBM和Intel正嘗試模擬一個像我們生物的腦子一樣的架構。它最終會催生出一種新的計算方式，神經形態計算。

使用多塊GPU和TPU的日子就要到頭了。我真的迫不及待那一天的到來！

進展：IBM的真北芯片和Intel的神經形態芯片。

10.通用人工智能（AGI）-“我們的終極目標”

當你聽到有人嘶喊到“總有一天，AI會把我們都殺光。”那么通用人工智能最有可能做出這樣的事情。

為什么？

因為現在我們正在處理的是“弱人工智能”意思是我們現在的模型在它們的特定領域之外一無是處。但是，全球的科學家和研究人員都在致力于產生一種可以完成各類任務，或者能學會完成幾乎任何給定任務的人工智能。

如果他們成功了，可以預測到的是，這會導致智慧爆炸，遠超人類的智慧并最終催生出超級智能。

當這件事發生的時候，那個超級智能會變成一個擁有知覺，自我意識，以及更高的認知能力的存在。

源：https://www.theverge.com(實在忍不住放上這張照片）

之后會發生什么？只有天知道。

有一個專門的詞來形容這種情況。Singularity是一個假設的時間點，到那個時候技術發展會變得不可控且不可逆，最終對人類文明產生不可預見的改變。-維基百科

我們不能簡單地停止它的發展嗎？不。

人工智能就像是今天的電能一樣。我們對它擁有著重度依賴，停止它的發展就像是回到黑暗時代。此外，沒有國家會停止它的發展因為有一種共同的心態-”即使我們不發展，他們也會“-就像我們制造具有大規模殺傷力的核武器時的心態。

埃隆馬斯克的擔心并非空穴來風。他是認真的。

總結

我覺得已經說出了一些制造一個完美AI的方法的要點。但誰在乎呢？除非我們有辦法和他們共存。

我希望在Neuralink工作的人們能夠在世界末日之前完成他們的人腦-機器接口。且埃隆馬斯克設法在不把我們的腦子暴露給新世代黑客的情況下使用它。

為了一個烏托邦式的未來，我們可以暫時停止爭論。最后我想說，我非常享受寫這一篇文章，我希望你也能樂在其中。

AI研習社是AI學術青年和AI開發者技術交流的在線社區。我們與高校、學術機構和產業界合作，通過提供學習、實戰和求職服務，為AI學術青年和開發者的交流互助和職業發展打造一站式平臺，致力成為中國最大的科技創新人才聚集地。

如果，你也是位熱愛分享的AI愛好者。歡迎與譯站一起，學習新知，分享成長。