深度進修是一種低效的動力耗費。它須要海量的數據和充分的計劃資源，這啟發了其耗電量呈爆炸性延長。在來日的幾年里，該范圍的完全接洽趨向使這一題目更加重要。宏大的比率模子須要對數十億數據點進行很多天的演練，但這些模子越來越時髦，而且短功夫很大概不會消逝。

少許接洽職員急于探求新的目的，比方不妨用更少量據進行演練的算法，大概不妨更快運轉這些算法的硬件。IBM 的接洽職員提出了一個不同的計劃。他們將減少表白數據所需的位（即 1 和 0）的數目，從暫時的行業規范 16 位減少到 4 位。

接洽職員在最大的年度人為智能接洽聚集 NeurIPS 上海展覽中心現了這項處事，它大概會讓演練深度進修的速率加速 7 倍，并將動力本錢貶低 7 倍以上。它還大概讓在智高手提式無線電話機和其余袖珍擺設上演練宏大人為智能模子這一辦法成為大概，這將有助于把部分消息存在在當地擺設上，進而更好地保護秘密。并且，這將使資源充分的大型科學技術公司除外的接洽職員更簡單實行深度進修這一進程。

位是怎樣處事的

你往日大概傳聞過電腦用二進制數 1 和 0 保存數據。這些基礎的消息單元被稱為比特，或位。當位 “翻開” 時，它對應 1；當它 “封閉” 時，就產生 0。換句話說，每一個位只能保存兩種消息。

但一旦把它們串在所有，不妨編碼的消息量就會呈指數延長。2 位不妨表白 4 條消息，由于有 2 的二次方，也即是 4 種拉攏：00、01、10 和 11。4 位不妨表白 2 的四次方，也即是 16 條消息。8 位不妨表白 2 的 8 次方，也即是 256 條消息。

位的精確拉攏不妨表白數字、字母和臉色等數據典型，或加法、減法和比擬等操縱典型。此刻，大學一年級致條記本電腦都是 32 位或 64 位，但這并不虞味著計劃機所有只能編碼 232 或 264 條消息。（那這臺電腦就太廢物了。）這表白它不妨運用這么多攙雜度的位來對每一段數據或單個操縱進行編碼。

4 位深度進修

4 位演練是什么道理？開始，咱們有一臺 4 位計劃機，所以攙雜度是 4 位。咱們不妨如許想：咱們在演練進程中運用的每一個數字都必需是 - 8 到 7 之間的 16 個整數中的一個，由于計劃機只能表白這些數字。咱們輸出神經搜集的數據點，用來表白神經搜集的數字，以及咱們在演練功夫須要保存的中央數字都是如許。

接下來要如何做呢？咱們先要商量演練數據。設想一下，擺在咱們眼前的是第一次全國代表大會堆辱罵像片。第一步：咱們須要把這些圖像變換成數字，如許計劃機本領領會它們。為此，咱們按照灰度值來表白每個像素 ——0 表白黑色，1 表白白色，少量點表白灰色的深淺度。此刻，咱們的圖像是一個范疇從 0 到 1 的數字列表。但在 4 位域中，咱們須要把范疇擴充到從 - 8 到 7。這邊的本領是把數字列表線性縮放，以是 0 產生 - 8，1 產生 7，少量點映照到中央的整數。如下圖所示：

圖｜您不妨將數字列表從 0 到 1 擴充到 - 8 到 7，而后將大肆少量四舍五入到整數。

這個進程并不完備。比方說，即使你從 0.3 發端，你會獲得縮放后的數字 - 3.5。但是咱們的 4 位計劃機只能表白整數，以是你必需四舍五入到 - 4。如許最后會遺失圖像中的少許灰色暗影，也即是精度。咱們不妨鄙人面包車型的士圖片中看到它的格式。

圖｜位數越低，像片的細節就越少。這即是精度丟失。

這個本領對于演練數據來說并不算難用。但當咱們把它再次運用到神經搜集本人時，工作就變得有點攙雜了。

圖｜一個神經搜集

神經搜集常常被繪制成有節點和貫穿起來的貨色，就像上海圖書館。但是對于計劃機來說，這些城市產生一系列數字。每個節點都有一個激活值，常常取值范疇為 0 到 1，每個貫穿都有一個權值，常常取值范疇為 - 1 到 1。

咱們同樣不妨用途置像素的本領來縮放它們，但激活值和權值也會跟著每一輪演練而變換。比方，偶爾一輪演練的激活值范疇是從 0.2 到 0.9，但在另一輪演練中是從 0.1 到 0.7。所以，IBM 共青團和少先隊在 2018 年想出了一個新本領：每輪演練從新安排這些范疇，使其在 - 8 到 7 之間 (如下圖所示)，這靈驗地遏止了丟失太多精度。

圖｜IBM 的接洽職員為每一輪演練從新安排神經搜集的激活值和權值，以遏止丟失太多精度。

但咱們還須要進行結果一個限制：怎樣用 4 位表白演練進程中遽然展現的中央值。與咱們處置圖像，權值和激活值的數字不同，這些值不妨超過幾個數目級。它們大概很小，比方 0.001，也大概很大，比方 1000。考查將其線性縮放到 - 8 到 7 之間會遺失縮放范疇最小端的一切粒度。

圖｜超過幾個數目級的線性縮放數字在極小的一端遺失了一切的粒度。正如這張圖所示，任何小于 100 的數城市被縮放成 - 8 或 - 7。透徹度的貶低會感化人為智能模子的最后本能。

過程兩年的接洽，接洽職員畢竟處置了這個挑撥：他們抄襲了別人的辦法，將這些中央數字按對數比率縮放。底下這個對數縮放大概能讓你領會我在說什么，以 10 為 “基數”，只運用了 4 位攙雜度。（接洽職員轉而運用 4 為基數，由于重復考查表白這種本領功效最佳。）你不妨看到它是如安在位牽制內編碼少量字保衛世界和平大會數字的。

圖｜以 10 為基數的對數縮放。

這篇最新的論文展現了怎樣把一切這些成分貫串在所有。IBM 的接洽職員進行了幾個試驗，他們在計劃機視覺、語音和天然談話處置的百般深度進修模子上模仿 4 位演練。截止表白，與 16 位深度進修比擬，模子的完全本能丟失了有限的精確性，但所有進程也快了 7 倍多，而且會節約能源 7 倍多。

將來的接洽

在 4 位深度進修成為本質運用之前還須要很多接洽。本文僅模仿這類演練的截止。想運用在實際寰球還須要新的 4 位硬件。2019 年，IBM 接洽院創造了人為智能硬件重心，以加速開拓和消費此類擺設的過程。遏制這項處事的 IBM 高檔司理凱拉斯?戈帕拉克里希南表白，他估計三到四年內， 將展現不妨為深度進修演練所用的 4 位硬件。

斯坦福大學熏染鮑里斯?穆爾曼沒有介入這項接洽，但他稱這些截止令人激動。他說:“這項超過為在資源有限的情景中進行演練翻開了大門。” 它紛歧定會讓國民黨的新生活運動用展現，但它會讓現有運用的速率更快，更省電，“它有很大的上風”。比方，蘋果和谷歌更加探求怎樣將人為智能模子（如語音轉文本和自動矯正體例）的演練進程從云霄變化到用戶手提式無線電話機上。經過將用戶的數據存在在部分手提式無線電話機上，能保護用戶秘密，并普及擺設的人為智能本領。

但穆爾曼也指出，還須要更多接洽來考證這種本領的真實性。2016 年，他的共青團和少先隊公布了一篇論文，展現了 5 位演練法。但這種本領多年來并沒有生效。“因為神經搜集變得更加敏銳，咱們之前所用的大略本領仍舊無法運用了，” 他說，“以是還不領會如許的本領能否能接受住功夫的檢驗。”

固然如許，他說，這篇論文 “將督促其余人更加刻意地接洽這一題目，并激勵新的辦法。這是一個特出受歡送的超過。”