斯坦福大學在Siggraph演示最先進AR/VR全息顯示技術
遺憾的是，為全息顯示器生成圖像是一個復雜而耗時的過程。針對這一問題，斯坦福大學助理教授戈登·韋茨坦（Gordon Wetzstein）日前在SIGGRAPH大會發表了團隊的最新研究成果——Neural Holography。除了戈登·韋茨坦之外，研究小組中還有斯坦福大學博士后Yifan Peng，斯坦福大學博士學生Suyeon Choi，斯坦福大學博士畢業生Nitish Padmanaban，以及英偉達高級研究科學家Jonghyun Kim。
相關項目：Neural Holography
“Neural Holography”使用了一個專門的神經網絡，并通過所謂的Camera-in-the-Loop模擬器進行訓練，從而產生高質量的結果，并且所述系統可以實時運行，目前大約為30幀/秒。
1. 全息顯示器的工作原理
對我們中的大多數人而言，我們對全息圖的第一次記憶或許是博物館陳列柜的一幅昏暗單色圖像。所以，能夠投射出彩色圖像是一種非常不可思議的事情。但基本原理沒有改變：使用激光光源并進行準直（這樣所有的光波都是平行），然后通過一個空間光調制器（SLM）進行傳輸。其中，調制器在每像素的基礎上改變相位。
結果是一個帶有干涉圖案的光場，并可用于創建場景的三維圖像。用戶通過一個透鏡瀏覽圖像，而系統將在視網膜上產生二維投影。在最簡單的應用中，SLM使用固定的變換，但為了優化結果，涉及的變換需要更復雜。例如，斯坦福大學的研究就是單獨處理每一個像素。
2. Neural Holography是如何優化全息顯示管道
CGH（計算機產生的全息圖）是一個嘗試通過顯示器投射的全息圖來重現場景的過程。在這種情況下，所述顯示器是指一個近眼頭戴式顯示器。除了硬件之外，創造逼真圖像的最大挑戰是SLM應用的變換。要創建一個可信的全息投影，SLM只能使用通過它的光線的相位變化。
現有的變換計算算法要么是速度快但質量不好（直接方法），要么是速度太慢，不適合實時使用，但質量好（迭代方法）。在斯坦福研究小組的論文中，他們介紹了一系列的現有方法及其缺點，并同時提出了能夠兩者互補的創新方案。
斯坦福大學的實驗室設置使用了RGB激光器、準直光學器件、液晶硅基SLM，并采用機器視覺攝像頭進行Camera-in-the-Loop仿真
首先，他們在典型的全息模擬裝置上增加了一個實際的攝像頭，以增強他們校準和訓練系統的能力。通過包含光學元件，所述裝置比只關注SLM輸出圖像的傳統系統更適合模擬真實的顯示器和人眼。團隊通過使用諸如隨機梯度下降（SGD）等優化方法來訓練系統學習如何為顯示器的SLM創建高質量的變換，并且顯示出更優的結果。攝像頭僅用于校準和訓練。一旦這個步驟完成，結果就可以用一個更簡單的系統進行顯示。
相關論文：Neural Holography
然而，研究小組建立了一個高效的神經網絡HoloNet，并訓練它來創建系統本身的模型，包括SLM變換和光學像差。所述模型用于顯示圖像，包括不在初始訓練集中的圖像。高性能的推斷方法使其能夠實時計算所需的變換，即使對于1080p的圖像同樣如此。所以，團隊能夠獲得與傳統迭代算法一樣好或更好的直接結果，并且幾乎與他們自己的CITL迭代結果一樣好。
通過添加攝像頭，CITL（camera-in-the-loop）模擬器能夠更準確地反映頭顯光學元件的真實世界結果
3. Neural Holography顯示出令人印象深刻的質量和優良的性能。
HoloNet（右）與DPAC（雙相位振幅編碼）的對比結果，后者在2017年SIGGRAPH大會中展示時屬于當時最先進的技術
團隊將HoloNet的結果與之前發布的領先算法進行比較，包括Wirtinger Holography、DPAC、GS（Gerchberg-Saxton），以及他們最初的CITL（camera-in-loop）成果。它不僅提供了令人印象深刻的表現，同時產生了優于其他方案的結果。
4. Holonet不僅可用于全息顯示器
韋茨坦認為全息顯示是AR/VR顯示領域中最有趣的研究領域之一，因為它的研究程度遠不及傳統顯示器。然而，他并不認為HoloNet的應用只能用于全息顯示器，因為變焦顯示器和多焦顯示渲染同樣面臨著類似的挑戰。團隊正在探索將所述結果與變焦顯示和多焦顯示解決方案相結合的方法，并創建所述方法的全息版本，從而有助于解決一系列的常見問題，如視覺輻輳調節沖突。
————
下面是斯坦福大學計算成像實驗室上傳了電子工程系助理教授戈登·韋茨坦（Gordon Wetzstein）在SIGGRAPH 2020大會的15分鐘演講，中文稿由中國AI網整理：