蘋果新專利顯示在AR/VR開發一種專門的空間音頻格式
除了致力于實現高分辨率的圖像外，蘋果同樣在努力提升“蘋果眼鏡”的音頻效果。日前美國專利商標局公布了兩份與之相關的沉浸式音頻專利申請，而這表明蘋果正在探索如何為設備實現空間音頻。
具體而言，蘋果希望構建一種類似于.MP3或.AAC的音頻格式，并將其打造成XR設備的標準格式。所述格式能夠將ar所需的額外空間信息合并在一起，并納入相關的空間音頻效果。值得一提的是，蘋果早前曾與皮克斯為AR開發了一種名為USDZ的格式，即在用戶周圍的三維空間中放置音頻。
延伸閱讀：已在皮克斯發展6年，解讀蘋果USDZ AR文件格式，對AR發展有何幫助
名為“File Format For Spatial Audio”的蘋果專利申請指出：“在增強現實、虛擬現實和混合現實應用中生成三維音效是一個挑戰，因為現有的音頻格式最初是為在有著固定揚聲器位置和固定聽者的物理環境中產生3D聲音而設計，比如電影院。”
蘋果在這份專利文檔中將AR、vr和MR統稱為模擬現實（Simulated Reality；SR），并表示他們希望以現有的3D音頻格式作為基礎來為SR模擬現實構建一種空間音頻格式。這家公司指出，設計用于產生3D聲音的空間音頻格式可以包括MPEG-H 3D Audio標準、HOA空間音頻技術和杜比 ATMOS環繞聲技術。
蘋果進一步介紹道：“在SR環境中產生3D音效的另一種選擇是操縱音頻對象所包含的單個離散聲音，而所述聲音幾乎可以位于3D環境中的任何地方。”
相關專利：Apple Patent | File Format For Spatial Audio
蘋果在解釋需要一種全新的格式時指出：“（然而）使用現有的空間音頻格式和對象來為SR應用程序合成音頻十分困難，因為沒有統一的方法來訪問各種聲源并將它們合并到動態SR環境中。”
蘋果提出的解決方案是創建一種類似于.m4v和.mp4，并負責將不同元素組合在一起的“容器”格式。就蘋果的空間音頻需求而言，這家公司建議創建一種“音頻asset庫…(其中)包括允許SR應用開發者編寫用于SR應用的asset元數據。”
asset元數據不僅描述了聲音是如何編碼，而且描述了模擬現實環境中的用戶是如何體驗聲音。配置模擬現實開發者平臺，以便開發者可以使用音頻庫中存儲的音頻資源來為模擬現實對象合成聲音。包括asset元數據編輯，以納入支持asset元數據實現動態轉換的轉換參數，從而改變用戶體驗合成聲音的方式。
在另一份名為“Spatial Audio Upmixing”的專利申請中，蘋果主要介紹了一種可用于XR設備的空間音頻上混頻（Upmixing）。作為說明，音頻領域存在Upmixing（上混頻）和Downmixing（下混頻）的技術。一般而言，與下混頻相反，上混頻是指將音頻聲道轉換成更多的音頻聲道，實際上，這個過程主要是將雙聲道轉換為5.1聲道，亦即中央聲道，前置左右聲道和后置左右聲道，以及所謂的0.1重低音聲道。
蘋果進一步指出：“Spatial Bed是一種代表完整聲場描述的多聲道音頻內容，Spatial Bed是表示完整聲場描述的多聲道音頻內容，如虛擬聲場。通過混合至少兩個這樣的Spatial Bed，可以生成新的Spatial Bed。”
音頻專業人士或許會認為這里的上混頻只是指左右位置，但對于XR領域，蘋果是在考慮一種球體布置。
相關專利：Apple Patent | Spatial Audio Upmixing
文件指出：“新的空間音頻對象可以包括一個虛擬聲源（虛擬球體）的球形陣列，而所述陣列定義了圍繞新空間音頻對象收聽位置的聲場，例如，在定制混音球體的中心。”
一個典型的聲音編輯器應用現在擁有一個音頻波形的平面圖形顯示，而蘋果提出了一個可以在球體范圍內顯示音頻的全新系統。
蘋果表示：“所述過程同時可以將新的空間音頻對象（新的Spatial Bed）可視化為一個單獨的新球體，例如在SR環境中從聲音設計師的角度顯示新球體的表面，這樣他們就可以在新球體的內部設計聲音。”
文件繼續說道：“這可以呈現為聲音設計師在SR環境中伸出的虛擬雙手，并用手持式畫筆或噴霧設備繪制新球體的內部（或外部），而所選聲音的（空間音頻對象的輸入）將被渲染。”
蘋果沒有提到用于這種空間音頻的格式名稱，但“Spatial Audio Upmixing”和“File Format For Spatial Audio”這兩份專利或許是息息相關。
值得說明的是，這并不是蘋果第一次構建專有的音頻格式。例如，它創建了自己的無損ALAC格式，并且在iTunes商店中選擇了AAC而非MP3格式。