其中，亞伯拉什展示了優化的手部追蹤功能，并表示現在Facebook研發的系統已經能夠相當精確地追蹤手部和手指的快速運動。另外，他指出光學手部和手指追蹤將成為空間計算機范式的重要組成要素。

相關團隊在8月舉行的SIGGRAPH大會展示了所述研究，并發布了具體論文。

以前大部分關于手部追蹤的研究都集中在外部深度攝像頭或RGB攝像頭。深度攝影頭可以提供2.5D點云的手部幾何圖像。然而，深度攝像頭對硬件設計和電量使用提出了額外的要求。相比之下，RGB攝像頭更容易集成，而隨著深度學習技術的進步，它們的實用性同樣在不斷提高。所以，利用單一RGB攝像頭和神經網絡來預測手部姿態已經成為一個熱門的研究課題。

Facebook Reality Labs主要提出了用于驅動虛擬現實和增強現實體驗的實時手部追蹤系統。利用四個魚眼單色攝像頭，系統能夠生成精確和低抖動的三維手部。研究人員主要是通過用于檢測手部和估計手部關鍵點位置的神經網絡架構來實現這一點。

相關論文：MEgATrack: Monochrome Egocentric articulated Hand-Tracking for Virtual Reality

手部檢測網絡能夠可靠地處理各種真實世界的環境，而關鍵點估計網絡則利用追蹤歷史來產生時空一致的姿態。團隊同時設計了可擴展的半自動機制，通過手動注釋和自動追蹤相結合的方式來收集大量不同的ground truth數據。

另外，研究人員引入了一種追蹤檢測的方法，在降低計算成本的同時提高了平滑度。優化后的系統在PC端能夠以60Hz的速度運行，而移動處理器則是30Hz。