微軟在2016年開始將立體攝像頭集成至VR系統(tǒng)中以開發(fā)AR頭顯，允許用戶能夠通過攝像頭的饋送看到現(xiàn)實世界。通過視頻合成可以創(chuàng)建低成本的AR系統(tǒng)。

與光學AR相比，這種形式的AR存在幾個優(yōu)點：低成本的攝像頭模塊僅為VR頭顯增加了大約40美元的零件價格；視場寬，水平和垂直方向達到100多度；可在陽光下運行，提供真正不透明的合成影像。即便是在室內(nèi)，設備都可以改善合成影像的色彩再現(xiàn)和對比度。

微軟的第一個原型將現(xiàn)成的機器視覺攝像頭集成至商用VR頭顯，顯示分辨率約為單眼100萬像素，頻率為60Hz或90Hz（見圖1和圖2）。兩條USB 3.0數(shù)據(jù)線將攝像頭影像傳輸至主機CPU。

微軟編寫了自己的實時圖像信號處理流程，以便對Bayer圖像進行去馬賽克處理，校正透鏡失真和修正顏色。光子到光子的延遲大約是50ms。利用后期再投影單應性矩陣糾正這種延遲的效果出奇的優(yōu)秀。

通過自定義同步電路板（圖3）令攝像頭與顯示器同步（由微軟研究院實驗室的硬件實驗室設計和構建）。它由來自頭顯顯示電路的垂直刷新信號觸發(fā)。任何商用頭顯的外部不存在這種信號，因此微軟打開了頭顯外殼，并在顯示電路板上探測引腳，從而找到了具有正確顯示更新頻率的信號。

這些早期原型展現(xiàn)了巨大的潛力，并鼓勵我們探索第二代頭顯，而微軟是從2017年夏天開始相關的項目。第一代的最大缺點是大型機器視覺攝像頭的體積和重量，以及顯示器的低分辨率。兩者都已經(jīng)在第二代設備中得到解決。

新款頭顯采用了由微軟研究院實驗室的硬件實驗室設計和制造的定制攝像頭控制電路板，后者搭載了一個滾動快門圖像傳感器 Omni Vision OV4689，可以在手機形狀參數(shù)中以90Hz的速度捕捉400萬像素。攝像頭與VR頭顯顯示器的同步是通過利用來自顯示控制器電路板的同步信號，但同步電路完全包含在攝像頭控制器電路板中。

與當前同等分辨率和幀速率的最小機器視覺系統(tǒng)相比，新的攝像頭模塊更小，重量更輕（圖4和圖5）?？紤]到只有2 micron-square像素，圖像質(zhì)量也出乎意料地好。

利用Cypress CX3 MIPI to USB橋接芯片，傳感器視頻可以通過USB 3.0數(shù)據(jù)線傳輸?shù)街鳈C。芯片的帶寬限制將90Hz的捕捉限制在1920×1440，而不是傳感器所能夠達到的完整2688×1520分辨率。

微軟的工程團隊編寫了自定義攝像頭控制器固件，因此可以在主機PC上的軟件中設置攝像頭幀速率，曝光和其他傳感器參數(shù)。他們同時編寫了自定義USB驅(qū)動程序來處理通過USB 3.0數(shù)據(jù)線傳輸?shù)母邤?shù)據(jù)速率視頻。光子到光子的延遲約為50毫秒，這時再次用后期的再投影單應性矩陣進行校正。

更高的分辨率顯著提升了現(xiàn)實世界的視場，輕巧的攝像頭模塊使設備比第一代原型更舒適。另外，混合現(xiàn)實頭顯的內(nèi)向外追蹤也消除了之前原型的移動性限制。這個系統(tǒng)利用背包電腦，完全可移動。

微軟生產(chǎn)了大約40臺這樣的頭顯，并由內(nèi)部的各個事業(yè)群作為研究目的進行使用。據(jù)映維網(wǎng)了解，微軟還正在積極開發(fā)未來的原型，并努力令延遲時間維持在5-10毫秒范圍內(nèi)。隨著現(xiàn)成頭顯的分辨率增加，他們將制作更高分辨率的原型。