在將數(shù)字能力引入我們的生活方面，虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)都有各自的優(yōu)勢(shì)。對(duì)于虛擬現(xiàn)實(shí)，用戶看到的一切（包括環(huán)境與對(duì)象）都可以被控制和改變。這同時(shí)意味著用戶所見(jiàn)并不一定反映著現(xiàn)實(shí)世界。例如，如果這時(shí)另一個(gè)用戶進(jìn)入房間，她將不會(huì)出現(xiàn)在VR世界。

另一方面，AR允許用戶利用虛擬信息豐富他們的物理環(huán)境。你可以將虛擬對(duì)象添加到環(huán)境中，也可以在視覺(jué)上更改或刪除現(xiàn)實(shí)世界的對(duì)象。然而，其中許多更改都難以實(shí)現(xiàn)。要?jiǎng)h除物理對(duì)象，你必須能夠通過(guò)虛擬內(nèi)容覆蓋現(xiàn)有的物理對(duì)象，從而令其不再可見(jiàn)。這需要虛擬對(duì)象和物理對(duì)象的精確對(duì)準(zhǔn)，從物理對(duì)象背后提取背景信息的能力，以及能夠以原始對(duì)象不再可見(jiàn)的方式覆蓋物理對(duì)象的顯示技術(shù)。由于典型的混合現(xiàn)實(shí)技術(shù)依賴于前置攝像頭和頭戴式透視顯示器，又或者是視頻透視顯示器，因而這些變化可能難以實(shí)現(xiàn)，因?yàn)榍爸脭z像頭無(wú)法感知應(yīng)刪除物理對(duì)象背后的環(huán)境。

微軟 開(kāi)始探索將VR和AR的優(yōu)勢(shì)結(jié)合起來(lái)，在混合現(xiàn)實(shí)中創(chuàng)造性地操縱空間與時(shí)間。他們創(chuàng)建了一個(gè)混合現(xiàn)實(shí)環(huán)境，其中用戶可以看到周遭環(huán)境的實(shí)時(shí)表示。與其他方法相比，用戶不是通過(guò)機(jī)載攝像頭看到圖像。相反，微軟為房間配備了八個(gè)安裝在天花板上的Kinect攝像頭。攝像頭的數(shù)據(jù)將組合成一個(gè)完整的3D房間重建視圖。用戶可以通過(guò)VR頭顯看到重建的環(huán)境實(shí)時(shí)視圖。

微軟團(tuán)隊(duì)將用戶的虛擬視點(diǎn)與他們?cè)诜块g中的實(shí)際位置相匹配。這意味著物理對(duì)象能夠?qū)R虛擬表示。由于數(shù)據(jù)是實(shí)時(shí)傳輸，因此用戶能夠?qū)崟r(shí)感知到物理環(huán)境中的任何變化（如家具的移動(dòng)或進(jìn)入房間的人）。用戶仍然可以觸摸和感受到現(xiàn)實(shí)世界，并同時(shí)獲得執(zhí)行幾乎所有視覺(jué)變化的能力。

微軟將這種類型的空間和時(shí)間操作看作是一種新型的透視AR，它允許用戶體驗(yàn)他們的物理環(huán)境，同時(shí)還可以實(shí)現(xiàn)通常只能在VR中進(jìn)行的元素更改。用戶可以輕松地“擦除”房間中的幾何圖形，比如重新粉刷模擬房間等等。由于Kinect攝像頭是從多個(gè)角度覆蓋環(huán)境，因此用戶可以擦除房間中的一部分并瀏覽其背后的環(huán)境。這對(duì)于依賴于前置攝像頭的傳統(tǒng)AR而言十分具有挑戰(zhàn)性，因?yàn)槠錈o(wú)法感知對(duì)象背后的環(huán)境。

與此同時(shí)，這些空間和時(shí)間操作令重新著色，移動(dòng)或復(fù)制對(duì)象成為可能。“克隆”對(duì)象的例子如圖3所示。由于所有更改都連續(xù)應(yīng)用于實(shí)時(shí)幾何體，因此在進(jìn)行操作后，對(duì)象任何的移動(dòng)或復(fù)制都會(huì)繼續(xù)實(shí)時(shí)動(dòng)態(tài)更新。

時(shí)間變化同樣有可能實(shí)現(xiàn)。用戶可以暫停時(shí)間（即暫停接收實(shí)時(shí)數(shù)據(jù)），并在靜態(tài)重建環(huán)境中自由移動(dòng)。他們還可以記錄事件，并以任何所需的速度播放它們。

圖3（左）中的用戶在跳躍時(shí)暫停了時(shí)間。這有效地為用戶提供了靜態(tài)3D重建，這意味著他仍然可以自由移動(dòng)。由于環(huán)境是3D模型，更改用戶視圖就像修改相機(jī)視點(diǎn)一樣簡(jiǎn)單。例如，用戶可以虛擬地移動(dòng)到房間的另一部分，并從不同的角度瀏覽環(huán)境，無(wú)需改變自己的物理位置（圖1d和圖5中說(shuō)明了這種情況）。同樣，微軟實(shí)現(xiàn)了一個(gè)視圖傳送門機(jī)制。用戶可以看到同時(shí)觀察房間的各個(gè)部分。

由于這些實(shí)驗(yàn)結(jié)合了多個(gè)Kinect攝像頭的數(shù)據(jù)，因此微軟還實(shí)現(xiàn)了在用戶當(dāng)前空間內(nèi)包含遠(yuǎn)程位置的功能。這種交互的靈感來(lái)自于早期的研究，如Holoportation。圖5是遠(yuǎn)程用戶及其環(huán)境出現(xiàn)在了用戶的當(dāng)前視圖。遠(yuǎn)程用戶只需要一個(gè)Kinect攝像頭即可。這種實(shí)現(xiàn)結(jié)合了本地和遠(yuǎn)程數(shù)據(jù)。

從房間改造，游戲到會(huì)議，微軟為這種在混合現(xiàn)實(shí)中操縱空間與時(shí)間的用例設(shè)想了一系列的有趣場(chǎng)景。我們可以擴(kuò)展混合現(xiàn)實(shí)中的可能性空間，并提供一種無(wú)縫橋接虛擬世界和物理世界的方法。這可以支持用戶完全控制感知物理環(huán)境的方式，并允許他們進(jìn)行幾乎所有的視覺(jué)修改。

微軟同時(shí)設(shè)想混合現(xiàn)實(shí)的未來(lái)版本能夠改變用戶對(duì)物理的感知（如創(chuàng)建實(shí)時(shí)零重力環(huán)境），甚至是對(duì)時(shí)間的感知（如慢動(dòng)作環(huán)境）。一旦用戶無(wú)法再區(qū)分虛擬和真實(shí)，我們就可以尋求最舒適或最適當(dāng)?shù)钠胶?。微軟設(shè)想這樣的系統(tǒng)適用于廣泛的心理物理實(shí)驗(yàn)（如調(diào)查靈魂出竅），或探索生活在顛倒世界中的感覺(jué)。這項(xiàng)研究代表了該領(lǐng)域的初步探索。微軟表示未來(lái)還有很多工作要做，包括提高用戶所見(jiàn)的視覺(jué)質(zhì)量，而他們同時(shí)渴望繼續(xù)挖掘這一方法的優(yōu)勢(shì)和局限。