什么是MR?

如何區(qū)分增強(qiáng)現(xiàn)實(shí)、混合現(xiàn)實(shí)以及介導(dǎo)現(xiàn)實(shí)?VR是計(jì)算機(jī)生成的純粹虛擬環(huán)境，AR簡(jiǎn)單地在裸眼現(xiàn)實(shí)中疊加虛擬畫面，人可能無法直接用手勢(shì)去與其互動(dòng)，例如手機(jī)AR應(yīng)用必須在手機(jī)上點(diǎn)觸操作，而混合現(xiàn)實(shí)則在此基礎(chǔ)上為人們提供了更方便地手勢(shì)交互，比如微軟Hololens，可以捕捉人的手部動(dòng)作，用戶可以直接用手點(diǎn)擊疊加在現(xiàn)實(shí)物體上的虛擬界面。此外還有一個(gè)包含AR/VR和Mixed Reality的Mediated Reality(介導(dǎo)現(xiàn)實(shí))的概念，它可以重新生成一個(gè)數(shù)字現(xiàn)實(shí)，現(xiàn)實(shí)中的任何物體不僅可以疊加虛擬畫面，還可以被削減變形產(chǎn)生極大地改變。打個(gè)比方，VR是讓你醒著做夢(mèng)，AR是讓你變個(gè)小魔術(shù)，那么混合現(xiàn)實(shí)乃至介導(dǎo)現(xiàn)實(shí)是則可以讓你擁有“魔法”，只不過介導(dǎo)現(xiàn)實(shí)離我們還較遠(yuǎn)，我們目前只討論混合現(xiàn)實(shí)。

VR/MR與多種技術(shù)的結(jié)合

我們知道HTC Vive是一款優(yōu)秀的VR設(shè)備，它可以提供大范圍位置追蹤和體感還原，有不少愛好者們已經(jīng)拿到了自己的Vive，但是戴上頭盔自己悶頭玩總會(huì)讓圍觀的朋友感覺不能理解，于是大家鉆研出了使用OBS加攝像頭拍攝第三人稱視角的MR混合現(xiàn)實(shí)游戲視頻，使得真人影像融入到游戲世界中，看起來很酷炫，但這并不是真正的MR，只是帶有MR演示效果地合成視頻，但是這種合成視頻卻能很好地演示出人與虛擬物體進(jìn)行立體交互的效果。

那么什么是真正的MR混合現(xiàn)實(shí)呢?真正的MR技術(shù)一定會(huì)運(yùn)用到CV計(jì)算機(jī)視覺技術(shù)識(shí)別場(chǎng)景，譬如Slam技術(shù)，這是一種基于CV技術(shù)實(shí)時(shí)進(jìn)行三維重建的技術(shù)，我們以微軟HoloLens為例，HoloLens 擁有四臺(tái)攝像頭，左右兩邊各兩臺(tái)。通過對(duì)這四臺(tái)攝像頭的實(shí)時(shí)畫面進(jìn)行分析，得到一系列的深度圖，再通過算法合成重建場(chǎng)景，其實(shí)原理和微軟的Kinect類似，也就是說Hololens的攝像頭模組可以看作是多個(gè)Kinect體感攝像頭的組合，Kinect是通過發(fā)射和接收紅外點(diǎn)陣識(shí)別場(chǎng)景中的人和物體，所以多個(gè)Kinect的組合可以捕捉不同角度的深度圖，實(shí)時(shí)迭代，對(duì)不同深度圖進(jìn)行累積，計(jì)算出精確的房間以及房間內(nèi)物體的三維模型。

所以Hololens帶來的效果是讓人難分虛實(shí)，因?yàn)楫?dāng)精確計(jì)算和重建房間后可以將虛擬模型和三維動(dòng)畫毫無痕跡地與實(shí)際場(chǎng)景結(jié)合起來，例如一面墻上突然開了個(gè)洞，洞里鉆出了個(gè)機(jī)器人，會(huì)把你下一大跳。

Magic Leap的宣傳片畫面

不光是國(guó)外的巨頭們?cè)诜e極研究VR/MR和多種技術(shù)的結(jié)合應(yīng)用，近期獲悉深圳BeanVR團(tuán)隊(duì)也在他們即將上線的產(chǎn)品中加入了MR直播系統(tǒng)功能，如果能很好地應(yīng)用在目前的娛樂直播行業(yè)，可以顛覆目前直播行業(yè)的運(yùn)營(yíng)模式，其MR直播系統(tǒng)應(yīng)用原理是通過用不同位置攝像頭記錄畫面，再用算法合成人物的立體影像單獨(dú)摳出到虛擬場(chǎng)景中，實(shí)現(xiàn)Slam即實(shí)時(shí)掃描人物建模。此外，人工智能技術(shù)也被他們列為重點(diǎn)研究對(duì)象，目前也在嘗試于產(chǎn)品中加入一個(gè)能夠“讀懂”你的人工智能助手。那么AI是怎樣結(jié)合到VR中的呢?

　　VR與人工智能的結(jié)合

未來好的MR體驗(yàn)除了必須用到Slam技術(shù)，也肯定會(huì)和AI相結(jié)合，人工智能技術(shù)即AI可以幫助我們的機(jī)器也擁有像人一樣的神經(jīng)認(rèn)知過程，逐漸形成一種記憶和習(xí)慣，設(shè)備會(huì)變得更智能，越來越懂你，舉一個(gè)實(shí)際的應(yīng)用例子，谷歌的人工智能AlphaGo以4比1成功戰(zhàn)勝圍棋高手李世石，除了讓“阿法狗”名聲大噪，也讓科技界見識(shí)到了深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)即DNN目前已取得的驚人成果。在人工智能領(lǐng)域，神經(jīng)網(wǎng)絡(luò)是一種模擬生物神經(jīng)系統(tǒng)的模型，它更接近于人腦，能夠模擬人腦來表達(dá)對(duì)數(shù)據(jù)的高度抽象。這樣的技術(shù)也能運(yùn)用到VR當(dāng)中，例如手勢(shì)識(shí)別，傳統(tǒng)的手勢(shì)識(shí)別的算法需要人工建立一個(gè)圖像識(shí)別庫，而深度學(xué)習(xí)能夠賦予手勢(shì)識(shí)別系統(tǒng)類比學(xué)習(xí)能力，能夠非常有效地從大量有標(biāo)簽數(shù)據(jù)中深度提取數(shù)據(jù)的特征信息，大大提高手勢(shì)識(shí)別的效率和準(zhǔn)確率，所以跟你打交道的機(jī)器會(huì)越來越懂你。

未來當(dāng)你和虛擬世界中的NPC人物交談時(shí)，會(huì)讓你感受不到它其實(shí)是由代碼組成的，而是真的感覺在和一個(gè)有思想的人交談。而且我們知道虛擬世界中人們應(yīng)該不需要鼠標(biāo)鍵盤這樣會(huì)被淘汰的的人機(jī)交互工具了，人工智能技術(shù)能夠很輕易的識(shí)別你的語言，把它翻譯成一個(gè)指令，幫你在虛擬世界中完成各種事情，就像電影《鋼鐵俠》中的賈維斯一樣智能。

　　VR/MR仍然會(huì)最先在社交應(yīng)用上爆發(fā)

當(dāng)下VR甚至MR應(yīng)用的最多的還是游戲，因?yàn)榘℉oloLens在內(nèi)的應(yīng)用市場(chǎng)中很大一部分都是游戲Demo，但是我們相信VR/MR一定會(huì)在社交應(yīng)用中首先爆發(fā)，就像互聯(lián)網(wǎng)和移動(dòng)互聯(lián)網(wǎng)社交應(yīng)用的用戶基數(shù)一定是比游戲用戶基數(shù)要大，游戲并不是所有人生活的精神食糧，而且不同類型的游戲也擁有不同的受眾。但是和遠(yuǎn)在天邊的人隨時(shí)“零距離”溝通一直是人們的愿望，除非你有社交恐懼癥，隨著科技發(fā)展，從電話到BB機(jī)到手機(jī)，從文字到圖片到視頻，人們?cè)谝稽c(diǎn)點(diǎn)縮小彼此溝通需要的成本，并不斷改善體驗(yàn)。VR/MR技術(shù)會(huì)從沉浸感和距離感上再次顛覆人們的社交體驗(yàn)，但是為了實(shí)現(xiàn)真正的“零距離”，科技公司和創(chuàng)業(yè)團(tuán)隊(duì)們需要進(jìn)行一場(chǎng)技術(shù)的軍備競(jìng)賽，首先就是要從完全還原真實(shí)中的人的神態(tài)，動(dòng)態(tài)到虛擬世界當(dāng)中去。

以社交起家和聞名的世界性社交平臺(tái)的Facebook公司在收購Oculus似乎就是在給我們一個(gè)暗示——VR/MR一定會(huì)成為下一代社交平臺(tái)，所以花重金布局是值得的。

此前Facebook在F8大會(huì)上曝光的一段demo演示，畫面中的虛擬透明人雖然沒有表情，但是精準(zhǔn)的手部和頭部動(dòng)作追蹤以及無障礙的“面對(duì)面”語音交流讓這兩個(gè)虛擬人栩栩如生，加上兩個(gè)人不斷切換風(fēng)景，用筆寫寫畫畫，最后還來了個(gè)自拍，讓人感覺這應(yīng)該就會(huì)是未來的社交應(yīng)用起碼該有的樣子。

盡管目前的真人捕捉和CG電影技術(shù)已經(jīng)足夠震撼，《魔獸》中吳彥祖飾演的古爾丹神態(tài)和氣質(zhì)兼?zhèn)?，但是由于沒有眼球追蹤，人物依然無法有很好的眼神，且真人演員需要穿戴巨麻煩的捕捉服裝和設(shè)備，且龐大的數(shù)據(jù)量只能記錄儲(chǔ)存，無法做到低延遲低成本的實(shí)時(shí)傳輸，所以目前在虛擬場(chǎng)景中還原出人的Avatar仍然任重道遠(yuǎn)，且需要和深度學(xué)習(xí)這樣的技術(shù)做結(jié)合才能更快實(shí)現(xiàn)。

國(guó)內(nèi)的BeanVR團(tuán)隊(duì)緊追Facebook等巨頭的方向和腳步，他們認(rèn)為VR社交應(yīng)該是從能夠滿足用戶基本需求的輕型應(yīng)用出發(fā)，而不是那種可以聯(lián)機(jī)的大型網(wǎng)絡(luò)游戲，首先是用戶之間的交互和溝通，然后是即時(shí)分享機(jī)制，傳統(tǒng)的是語音，打字，圖片，視頻，現(xiàn)在是用戶面對(duì)面分享，或是像qq空間那樣的博客產(chǎn)品也進(jìn)化成別人來參觀你裝扮虛擬房間，里面有你的立體相冊(cè)，每一張360照片代表的是你去過的地方，任何人都可以進(jìn)入其中觀看。

在BeanVR7月份做出的MR互動(dòng)直播Demo的功能中，對(duì)于直播的主播方不需要傳輸很大的數(shù)據(jù)量，能給予觀眾很棒的立體視覺體驗(yàn)效果，并且能廣泛運(yùn)用，雖然如此，但視頻不是模型，無法做到全方位觀看。他們也會(huì)繼續(xù)深耕計(jì)算機(jī)視覺，Slam技術(shù)，下一代VR/MR交互技術(shù)以實(shí)現(xiàn)更好的效果。