戴上VR頭盔就「沒臉見人」? Google引用MR技術,即時移除影片中使用者的VR頭盔

戴上VR頭盔就「沒臉見人」? Google引用MR技術,即時移除影片中使用者的VR頭盔

如果在透過VR裝置享受虛擬實境樂趣的時候,想要拍下使用中的影片與朋友分享,就會遇到1個問題:臉被VR頭盔遮住了。為了要讓影片中的使用者,也「有臉見人」,Google特別研發了移除影片中VR頭盔的影像合成技術,讓系統能夠自動將使用者的臉合成到影片中。

臉被擋住看不到啦

先前筆者曾經介紹過WebEye VR,它是台能夠提供VR攝影功能的Webcam。當初筆者對這款產品最大的疑慮,就是使用者在聊天的過程中,為了要看到VR的視覺效果,所以彼此都需要帶上VR頭盔,然而如此一來使用者的臉就會被VR頭盔擋住,進而影響聊天的氣氛。

換個情境,你或許有在觀看遊戲實況轉播的時候,看過實況主配戴VR頭盔的情況,這時候除了無法看見他「置身」於虛擬實境空間中的情況,也沒辦法看清楚他的臉部表情。

目前已經有技術,能透過影像合成的方式,將虛擬實境空間與使用者合成在同個畫面上。其原理是透過綠幕攝影拍下使用中的影像,再搭配感應器偵測使用者在空間中的位置,然後將影片與虛擬實境合成,如此一來觀眾就會覺得影片中的使用者真的處於虛擬實境空間中。

戴上VR頭盔就「沒臉見人」? Google引用MR技術,即時移除影片中使用者的VR頭盔

▲戴著VR頭盔的使用者可以置身於虛擬實境,但是在旁觀者眼中他可能是這個樣子。

戴上VR頭盔就「沒臉見人」? Google引用MR技術,即時移除影片中使用者的VR頭盔

▲旁觀者不容易瞭解使用者眼中的世界是什麼樣子。(圖片來源:Google,下方無標示者亦同)

戴上VR頭盔就「沒臉見人」? Google引用MR技術,即時移除影片中使用者的VR頭盔

▲透過綠幕攝影方式拍下使用者,就能將影像與虛擬實境合成。

戴上VR頭盔就「沒臉見人」? Google引用MR技術,即時移除影片中使用者的VR頭盔

▲如此一來旁觀者就可以看到虛擬世界的模樣。但是現在的問題是仍然看不到使用者的臉。

透過MR技術「拆下」頭盔

為了解決這個問題,Google的研發團隊開發了特殊的MR技術,利用3D繪圖與合成的方式,達到移除VR頭盔的效果,讓影片觀眾能夠看到使用者的臉。

首先使用者需要透過特殊的攝影機,從各角度拍攝臉部,然後在螢幕前盯著移動中的白點,讓攝影機拍下眼睛看往不同方向的影像,如此一來就能建立臉部的3D模型,整個過程大約只需1分鐘。

接下來的手續,就跟前面提到的綠幕攝影大同小異,但是在影像合成的過程中,因為多了1個將臉部3D模型合成到VR頭盔區域的手續,因此需要精細校正VR頭盔在空間中的座標,以及其動態感應系統,讓影像能夠精準疊合在一起,不會產生異常的裂縫。

透過這種技術拍攝的影片,不但讓觀眾能夠看到使用者以及他與虛擬實境空間互動的情況,還能看到使用者在VR頭盔下的臉,提高影片的親切感。不過這個技術也有個小小的問題,那就是當使用者拔下VR頭盔之後,可能會因為畫面中出現2張臉而讓人嚇一跳。

戴上VR頭盔就「沒臉見人」? Google引用MR技術,即時移除影片中使用者的VR頭盔

▲在使用新技術之前,使用者需先透過特殊器材建立臉部3D模型。(圖片來源:Google

戴上VR頭盔就「沒臉見人」? Google引用MR技術,即時移除影片中使用者的VR頭盔

▲如此一來就能使用影像合成的方式,移除影片中的VR頭盔。

戴上VR頭盔就「沒臉見人」? Google引用MR技術,即時移除影片中使用者的VR頭盔

▲使用者種技術拍攝的影片,可以讓觀重看見使用者身處的虛擬世界與臉部表情。

戴上VR頭盔就「沒臉見人」? Google引用MR技術,即時移除影片中使用者的VR頭盔

▲由於臉部影響是透過3D方式繪製,即便轉到側面也能正常顯示。

戴上VR頭盔就「沒臉見人」? Google引用MR技術,即時移除影片中使用者的VR頭盔

▲好玩的是如果拔下VR頭盔,畫面中就會出現2張使用者的臉。

國寶大師 李文恩
作者

電腦王特約作者,專門負責硬派內容,從處理器、主機板到開發板、零組件,尖端科技都一手包辦,最近的研究計畫則包括Windows 98復活與AI圖像生成。

使用 Facebook 留言
發表回應
謹慎發言,尊重彼此。按此展開留言規則