Nerfies可能是「自拍的未來」!裸眼3D時代來了嗎?

Nerfies可能是「自拍的未來」!裸眼3D時代來了嗎?

ADVERTISEMENT

11月23日,《牛津英文詞典》宣布選擇放棄「2020年度詞彙」的評選,將2020年形容為「無法用一個單詞就可以概括的一年」。

每年,「年度詞彙」的評選,《牛津英文詞典》會根據英文新聞等超過110億個英文單詞組成的語料庫分析總結,希望能「反映本年度的風氣、民眾心情和關注焦點」,同時最終被選擇的「年度詞彙」還需要「具有文化意義的持久潛力」。

例如,2013年的「年度詞彙」之一Selfie(自拍)。

裸眼3D?不,這可能是「自拍的未來」!

根據統計,較之於前一年,2013年社群網站上「selfie」一詞的使用率激增17000%。

如今,7年過去了,不知道大家的自拍技術都有怎樣的突飛猛進呢?

裸眼3D?不,這可能是「自拍的未來」!

不知道大家有沒有想過,7年了,無人駕駛都開始在各地測試了,iPhone也到了12,為什麼自拍的方式一直沒有變過呢?

這個問題也一直困擾著華盛頓大學和Google的研究人員們,近日,他們終於推出了一種全新的自拍方式,保證讓你發在社群媒體的圖像更加生動和擬真。

先來看看他們定義的「自拍的未來」到底是個什麼東西:

裸眼3D?不,這可能是「自拍的未來」!

裸眼3D?不,這可能是「自拍的未來」!

雖然看上去確實比單純的圖像本身要更擬人一些,3D模型也讓周圍的環境都顯露無疑,但是這晃來晃去的,文眼睛都快給晃暈了。

nerfies鼓勵人們分享更多

2016年5月,The Outnet和輿情監測平台Pulsar對Facebook、Instagram、Twitter上發布的與「愉悅感」「興奮感」相關的3300萬份發文進行了分析,結果顯示,自拍更多了,但不再只是為了對外展示個人魅力,創造「美好的自我幻想」,而是透過自拍更好的認識自我,記錄生活與成長的真實體驗,例如進行減肥打卡、長跑記錄等。

裸眼3D?不,這可能是「自拍的未來」!

既然大多數積極的詞彙都與「自拍」相關,那為什麼我們不去分享更多呢?

抱著這樣的設計理念和構想,nerfies就誕生了。

我們都知道要創建3D場景,通常需要一些特殊的硬體,例如LIDAR掃瞄器,該掃瞄器主要使用雷射測量物距,進而可以更好地建立3D模型。現在,iPhone 12 Pro和12 Pro Max上也內建了LIDAR感應器。但這些特殊硬體並不便宜,也並不是那麼容易使用。

不過,nerfies可就不一樣了。如果你想要創建一個nerfies這樣的「自拍」,你只需要從多個不同角度,拿著手機在自己面前來回晃動一下,同時確保自己始終保持在畫面中,就這麼簡單。

就像這樣:

裸眼3D?不,這可能是「自拍的未來」!

根據官方介紹,nerfies是一種在特定時刻創建更全面的自拍的方法,觀看者不僅可以觀看2D圖像,還可以在3D模式下縮放和平移對象,全程也無需任何其他特殊設備,用到的只有配備了攝像鏡頭的智慧型手機和一點點CPU處理能力。

論文連結

 

如何解決又貴又麻煩的問題

要根據這種影像數據創建3D模型,研究人員使用了一種稱為神經輻射場(Neuro Radiance Fields,簡稱NeRF)的方法,該方法可以從不同角度拍攝物體的多個圖像,使用這些2D數據來運算和產生3D模型,同時允許其他人從不同的角度進行操作和觀看。

不過,NeRF方法有一個問題,它要求拍攝對像在整個過程中保持完全靜止。這對於我們來說,難度還是有的,因此NeRF方法需要利用到大型相機陣列,讓其同時從多個角度捕捉一個人的圖像,但是這就回到了和LIDAR一樣的問題上了,攝像機陣列又貴又麻煩。

裸眼3D?不,這可能是「自拍的未來」!

所以,在這個過程中,讓被拍攝對象自己搖動手機捕捉自己的影像,可能是一種更容易的方法。但為了從多個角度產生靜止圖像,整個過程可能需要持續幾秒鐘的時間,這意味著拍攝對象不斷運動。

為瞭解決這個問題,研究小組開發了一種稱為可變形神經輻射場(簡稱D-NeRF)的新方法,該方法能夠比較框架,以確定被攝對像在它們之間移動了多少,然後自動運算必要的變形,這樣就可以調整提取出的不完美的2D圖像數據,將其仍用於創建準確的互動式3D模型。

D-NeRF通過最佳化附加的連續體積變形場來增強神經輻射場(NeRF),該場將每個觀察點扭曲為規範的5D NeRF。研究人員還觀察到,這些類似NeRF的形變場傾向於局部極小值,於是為基於坐標的模型提出了從粗到精的最坐化方法,該方法可實現更強大的優化。透過將原理從幾何處理和物理模擬應用於類似NeRF的模型,提出了變形場的彈性正則化,進一步提高了強健性。

研究人員透過使用裝備有兩部手機的設備收集數據進行評估,這兩部手機可以拍攝時間同步的照片,並在不同的視點上產生相同姿勢的訓練/驗證圖像,這也證明了這種方法的確忠實地重建了非剛性變形的場景,並以高保真度再現了看不見的景象。

裸眼3D?不,這可能是「自拍的未來」!

不僅如此,nerfies還可以透過對兩個輸入影格的變形潛在程式碼,進行插值來為場景設置動畫。

裸眼3D?不,這可能是「自拍的未來」!

如果未來某天,nerfies真的流行起來,只要有人看到別人在Instagram上分享的美食照片,他們還能看看四周的餐廳環境如何。

或者,如果一個業餘時尚達人分享了自己在試穿一件上衣時的nerfie,其他人還能調整相機的位置,看看這件衣服要怎麼搭配褲子和鞋子。

也就是說,nerfies可能會為社群媒體提供全新的視角,但與此同時,由於許多人可能在偷偷穿著睡褲在家辦公,nerfies也會讓這些人暴露無遺吧。

資料來源:

本文授權轉載自大數據文摘

bigdatadigest
作者

大數據文摘(bigdatadigest)成立於2013年7月,專注數據領域資訊、案例、技術,在多家具有影響力的網站、雜誌設有專欄,致力於打造精準數據分析社群。

使用 Facebook 留言
發表回應
謹慎發言,尊重彼此。按此展開留言規則