AI算繪新高度!用照片就可以繪製出超逼真的3D場景

AI算繪新高度!用照片就可以繪製出超逼真的3D場景

ADVERTISEMENT

 

先來看一段「影片」,有沒有看出什麼不對勁的地方?

AI算繪新高度!用照片就可以繪製出超逼真的3D場景

其實,這僅僅是由一組照片算繪出來的(右下角為拍攝照片)!

AI算繪新高度!用照片就可以繪製出超逼真的3D場景

產生的也不僅僅是一段影片,更是一個3D場景模型,不僅能任意角度隨意切換、高清晰度無死角,還能調節曝光、白平衡等參數,產生船新的照片:AI算繪新高度!用照片就可以繪製出超逼真的3D場景

在完全不同的場景下,例如一個坦克廠中,同樣能用一組照片算繪出逼真3D場景,相同角度與真實拍攝圖像幾乎「完全一致」:

AI算繪新高度!用照片就可以繪製出超逼真的3D場景

雖然之前蘋果雖然也做過用一組照片產生目標物體3D模型的功能,但最多就是一件物體,例如一只箱子:

AI算繪新高度!用照片就可以繪製出超逼真的3D場景

但這次可是整個3D場景!

AI算繪新高度!用照片就可以繪製出超逼真的3D場景

這是德國愛爾朗根-紐倫堡大學的幾位研究人員做的專案,效果一出就火得不行,在Twitter上按讚數超過5000,閱讀量近37萬。

那麼,這樣神奇的效果,究竟是怎麼產生的呢? 

用照片還原整個3D場景圖

整體來說,這篇論文提出了一種基於點的可微神經算繪流水線ADOP(Approximate Differentiable One-Pixel Point Rendering),用AI分析輸入圖像,並輸出新角度的新圖像。

AI算繪新高度!用照片就可以繪製出超逼真的3D場景

在輸入時,由於需要建模3D場景,因此這裡的照片需要經過嚴格拍攝,來獲取整個場景的稀疏點雲資料。 

具體來說,作者在從照片獲取點雲資料時,採用了COLMAP。 

先從多個不同的角度拍攝場景中的照片,其中每張照片的視角都會經過嚴格控制。 

然後採用SfM(Structure From Motion,運動恢復結構)方法,來獲取相機內外參數,得到整個場景的3D重建資料,也就是表示場景結構的稀疏點雲:

AI算繪新高度!用照片就可以繪製出超逼真的3D場景然後,包含點雲等資訊的場景資料會被輸入到流水線中,進行下一步的處理。

流水線(pipeline)主要分為三個部分:可微光柵化器、神經算繪器和可微色調映射器。

AI算繪新高度!用照片就可以繪製出超逼真的3D場景

首先,利用多解析度的單像素點柵格化可微算繪器(可微光柵化器),將輸入的相機參數、重建的點雲資料轉換成稀疏神經圖像。 

其中,模型裡關於圖像和點雲對齊的部分,採用了NavVis資料集來訓練。 

然後,利用神經算繪器,對稀疏神經圖像進行陰影計算和孔洞填充,產生HDR圖片。

AI算繪新高度!用照片就可以繪製出超逼真的3D場景

最後,由於不是每個裝置都支援HDR畫面,因此在顯示到LDR裝置之前,還需要利用基於物理的可微色調映射器改變動態範圍,將HDR圖像變成LDR圖像。 

每個場景300+圖像訓練

這個新模型的優勢在哪裡?

 由於模型的所有階段都可微,因此這個模型能夠最佳化場景所有參數(相機模型、相機姿勢、點位置、點顏色、環境圖、算繪網路權重、漸暈、相機回應函數、每張圖像的曝光和每張圖像的白平衡),並用來產生品質更高的圖像。 

在訓練上,作者採用了688張圖片(包含73M個點)來訓練這個神經算繪流水線(pipeline)。

AI算繪新高度!用照片就可以繪製出超逼真的3D場景

針對demo中的幾個場景(火車、燈塔、遊樂園、操場等),作者們分別用高階攝影機拍攝了300~350張全高解析度圖像,每個場景產生的像素點數量分別為10M、8M、12M和11M,其中5%的圖像用作測試。 

也就是說,製作這樣一個3D場景,大約需要幾百張圖像,同時每張圖像的拍攝需要經過嚴格的角度控制。 

不過仍然有讀者表示,拍幾百張圖像就能用AI做個場景出來,這個速度比當前人工算繪是要快多了。

AI算繪新高度!用照片就可以繪製出超逼真的3D場景

功能上,模型既能產生可以調節參數的新角度照片,還能自動插值產生全場景的3D算繪影片,可以說是很有潛力。 

那麼,這個模型的效果與當前其他模型的算繪效果相比如何呢? 

即時顯示1億+像素點場景

據作者表示,論文中採用的高效單像素點柵格化方法,使得ADOP能夠使用任意的相機模型,並即時顯示超過1億個像素點的場景。 

肉眼分辨產生結果來看,採用同行幾個最新模型產生的圖片,或多或少會出現一些偽影或是不真實的情況,相比之下ADOP在細節上處理得都非常不錯:

AI算繪新高度!用照片就可以繪製出超逼真的3D場景

從資料來看,無論是火車、操場、坦克還是燈塔場景,在ADOP模型的算繪下,在VGG、LPIPS和PSNR上幾乎都能取得最優秀的結果(除了坦克的資料)。 

AI算繪新高度!用照片就可以繪製出超逼真的3D場景

不過,研究本身也還具有一些侷限性,例如單像素點算繪仍然存在點雲稀疏時,算繪出現孔洞等問題。 

但整體來看,即時顯示3D場景的效果還是非常出類拔萃的,不少業內人士表示「達到了AI算繪新高度」。 

已經有不少網友開始想像這項研究的用途,例如為電影製片廠省去一大波時間和精力:

AI算繪新高度!用照片就可以繪製出超逼真的3D場景甚至有電影系的學生想直接用到畢業設計上

AI算繪新高度!用照片就可以繪製出超逼真的3D場景

對遊戲行業影響也非常不錯: 

在家就能搞3A大作的場景,是不是也要實現了?簡直讓人迫不及待。 

還有人想像,要是能放到iPhone上就好了(甚至已經想像iPhone 15有這功能了): 

AI算繪新高度!用照片就可以繪製出超逼真的3D場景

對於研究本身,有網友從行外人視角看來,感覺更像是插格模型(也有網友回應說差不多是這樣):

AI算繪新高度!用照片就可以繪製出超逼真的3D場景

也有網友表示,由於需要的圖像比較多,效果沒有宣傳中那麼好,對研究潛力持保留態度:

AI算繪新高度!用照片就可以繪製出超逼真的3D場景

雖然目前作者們已經建立了GitHub專案,但程式碼還沒有放出來,感興趣的人可以先等一等。 

至於具體的開源時間,作者們表示原始碼會在論文通過審核之後公布。

論文地址:

項目位址(程式碼還沒公布):

資料來源:

 

Qbitai
作者

量子位(Qbitai)專注於人工智慧及前沿科技領域,提供技術研發趨勢、科技企業動態、新創公司報道等最新資訊,以及機器學習入門資源、電腦科學最新研究論文、開源程式碼和工具的相關報導。

使用 Facebook 留言
發表回應
謹慎發言,尊重彼此。按此展開留言規則