NVIDIA發表GANverse3D,只需1張照片就可產生霹靂車3D模型

NVIDIA發表GANverse3D,只需1張照片就可產生霹靂車3D模型

ADVERTISEMENT

NVIDIA在GTC21發表GANverse3D技術,能透過AI將1張靜態照片,變成可動式3D模型,並以此方式重現霹靂遊俠影集中的夥計。

1張照片完成3D建模

NVIDIA發表的GANverse3D是以生成對抗網絡(Generative Adversarial Network,GAN)為基礎的AI技術,可以將靜態照片轉換為動態3D模型,並可匯入Omniverse協作平台,以利在各種不同的3D開發軟體使用3D模型。

GANverse3D目前還在初期開發階段,已針對車輛、鳥、馬等物件進行AI訓練,尤其車輛部分更是使用高達55,000張照片進行訓練,使用者只需將照片匯入AI模型,程式就會透過AI推論預測立體資訊,將圖像自動轉換為3D網格(Mesh),並產生材質貼圖,更厲害的是還能產生分割遮罩,能夠區分物件中的不同部位。

舉例來說,當使用者匯入車輛的照片後,系統就會自動分析圖像,並建立可動3D模型,其中車輪、車燈、車門、窗戶等區域都能自動被辨識出來,於是使用者不需額外微調,就能做出車輪轉動與轉向、點亮車燈等動作,大幅縮短3D開發流程。

關於更多GANverse3D的技術細節,可以參考《Image GANs Meet Differentiable Rendering for Inverse Graphic and Interpretable 3D Neural Rendering》(PDF)與《DatasetGAN: Efficient Labeled Data Factory with Minimal Human Effort》(PDF)等論文。

GANverse3D是利用AI將靜態照片轉換為動態3D模型的技術。

仍在開發中的GANverse3D目前已經對車輛、鳥、馬等物件進行AI訓練。

GANverse3D可以將靜態照片自動轉換為3D網格(圖片上方綠色車輛輪廓),並產生材質貼圖(圖片中央有金屬與玻璃材質的車輛),以及分割遮罩(圖片下方車輛各部分以不同顏色區分)。

GANverse3D利用StyleGAN產生素材資料,並使用DIB-R繪製圖像。

映射網路(Mapping Network)則可將有限的資料轉換成不同視角的3D圖像資料。

舉例來說,開發團隊使用同一物件、不同視角的照片訓練AI模型。

有進行不同視角的照片訓練(上圖)與沒有訓練(下圖)相比,可以看到有訓練的情況可以提升產生3D圖像的準確度,尤其是如車頂等輸入資料沒有拍到的角度。

整體而言,GANverse3D只需單一照片就可產生完整的3D模型。

DatasetGAN可以用來對圖片中的區域進行分類,從下圖可以看到產生車輛不同部份的分割遮罩。

簡單完成霹靂車3D化

開發團隊與霹靂遊俠影集合作,透過GANverse3D技術重建劇中的AI霹靂車夥計(K.I.T.T.,Knight IndustryTwo Thousand),除了運用生成的3D模型製作動畫之外,也請來原始配音員William Daniels獻聲演出。

值得注意的是,開發團隊僅僅使用1張照片,就產生這段展示影片中夥計的3D模型,雖然其精細度未盡完善,但在只輸入1張照片做為AI推論的前提下,已經是相當出色的成果。

推論的結果為這組3D模型。

 

▲NVIDIA利用GANverse3D技術重建霹靂遊俠影集中的夥計,並請原始配音員William Daniels為影片配音。

目前GANverse3D仍處於開發階段,預計會於2021年夏季推出公開版本,屆時有興趣的讀者將有機會親自嘗試GANverse3D快速建模的方便性。

國寶大師 李文恩
作者

電腦王特約作者,專門負責硬派內容,從處理器、主機板到開發板、零組件,尖端科技都一手包辦,最近的研究計畫則包括Windows 98復活與AI圖像生成。

使用 Facebook 留言
發表回應
謹慎發言,尊重彼此。按此展開留言規則