Epic發表Unreal Engine 5!1部iPhone就能搞定3A電玩大作的臉部動作捕捉

Epic發表Unreal Engine 5!1部iPhone就能搞定3A電玩大作的臉部動作捕捉

ADVERTISEMENT

 

什麼樣的新技術,能在ChatGPT的包圍圈裡脫穎而出火爆全場? 

一部iPhone,兩分鐘,真人馬上變成數位人!而且不管是表情動態、眼神細節都是一比一的還原。 

Epic發表Unreal Engine 5!1部iPhone就能搞定3A電玩大作的臉部動作捕捉

沒錯,動作捕捉影像,發表會現場iPhone錄製,後期處理全過程也都是在現場完成。 

Epic發表Unreal Engine 5!1部iPhone就能搞定3A電玩大作的臉部動作捕捉

Epic發表Unreal Engine 5!1部iPhone就能搞定3A電玩大作的臉部動作捕捉

 

在此之前,這位《地獄之刃》女主演的動作捕捉都是這樣製作的:

Epic發表Unreal Engine 5!1部iPhone就能搞定3A電玩大作的臉部動作捕捉

複雜的設備不可少,而且要在臉上貼滿定位點,後期製作花費的時間也還得長達幾周甚至數月。  

現在,Epic剛把Unreal Engine 5(虛幻引擎5)這一新能力公布出來,網友們都興奮了起來,相關影片播放量迅速突破百萬。

 

網友直呼太瘋狂: 「(實現臉部建模)從幾個月到幾分鐘,未來幾年遊戲的發展必定是瘋狂的。」還有網友表示,「以後再也不能說什麼眼見為真了。」 

三格的影片就能產生3D模型

具體來看看,這一名為「MetaHuman Animator」的技術,是如何做到兩分鐘搞定臉部動作捕捉的。 

以現場展示為例。首先,演員要錄製一段影片,期間可以做出任何表情。可以是誇張的憤怒: 

Epic發表Unreal Engine 5!1部iPhone就能搞定3A電玩大作的臉部動作捕捉

也可以是細小的眼神變化: 

Epic發表Unreal Engine 5!1部iPhone就能搞定3A電玩大作的臉部動作捕捉

並且錄製全程只需一部iPhone。 

接下來,技術人員將錄製好的影片上傳到軟體,整個處理過程都是在現場進行。 

總結下來,處理過程分為兩步: 

  1. 最新版本的Live Link Face應用程式會盡可能用最佳的解析度捕捉所有臉部動態;
  2. MetaHuman Animator使用影片和Dev資料將其轉換成高解析度的動畫。

在這個過程中,先是用Live Link Face對演員的影片進行臉部動作捕捉。 

Epic發表Unreal Engine 5!1部iPhone就能搞定3A電玩大作的臉部動作捕捉

 

完成臉部捕捉之後,只需要三幀影片 (正面、左側面、右側面)就能產生演員的「元人類DNA」。 

Epic發表Unreal Engine 5!1部iPhone就能搞定3A電玩大作的臉部動作捕捉

其中用到的演算法是定制版臉部特徵演算法,產生的過程只要幾秒鐘。 

Epic發表Unreal Engine 5!1部iPhone就能搞定3A電玩大作的臉部動作捕捉

 

這樣一來,所有的臉部資料都會被標定,還原出剛剛影片錄製中的臉部表情也就更加容易了。 

Epic發表Unreal Engine 5!1部iPhone就能搞定3A電玩大作的臉部動作捕捉

更重要的是,在這個過程中,可以將真人影片與產生的建模影片進行逐格對比。 

Epic發表Unreal Engine 5!1部iPhone就能搞定3A電玩大作的臉部動作捕捉

 

然後等幾分鐘不到,完整的動畫影片就成功完成了,最終工作人員要做的就只有微調和導入音訊。 

在新應用程式的加持下,做到以下的的效果,對於工作人員來說也是信手拈來。 

 

演算法細節上,Epic是採用自家「臉部求解器」和「標誌檢測器」來確定影片中人物臉部的關鍵操作點。 

利用這些關鍵點,基於語義空間解決方案,AI會將每一格影片映射到「多維度人類空間」資料庫中的最近點上。 

這個所謂「多維度人類空間」,是Epic在多年來收集到的詳細臉部捕捉資料的基礎上,挑選訓練過的龐大資料庫,包含頭部各個部位的各種運動姿態。 

Epic發表Unreal Engine 5!1部iPhone就能搞定3A電玩大作的臉部動作捕捉

 

網友:3D動畫和遊戲都要變天了

Epic這個技術宣布後,算是為給最近被AI大浪衝擊得人,又加入了一點刺激。 

有metahuman領域的網友就說「3D動畫和遊戲都要變天了」:「幾個月前用iPhone還只能捕捉到大致的臉部肌肉控制。」不過,更多人樂見其成。有網友表示,「有了這項技術之後,開發人員直接效率加倍,能夠節省太多時間,要做的就只有後製作潤色。」還有網友已經在期待電影製作人使用這項技術了。 

Epic自己則說,新的MetaHuman Animator有利於「複雜角色技術的民主化」。並表示這項新技術有望在今年夏天更廣泛地推出。 

資料來源:

Qbitai
作者

量子位(Qbitai)專注於人工智慧及前沿科技領域,提供技術研發趨勢、科技企業動態、新創公司報道等最新資訊,以及機器學習入門資源、電腦科學最新研究論文、開源程式碼和工具的相關報導。

使用 Facebook 留言
發表回應
謹慎發言,尊重彼此。按此展開留言規則