2024.01.04 15:30

在蘋果 Vision Pro的世界打造第二個你,蘋果論文顯示有能力在 30分鐘生成「數位分身」

ADVERTISEMENT

現在根據供應鏈最新爆料,蘋果Vision Pro預計將於1月27日在美國上市。而且,價格不便宜,超過10萬台幣。

Vision Pro是蘋果內部目前最重要的產品線,甚至定位遠超iPhone,是作為下一代革命性裝置培養,就像當年的iPhone初代一樣,將會改變個人智慧裝置的市場。不過,真正要實現這個世界,你最起碼在虛擬世界中需要一個「數位分身」。

當然很多VR軟體都有所謂的「阿凡達」的機制,可以讓你捏上另一個自己。不過,蘋果有不同的想法。

ADVERTISEMENT

最近公布的一篇蘋果的論文,《HUGS: Human Gaussian Splats》。就打算在30分鐘內生成另一個你。

這篇論文詳細介紹了一項名為 HUGS(Human Gaussian Splats)的生成式 AI 技術,蘋果研究員兼HUGS論文作者之一的Anurag Ranjan介紹:HUGS僅僅需要一個約50-100幀的原始影片,相當於2到4秒24fps的影片,就能在30分鐘內生成一個「數位分身」。

據悉,這比包含NeuMan、Vid2Avatar在內的其他方式要快約100倍。

ADVERTISEMENT

蘋果表示,雖然當前的神經渲染技術比早期有了顯著的進步,但依然最適合用在靜態場景中,而不是在動態場景中自由移動的人類。

HUGS則是建立在3DGS(3D Gaussian Splatting)和SMPL身體模型技術的基礎上,建立數位人分身。當然,目前HUGS技術無法捕捉每個細節,但對於未能捕捉並建模的細節元素,HUGS會自動填充。

ADVERTISEMENT

而3D虛擬數位人是VR眼鏡進一步發展的必然要求。

例如,在去年Meta發佈了Codec Avatar 2.0版本,比1.0進一步完成了逼真的數位人效果。

目前 Vision Pro可以透過前置鏡頭掃描使用者面部資訊,基於機器學習和編碼神經網路,為使用者生成一個數位分身。當使用者使用FaceTime通話時,數位分身就可以動態模仿使用者的面部及手部動作,並保留數位人分身的體積感和深度。

ADVERTISEMENT

據蘋果資深分析師 Mark Gurman 爆料,2024年蘋果的精力會重點放在可穿戴產品上(Vision Pro、AirPods、Apple Watch),一向佔據大頭的 iPhone 或將讓位。

這篇論文或許就是迎接Vision Pro上市的準備動作。

 

 

 

 

ADVERTISEMENT