打破次元壁!這個AI 演算法可以讓照片裡的人跳出來

打破次元壁!這個AI 演算法可以讓照片裡的人跳出來

《哈利波特》世界裡有一種神奇的魔法報紙,報中照片上的人物可以動起來,看起來有點像GIF 圖。在故事裡這當然是「魔法」的功勞,現實世界中還沒有造出這樣的報紙。

不過,華盛頓大學的幾個科學家不死心,他們想用AI 演算法來讓照片中的人動起來。

圖片來源:Haven & Hearth

這種技術叫做Photo Wake-Up。先來看一下效果,他們在照片、海報和藝術畫上都進行了實驗。

首先向我們走來的是籃球運動員庫裡,看起來是剛進了球。

打破次元壁!這個AI 演算法可以讓照片裡的人跳出來

然後是鋼鐵人。哎,你從太空回來了?

打破次元壁!這個AI 演算法可以讓照片裡的人跳出來

是超級賽亞人孫悟空!只是原地跳了幾下...... 我以為他要變身了

打破次元壁!這個AI 演算法可以讓照片裡的人跳出來

還有一位長相奇怪的女子,原來是畢卡索的《女孩與船》。

打破次元壁!這個AI 演算法可以讓照片裡的人跳出來

是不是很酷炫?這些人物就像是從畫中走出來的一樣,不僅從2D 變成了3D,還能做各種動作。

其實類似的嘗試之前就有人做過,把照片裡的2D 形象映射到3D 模型上,然後讓它們動起來。不過結果嘛,像是行屍走肉。

打破次元壁!這個AI 演算法可以讓照片裡的人跳出來

因為2D 形像都是從某一個固定角度去看的,用3D 模型的標準去控制,會出現不匹配的情況。更不用說畢卡索畫裡的人,根本沒有一個合適的模型來匹配。讓2D 形象動起來還有一個難點,就是身體部位的重疊部分不好控制,走路的時候哪隻手在前?哪隻手在後?還要被身體擋住。這些複雜的問題不解決,根本無法做到栩栩如生。

打破次元壁!這個AI 演算法可以讓照片裡的人跳出來

團隊給出的解決方案是AI 演算法。首先將2D 形象與3D 形變模型匹配,標記出身體各部位的位置。然後按照形變演算法,一步步構建網格。按照關鍵點位置控制網格,還原出皮膚資料,構建好貼圖。最後,把貼圖放回到原圖中,用演算法填充背景,人物就可以隨便跑了!

打破次元壁!這個AI 演算法可以讓照片裡的人跳出來

團隊還特別提到,頭部姿勢的準確性對動起來的人十分重要,因為大部分人會將注意力放在人物的臉上。因此,他們的演算法還可以辨識形象的頭部角度,還有注視方向。

打破次元壁!這個AI 演算法可以讓照片裡的人跳出來

為了讓這個演算法可以實際應用,團隊還提供一個調整的選項,允許使用者改動關鍵點的位置。

這項技術可以被用到AR、VR 中,配合相應設備來使用。想像一下,未來我們在博物館中看的藝術畫,可能是動起來的。

打破次元壁!這個AI 演算法可以讓照片裡的人跳出來

 

geekpark
作者

極客公園(www.geekpark.net)成立於2010年,是中國創新者的大本營。透過對前沿科技的觀察報告,在內容媒體、會展公關、創業服務三大業務協同發展下連結資源,讓優秀的科技新創更快速的成長。

使用 Facebook 留言
發表回應
謹慎發言,尊重彼此。按此展開留言規則