照片也變臉,NVIDIA FastPhotoStyle演算法將氛圍轉移到另一張照片

照片也變臉,NVIDIA FastPhotoStyle演算法將氛圍轉移到另一張照片

ADVERTISEMENT

想必各位讀者多少都有注意到,先前有開發者利用AI與圖像處理技術,將成人影片中女主角的臉與明星交換,達到「變臉」的效果。

這次NVIDIA釋出的FastPhotoStyle演算法,則是能夠分析來源照片的風格,並風格套用至目標照片,能讓目標照片保有原本的景色並染上不同風格,創造出更加精彩的照片。

照片風格也能轉移

照片風格轉移演算法的用意,在於將來源照片的風格與目標照片的景色融合為一,讓合成產生的新照片能保有原本的景色,並套上不同風格,

雖然目前已經有許多現成的演算法能夠達到這個功能,但是它們的效果並不一定很理想,有時還會造成圖像錯誤的情況發生。而且這些演算法往往相當吃重運算資源,1張解析度為640 x 480的照片可能就需花費好幾分鐘來處理。

加州大學默塞德分校(University of California, Merced)與NVIDIA的研究團隊為了改善這些問題,一起研發了創新的FastPhotoStyle演算法。

FastPhotoStyle會將處理程序拆分為風格轉化(Stylization)與平滑化(Smoothing)等2步驟,在風格轉化階段,程式會分析來源照片的風格,並套用至目標照片上。接下來的平滑化階段,程式則會強化圖片空間中的一致性,發揮降低破綻的效果。

本圖左欄為來源照片,中欄為目標照片,右欄則為套入風格的結果照片。(圖片來源:FastPhotoStyle GitHub,下同)

再更多範例中可以看到合成效果相當自然。

圖中A、B欄為來源、目標照片,C、D欄為其他演算法,E為FastPhotoStyle演算法成果。(圖片來源:A Closed-form Solution to Photorealistic Image Stylization,下同)

60倍速超高效率

FastPhotoStyle演算法會在風格轉化階段輸入來源、目標等2張照片,然後對其進行Photo WCT轉換(Whitening and Coloring Transform),如此一來便能得到中繼照片。這時候中繼照片已經具有來源的風格,但是會因為合成影像的關係,讓畫面產生鬼影與失真。

接下來的平滑化階段,需要讓輸出的照片看起來更自然,為了達到這個需求,演算法會輸入目標、中繼照片,並比對圖中鄰近的區域,將相近的像素套入相同的風格,讓畫面更為滑順,接下來則是避免平滑化讓結果偏離PhotoWCT,以為持整體風格。

FastPhotoStyle會將程序拆為風格轉化、平滑化等階段進行。

圖中A、B欄為來源、目標照片,C、D欄為使用一般WCT與針對圖像最加化的Photo WCT轉換後中繼照片,E、F欄則為平滑化後的成果。

與現有演算法最大的不同是,FastPhotoStyle並不需經過迭代運算的過程,每個步驟是獨立進行的,能夠讓處理速度提升60倍,並能在研究中以人眼分辨的測試中,獲得2倍優於目前演算法的評價。

NVIDIA將FastPhotoStyle演算法以開源方式釋出,有興趣嘗試的讀者可以至GitHub下載程式,或是閱讀A Closed-form Solution to Photorealistic Image Stylization白皮書

國寶大師 李文恩
作者

電腦王特約作者,專門負責硬派內容,從處理器、主機板到開發板、零組件,尖端科技都一手包辦,最近的研究計畫則包括Windows 98復活與AI圖像生成。

使用 Facebook 留言
發表回應
謹慎發言,尊重彼此。按此展開留言規則