相關文章

Bf32b460a7338e5fe0f3d25d748dbc0b 想必各位讀者多少都有注意到,先前有開發者利用AI與圖像處理技術,將成人影片中女主角的臉與明星交換,達到「變臉」的效果。這次NVIDIA釋出的FastPhotoStyle演算法,則是能夠分析來源照片的風格,並風格套用至目標照片,能讓目標照片保有原本的景色並染上不同風格,創造出更加精彩的照片。

照片風格也能轉移

照片風格轉移演算法的用意,在於將來源照片的風格與目標照片的景色融合為一,讓合成產生的新照片能保有原本的景色,並套上不同風格,

雖然目前已經有許多現成的演算法能夠達到這個功能,但是它們的效果並不一定很理想,有時還會造成圖像錯誤的情況發生。而且這些演算法往往相當吃重運算資源,1張解析度為640 x 480的照片可能就需花費好幾分鐘來處理。

加州大學默塞德分校(University of California, Merced)與NVIDIA的研究團隊為了改善這些問題,一起研發了創新的FastPhotoStyle演算法。

FastPhotoStyle會將處理程序拆分為風格轉化(Stylization)與平滑化(Smoothing)等2步驟,在風格轉化階段,程式會分析來源照片的風格,並套用至目標照片上。接下來的平滑化階段,程式則會強化圖片空間中的一致性,發揮降低破綻的效果。

照片也變臉,NVIDIA FastPhotoStyle演算法將氛圍轉移到另一張照片

照片也變臉,NVIDIA FastPhotoStyle演算法將氛圍轉移到另一張照片

照片也變臉,NVIDIA FastPhotoStyle演算法將氛圍轉移到另一張照片

60倍速超高效率

FastPhotoStyle演算法會在風格轉化階段輸入來源、目標等2張照片,然後對其進行Photo WCT轉換(Whitening and Coloring Transform),如此一來便能得到中繼照片。這時候中繼照片已經具有來源的風格,但是會因為合成影像的關係,讓畫面產生鬼影與失真。

接下來的平滑化階段,需要讓輸出的照片看起來更自然,為了達到這個需求,演算法會輸入目標、中繼照片,並比對圖中鄰近的區域,將相近的像素套入相同的風格,讓畫面更為滑順,接下來則是避免平滑化讓結果偏離PhotoWCT,以為持整體風格。

照片也變臉,NVIDIA FastPhotoStyle演算法將氛圍轉移到另一張照片

照片也變臉,NVIDIA FastPhotoStyle演算法將氛圍轉移到另一張照片

與現有演算法最大的不同是,FastPhotoStyle並不需經過迭代運算的過程,每個步驟是獨立進行的,能夠讓處理速度提升60倍,並能在研究中以人眼分辨的測試中,獲得2倍優於目前演算法的評價。

NVIDIA將FastPhotoStyle演算法以開源方式釋出,有興趣嘗試的讀者可以至GitHub下載程式,或是閱讀A Closed-form Solution to Photorealistic Image Stylization白皮書

使用 Facebook 留言

發表回應

謹慎發言,尊重彼此。按此展開留言規則