500萬張照片的訓練成果

GauGAN的技術核心為稱為Spade的演算法,並透過超過100萬張的照片資料庫進行深度學習訓練,並在Tensor Core特化運算單元的加持下,讓系統訓練的時間從原本的3週縮短到2週以內,讓訓練過後的系統能夠瞭解各種自然界景色的特徵,以利系統將分割標籤還原成景物。

如今GauGAN可以產生解析度為512 x 512的合成圖片,但劉洺堉表示,在各種景色的交界處還是會有些破綻與模糊產生,即便是透過其他人工智慧方式放大圖片,還是會有把破綻放大的疑慮。

目前GauGAN已經導入新的訓練用圖片資料庫,將資料庫照片總數提升至500萬張,雖然這樣會讓訓練時間爆增至超過1個月,但也讓系統能夠產生更加精細的圖片,讓解析度能夠提升到2048 x 2048還不致露出太多破綻。

劉洺堉表示,目前已經有概念設計師(Concept Artist)透過GauGAN尋覓創作靈感,由於GauGAN可以很產生多種地理環境的景觀,並自由套用不同的景色風格,能夠快速嘗試各種排列組合,此外用這種方式產生的圖片也帶有一點隨機性,因此也可能產生意料之外的圖片,更能激發創意,很適合電影、遊戲等創意工作者使用。另一方面,因為GauGAN的使用體驗相當療癒,因此也有些醫療院所將GauGAN提供給病患使用,作為舒解壓力的小道具。

由於GauGAN的技術細節相當艱澀,所以筆者不在此多作贅述,想要瞭解Spade或是GAN(Generative Adversarial Network,生成對抗網路)的讀者,可以點擊連結查閱詳細介紹。

Spade演算法是GauGAN的技術核心。

GauGAN會透過多層運算與Spade演算法產生合成圖片。

GauGAN屬於條件式生成對抗網路,使用者除了輸入x參數(即使用者的塗鴉)之外,還有限制輸出結果範圍的y參數(即圖片風格)。

受益於條件式生成對抗網路,GauGAN能夠輸出多種不同風格的圖片。

GauGAN適合用來產生獨特的地理環境景觀,並作為圖像創作的背景素材。

GauGAN動手玩

GauGAN體驗網頁
http://nvidia-research-mingyuliu.com/gaugan

想要嘗試GauGAN的讀者,也可以到體驗網頁親自操作簡意繪圖工具,並選擇對應的風格圖片,產生個人專屬的GauGAN創作。

不過需要注意的是,使用GauGAN體驗網頁前,讀者需要先勾選同意條款,代表NVIDIA能在研究或商業用途下儲存、使用、重新發佈使用者上傳或產生的圖片。

在使用GauGAN之前需勾選同意條款。

讀者可以利用左側的選單選擇各種不同的景色,並畫在左側畫布,畫完後可以在下方指定風格(或自行上傳風格照片),最後點選中央的箭頭就能產生圖片,。

這張圖為筆者繪製的分割遮罩。

GauGAN會將分割遮罩環原成風景圖片,效果相當不錯,甚至會自動產生湖面倒影。

目前GauGAN仍在發展中,除了持續提升輸出圖片的解析度與細節品質外,劉洺堉也透露未來會開發建立3D分割遮罩的功能,如此一來就能在輸出合成圖片的時候自由改變視點,甚至能夠輸出動態影片,後續發展相當值得期待。

使用 Facebook 留言

發表回應

謹慎發言,尊重彼此。按此展開留言規則