史丹佛大學公開AI拼圖Collage Diffusion演算法、丟給它幾張食材圖AI就能幫你拼成一個便當

史丹佛大學公開AI拼圖Collage Diffusion演算法、丟給它幾張食材圖AI就能幫你拼成一個便當

在過去,每一個網站小編都會用PhotoShop來將圖片去背,然後把一張圖片貼在另外一張圖片的圖層上,才能進行簡單的合成圖。而且如果是人物的話,頭髮的處理更是複雜,簡單的將人物移花接木到其它背景上,往往就要處理大半天。

不過,現在「AI拼圖」技術太強,你根本不需要這麼麻煩。

例如,這是一份看似平平無奇的日式便當。

史丹佛大學公開AI拼圖Collage Diffusion演算法、丟給它幾張食材圖AI就能幫你拼成一個便當

但你敢信,其實每一格食物都是 P 上去的,而且原圖還是這樣的?

 直接摳圖貼上去,效果一眼看出來是假的

背後操作者並不是什麼 PS 大師,而是一隻 AI,名字很直白:拼圖擴散(Collage Diffusion)。

隨便找幾張小圖拿給它,AI 就能自己看懂圖片內容,再把各元素非常自然地拼成一張大圖 —— 完全不存在一眼假。

其效果驚豔了不少網友。

甚至還有 PS 愛好者直呼道:這簡直是個天賜之物…… 希望很快能在 Automatic1111( Stable Diffusion 使用者常用的網路 UI,也有內建在 PS 中的外掛版)中看到它。

史丹佛大學公開AI拼圖Collage Diffusion演算法、丟給它幾張食材圖AI就能幫你拼成一個便當

為什麼效果這麼自然?

實際上,此 AI 生成的「日式便當」還有好幾個生成版本 —— 都很自然。

史丹佛大學公開AI拼圖Collage Diffusion演算法、丟給它幾張食材圖AI就能幫你拼成一個便當

至於為啥還有多種版本?問就是因為使用者還能自訂,在總體不變得太離譜的前提下,他們可以微調各種細節。

除了「日式便當」,它還有不少出色的作品。

比如,這是拿給 AI 的素材,P 圖痕跡明顯:

史丹佛大學公開AI拼圖Collage Diffusion演算法、丟給它幾張食材圖AI就能幫你拼成一個便當

這是 AI 拼好的圖,反正我愣是沒看出什麼 P 圖痕跡:

史丹佛大學公開AI拼圖Collage Diffusion演算法、丟給它幾張食材圖AI就能幫你拼成一個便當

話說這兩年,文字生成圖像的擴散模型真的是大紅了,DALL・E 2 和 Imagen 都是基於此開發出來的應用。這種擴散模型的優點,是生成圖片多樣化、品質較高。

不過,文字終究對於目標圖像,最多只能起到模糊的規範作用,所以使用者通常要花大量時間調整提示(prompt),還得搭配上額外的控制元件,才可以取得不錯的效果。

就拿前文展示的日式便當來說:

如果使用者只輸入「一個裝有米飯、毛豆、生薑和壽司的便當盒」,那就既沒描述哪種食物放到哪一格,也沒有說明每種食物的外觀。但如果非要講清楚的話,使用者恐怕得寫一篇小作文了……

鑑於此,史丹佛團隊決定從別的角度出發。

他們決定參考傳統思路,通過拼圖來生成最終圖像,並由此開發出了一種新的擴散模型。

有意思的是,說白了,這種模型也算是用經典技術「拼」出來的。

首先是分層:使用基於圖層的圖像編輯 UI,將源圖像分解成一個個 RGBA 圖層(R、G、B 分別代表紅、綠、藍,A 代表透明度),然後將這些圖層排列在畫布上,並把每個圖層和文字提示配對。

通過分層,可以修改圖像中的各種元素。

到目前為止,分層已經是電腦圖形領域中一項成熟的技術,不過此前分層資訊一般是作為單張圖片輸出結果使用的。

而在這種新型「拼圖擴散模型」中,分層資訊成了後續操作的輸入。

史丹佛大學公開AI拼圖Collage Diffusion演算法、丟給它幾張食材圖AI就能幫你拼成一個便當

除了分層,還搭配了現有的基於擴散的圖像協調技術,提升圖像視覺品質。

總而言之,該演算法不僅限制了對象的某些屬性(如視覺特徵)的變化,同時允許屬性(方向、光照、透視、遮擋)發生改變。

—— 從而平衡了還原度和自然度之間的關係,生成“神似”且毫無違和感的圖片。

操作過程也很 easy,在互動編輯模式下,使用者在幾分鐘內就能創作一幅拼貼畫。

他們不僅可以自訂場景中的空間排列順序(就是把從別處扣出來的圖放到適當的位置);還能調整生成圖像的各個元件。用同樣的源圖,可以得出不同的效果。

最右列是這個 AI 的輸出結果

而在非互動式模式下(即使用者不拼圖,直接把一堆小圖丟給 AI),AI 也能根據拿到的小圖,自動拼出一張效果自然的大圖。

研究團隊

最後,來說說背後的研究團隊,他們是史丹佛大學電腦科學系的一群師生。

史丹佛大學公開AI拼圖Collage Diffusion演算法、丟給它幾張食材圖AI就能幫你拼成一個便當

論文一作,Vishnu Sarukkai 現為史丹佛電腦科學系研究生,還是碩博連讀的那種。他的主要研究方向為:電腦圖形學、電腦視覺和機器學習。

此外,論文的共同作者 Linden Li,也是史丹佛電腦科學系研究生。

在校求學期間,他曾到 NVIDIA 實習 4 個月,與 NVIDIA 深度學習研究小組合作,參與訓練了增加 100M + 參數的視覺轉換器模型。

論文地址:

https://arxiv.org/abs/2303.00262

參考連結:

 

Qbitai
作者

量子位(Qbitai)專注於人工智慧及前沿科技領域,提供技術研發趨勢、科技企業動態、新創公司報道等最新資訊,以及機器學習入門資源、電腦科學最新研究論文、開源程式碼和工具的相關報導。

使用 Facebook 留言

wrigglerobe
1.  wrigglerobe (發表於 2024年2月21日 10:36)
事實上,我發現大學裡數學學科的應用非常有趣。 許多計算看起來很奇怪。 不過,它所帶來的成效似乎也與實施該計劃的目標是一致的 soccer random

發表回應

謹慎發言,尊重彼此。按此展開留言規則