Stable Diffusion AI算圖使用手冊(4-2):透過Textual Inversion、Hypernetwork調整風格

Stable Diffusion AI算圖使用手冊(4-2):透過Textual Inversion、Hypernetwork調整風格

ADVERTISEMENT

上篇文章中,我們示範了在Stable Diffusion WebUI進行算圖時,如何透過LoRA小模型收束角色特性,在這篇教學文章中,我們繼續瞭解如何透過透過Textual Inversion、Hypernetwork等小模型,調整生成圖片的風格。

文章目錄

小模型功能說明與安裝

在看完前篇的LoRA小模型教學後,我們可以瞭解如何透過小模型去影響AI推論的結果,達到控制生成畫面內容的效果。在這邊我們繼續介紹Textual Inversion(文字倒轉)、Hypernetwork(超網路)等2種小模型,它的運作原理與LoRA不盡相同,具有相近的功能與效果。

Textual Inversion除了可以用來控制畫面風格外,也有如Easy NegativeBad Hand等用於做為負面提示詞以提升生成圖像品質的小模型,可以簡化輸入提示詞的手續。需要注意的是,在使用這類Textual Inversion的時候,請確認它們是加入負面提示詞的欄位。

讀者可以至CivitAI網站尋找現成的Textual Inversion、Hypernetwork小模型檔案,前者需存放至「stable-diffusion-webui」資料夾下的「embedding」資料夾內,後者則是「\models\hypernetwork」資料夾內。

讀者同樣可以準備解析度為450 x 675的PNG格式圖檔,將圖檔名稱修改與模型相同並放在同一資料夾,如此一來就能在選擇時看到預覽圖片。

透過CivitAI網站首頁右上角區域的篩選器,可以篩選出Textual Inversion、Hypernetwork小模型。

Textual Inversion小模型檔案需下載至「stable-diffusion-webui」資料夾下的「embedding」,並準備解析度為450 x 675的PNG格式圖檔放在同一資料夾。

Hypernetwork小模型檔案則需下載「stable-diffusion-webui」資料夾下的「\models\hypernetwork」資料夾內。

如此一來便能在Stable Diffusion WebUI選擇Textual Inversion、Hypernetwork的介面看到預覽圖片。如果使用負面提示詞類型的Textual Inversion,請確認將其加入負面提示詞欄位(如圖中之badhandv4、easynegative)。

為圖像加入不圖同風格

在這邊筆者使用style-psychoLuisapGlitchpixelart_v1等Textual Inversion與Hypernetwork進行示範,前者是可以為圖片加入科幻機甲風格,後者則使加入點陣圖風格。

範例使用GhostMix Checkpoint模型,搭配的基本提示詞如下,

正面提示詞:
(masterpiece, top quality, best quality, official art, beautiful and aesthetic:1.2), (1girl), extreme detailed,colorful, ((solo)),
steampunk city, riding bicycle, tank top,  (small breast),
<lora:taeTakemiPersona5_v10:0.8>, (Tae Takemi), necklace, choker, <lora:personaCatherineSoejima_1:0.6>
負面提示詞:
(worst quality, low quality:1.4), [badhandv4], easynegative

並分別將「style-psycho」、「<hypernet:LuisapGlitchpixelart_v1:0.5>」加入正面提示詞,看看它們的效果如何。

算圖使用的參數請參考圖中設定。

這是沒有使用Textual Inversion與Hypernetwork所生成的基本圖像。

加入style-psycho的Textual Inversion小模型之後,人物與場景變的較有未來科技感。

加入LuisapGlitchpixelart的LuisapGlitchpixelart小模型之後(給予0.5的權重),畫風與顏色有了明顯的改變。

同時使用style-psycho與LuisapGlitchpixelart,感覺居然不錯!

由於LuisapGlitchpixelart的風格太過強烈,所以容易造成畫面崩壞,將權重調高至0.7時已經達到崩壞邊緣。有興趣的讀者可以自行嘗試更高的權重,看畫面會發生什麼變化。

需要注意的是,當使用更多組LoRA、Textual Inversion、Hypernetwork等小模型之後,它們可能彼此發生「化學反應」,而造成生成的圖像崩壞,這時候可以嘗試降低權重,看看圖像是否恢復正常。

回到Stable Diffusion AI算圖系列文章目錄

國寶大師 李文恩
作者

電腦王特約作者,專門負責硬派內容,從處理器、主機板到開發板、零組件,尖端科技都一手包辦,最近的研究計畫則包括Windows 98復活與AI圖像生成。

使用 Facebook 留言
發表回應
謹慎發言,尊重彼此。按此展開留言規則