【ai繪畫】如何讓美少女貼貼？Latent couple和Composable LoRA使用技巧講解
寫在前面
這里是好久沒更專欄的suye，上次在做塔羅牌時(shí)發(fā)現(xiàn)了一個(gè)比較有意思的插件，可以控制畫面中超過1人以上圖像，這次就這個(gè)插件出一期教程。這個(gè)插件可以在以下兩個(gè)網(wǎng)址進(jìn)行安裝：
Latent couple: https://github.com/opparco/stable-diffusion-webui-two-shot?
Composable LoRA: https://github.com/opparco/stable-diffusion-webui-composable-lora
測(cè)試參數(shù)
(((masterpiece))),(((bestquality))),((ultra-detailed)),(illustration),((anextremelydelicateandbeautiful)),dynamicangle,(floating),(beautifuldetailedeyes),(detailedlight),atdan, ( colorful:1.4),(2girls:1.3), Church, clean white walls, marble floors, marble sculptures, chandeliers, windows, lighting, sitting on bed, holding_hands,
AND (((masterpiece))),(((bestquality))),((ultra-detailed)),(illustration),((anextremelydelicateandbeautiful)),dynamicangle,(floating),(beautifuldetailedeyes),(detailedlight),atdan, ( colorful:1.3),Church, clean white walls, marble floors, marble sculptures, chandeliers, windows, lighting, (2girls:1.4),original_outfits,blue hair, halo, long hair, blue eyes, official alternate costume, dress, gloves, horns, looking at viewer, black gloves, solo, black footwear, white dress, wings, demon horns, smile,sitting, sitting on bed, holding_hands, (hand in own hair:1.3),
AND (((masterpiece))),(((bestquality))),((ultra-detailed)),(illustration),((anextremelydelicateandbeautiful)),dynamicangle,(floating),(beautifuldetailedeyes),(detailedlight),atdan, ( colorful:1.3),Church, clean white walls, marble floors, marble sculptures, chandeliers, windows, lighting, (2girls:1.4),Fiammetta, solo,boots, shirt, red eyes, skirt, black skirt, necktie, black footwear, red necktie, jacket, open jacket, white shirt, open clothes, black jacket, black gloves, looking at viewer, gloves, collared shirt, red hair, short hair, breasts, border, knee boots, tail, bangs, medium breasts, bird tail, closed mouth, sitting on bed,holding_hands,
Negative prompt: (painting by bad-artist-anime:0.9), (painting by bad-artist:0.9), watermark, text, error, blurry, jpeg artifacts, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, artist name, (worst quality, low quality:1.4), bad anatomy,((nsfw)),loli face,
((logo)), (worst quality:1.8), (low quality:2.0),lowres, bad anatomy,(bad hands:1.8), text, error,(missing fingers:1.5), extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry,missing fingers,bad hands,missing arms,large breasts, lowres,bad anatomy,bad hands,text,error,ugly,duplicate,morbid,boken limb,incorrect limb,fusion finger,lose finger,multiple finger,multiple digit,fusion hand,lose leg,fused leg,multiple leg,bad feet,fewer digits,cropped,worst quality,low quality,normal quality,jpeg artifacts,signature,watermark,username,blurry,text font ui,malformed hands,long neck,missing limb,(mutated hand and finger: 1.5),(long body: 1.3),(mutation poorly drawn: 1.2),disfigured,malformed mutated,multiple breasts,futa,yaoi,too much arms,
Steps: 30, Sampler: DPM++ 2M Karras, CFG scale: 7, Size: 1024x768, Model hash: b3e1b725e3, Model: expmixLine_v20, Denoising strength: 0.6, Clip skip: 2, ENSD: 31337, Hires upscale: 2, Hires steps: 30, Hires upscaler: Latent (nearest-exact)
Latent couple：
先來看一下效果圖：
前者未使用插件進(jìn)行控制，后者使用了插件控制，兩者使用相同包括種子在內(nèi)的相同參數(shù)?？梢悦黠@看出，在不使用插件進(jìn)行控制的情況下，畫面中的人物除頭發(fā)和襪子顏色外，服飾元素基本相同，并未作出區(qū)分，并且在畫面的正中央引入了一個(gè)第三者，構(gòu)成了一幅和諧的三角畫面。反觀后者，通過插件進(jìn)行區(qū)分后，兩個(gè)人物都有了各自的人物和服飾特征，雖然在一些小細(xì)節(jié)上還存在著混淆的問題，但是大體上已經(jīng)比前者優(yōu)秀很多了。
接下來講一下插件的使用方法，在Stable Diffusion擴(kuò)展—從網(wǎng)址安裝中輸入下載網(wǎng)址，點(diǎn)擊安裝，安裝完成后重啟用戶界面，你就能在文生圖界面看到這個(gè)：
這說明已經(jīng)安裝成功，可以進(jìn)行下一步操作。
我們首先講潛變量成對(duì)，也就是Latent couple，這個(gè)插件的原理是將畫面分割成小塊區(qū)域，在區(qū)域內(nèi)分別迭代各自的tag，再將它們?nèi)诤铣梢粋€(gè)畫面，以此形成多人的效果。
圖中參數(shù)的含義分別為：
分割：決定區(qū)域的大小，格式為A：B,不同區(qū)域間用逗號(hào)隔開，其中A代表該區(qū)域占整個(gè)畫面高的A分之一，B表示該區(qū)域占整個(gè)畫面寬的B分之一，如1：2意為該區(qū)域高為一分之一，寬為二分之一，也就是畫面的左右對(duì)半大小。
位置：決定了區(qū)域的位置，格式為A：B,不同區(qū)域間用逗號(hào)隔開，其中A代表橫坐標(biāo)，B代表縱坐標(biāo)，以0開始，以左上角為原點(diǎn)，以相應(yīng)的分割的大小為單位長(zhǎng)度，如第一個(gè)0：0對(duì)應(yīng)分割1：1，就是指大小為一整塊畫面的區(qū)域位于左上角開始第1塊位置，也就是整個(gè)畫面。第二個(gè)0：0對(duì)應(yīng)分割1：2，指大小為半塊畫面的區(qū)域從左上角開始第一塊區(qū)域，也就是畫面左半部分。以此類推，第三個(gè)0：1，就是整個(gè)畫面的右半部分了。
權(quán)重：決定區(qū)域tag的權(quán)重。格式為一個(gè)0—1的數(shù)字。決定了對(duì)應(yīng)區(qū)域的tag所占該區(qū)域的權(quán)重。
迭代止步：控制該插件在迭代過程中的步數(shù)，一般推薦和采樣步數(shù)相同。
另外還有需要和該插件配合使用的tag寫法：格式為tag組合1ANDtag組合2ANDtag組合3，分別控制對(duì)應(yīng)的區(qū)域，不同區(qū)域間用AND鏈接。
幾個(gè)需要注意的點(diǎn)：
1，各參數(shù)的區(qū)域數(shù)量必須相同，譬如在分割中寫了三塊區(qū)域，那么在其他幾個(gè)參數(shù)中也只能寫三個(gè)區(qū)域，tag中也只能寫三個(gè)tag組。
2，區(qū)域可以重疊，但是重疊部分后各區(qū)域的權(quán)重和最好為1，譬如在上圖例子中，左半邊區(qū)域的權(quán)重和為0.2（第一塊）+0.8（第二塊）=1，右半邊同理。
3，需要注意分割后區(qū)域的大小，避免在位置中輸入錯(cuò)誤的參數(shù)，譬如設(shè)定分割為1：2，如果在位置中聲明這塊區(qū)域的位置為1：0的話，由于這塊區(qū)域的高已經(jīng)為整個(gè)畫面，那么位置中的1就會(huì)讓這塊區(qū)域在高的方向上向下一個(gè)分割單位，相當(dāng)于直接從畫面中消失了，也就是不起作用。
分割后的效果可以點(diǎn)擊下方的預(yù)覽查看，可以看到各區(qū)域占畫面的位置，以及代表權(quán)重的顏色深淺。
另外還需要注意的是，畫面分割指的是tag分割，并不是指結(jié)構(gòu)分割，即在不同區(qū)域使用不同的tag，但是畫面的結(jié)構(gòu)不會(huì)發(fā)生變化。如下圖：
上面兩張圖采用了上下分割的模式，但并沒有如同預(yù)料中出現(xiàn)上面一個(gè)人，下面一個(gè)人的情況，而是依舊保持了左右構(gòu)圖的結(jié)構(gòu)，但是可以看到，左圖二者的頭發(fā)與上半身服飾均使用了tag組合2，而交換上下區(qū)域后，右圖二者的頭發(fā)和上半身服飾均使用了tag組合3，說明這個(gè)插件依然在發(fā)揮作用。
綜上所述，這個(gè)插件與其說是一個(gè)畫多人圖的插件，不如說是一個(gè)分區(qū)域控制tag的插件，畫出多人圖的結(jié)構(gòu)，動(dòng)作，依舊要靠tag去控制，如2girls，holding_hands, 而在畫面不同部分使用不同的tag以區(qū)別不同角色，則就要靠這個(gè)插件實(shí)現(xiàn)了。
一開始使用這個(gè)插件時(shí)，可以選擇默認(rèn)參數(shù)，tag格式為：
場(chǎng)景質(zhì)量tagAND場(chǎng)景tag+人物1tagAND場(chǎng)景tag+人物2tag
為什么場(chǎng)景質(zhì)量tag要寫三遍呢？前面說了，每一個(gè)區(qū)域都是有權(quán)重的，如果僅在區(qū)域一寫上tag，其占整體權(quán)重就0.2，基本可以忽略不計(jì)，因此要在后兩個(gè)區(qū)域中再次重復(fù)場(chǎng)景tag，才能使其權(quán)值和為一，從而達(dá)到控制場(chǎng)景的效果。
熟練使用后，就不必在意一些條條框框了，根據(jù)自己的需要修改參數(shù)即可，把畫面分成100份寫一百組tag理論上也不是不行，不知道有沒有區(qū)域數(shù)量限制，但是使用這個(gè)插件會(huì)導(dǎo)致出圖速度顯著下降，應(yīng)當(dāng)權(quán)衡利弊。理論上這個(gè)插件可以精準(zhǔn)控制到在畫面的什么地方出現(xiàn)什么元素，具體實(shí)踐就交給大家了。
Composable LoRA：
于是有了Latent couple后，就有小伙伴迫不及待，興沖沖地拿著幾個(gè)Lora想要看妹紙貼貼，把Lora分別加到不同區(qū)域角色tag后一跑，出來個(gè)這么個(gè)玩意：
這……這不對(duì)吧……你倆誰啊？我老婆呢？我要的貼貼呢？
出現(xiàn)這種情況的原因是因?yàn)樵跓扡ora時(shí)，大家都是拿著單人角色煉的，那AI自然只認(rèn)識(shí)單人不認(rèn)識(shí)多人了，看到放了兩個(gè)Lora，哎一尋思能行，就把兩個(gè)Lora的特征融在一起，就會(huì)出現(xiàn)上面這種狀況。
這個(gè)時(shí)候就要用到Composable LoRA，這個(gè)插件能將Lora分開作用，具體原理別問，問就是我也不知道，總之使用它很簡(jiǎn)單，勾選上啟用就行了。
勾選上啟用后，我們?cè)儆孟嗤瑓?shù)來一遍：
欸，好像分開了，又好像沒分開，為什么勾選了還會(huì)出現(xiàn)這種情況呢，這還是得怪到Lora頭上，一些Lora會(huì)存在過擬合的問題，也就是當(dāng)權(quán)重很高時(shí)，出圖效果會(huì)逼近用于訓(xùn)練的那幾張圖，換言之，會(huì)極大地改變?cè)瓐D結(jié)構(gòu)。這種效果也會(huì)作用到畫面的其他部分上，具體影響程度視Lora的擬合度而定。
怎么解決呢？答案其實(shí)也很簡(jiǎn)單，降低Lora的權(quán)重，補(bǔ)上輔助tag即可。譬如一個(gè)Lora在單人時(shí)推薦權(quán)重為0.8，不需要輔助tag，那么用于多人圖時(shí)，將權(quán)重降到0.6或0.5，并補(bǔ)上符合這個(gè)角色的輔助tag（輔助tag可通過tag反推得到）。
做完上述操作后，讓我們?cè)倥芤粡堅(jiān)囋嚕?/p>
這個(gè)時(shí)候的效果就相當(dāng)不錯(cuò)了，兩個(gè)Lora分別發(fā)揮作用，沒有過分的污染，整體畫面也比較和諧。
換模型跑幾張也是一樣的：
后話
這次帶來的是有關(guān)Latent couple和Composable LoRA用法的專欄，這兩個(gè)插件可以實(shí)現(xiàn)畫面的區(qū)域tag控制，使得不同的區(qū)域可以使用不同的tag和Lora，對(duì)于控制畫面有極大的幫助，是個(gè)相當(dāng)不錯(cuò)的插件。
另外我要吐槽一句，網(wǎng)上關(guān)于這兩個(gè)插件的教程質(zhì)量參差不齊，甚至大部分都是復(fù)制粘貼別人的勞動(dòng)成果，光是b站我看到封面相同的就三個(gè)，評(píng)論區(qū)還指出教的有問題，實(shí)際Composable LoRA的作用根本沒講，因此我才出了這期專欄。
我每一期專欄都是經(jīng)過實(shí)際測(cè)試后得出的結(jié)論，并不是沒有依據(jù)的信口開河，下載過我測(cè)試圖分享的小伙伴應(yīng)該知道，我的測(cè)試圖分享動(dòng)輒一個(gè)g多，里面有用于測(cè)試的四五百張圖，還經(jīng)常被吐槽，說一個(gè)g下半天最后發(fā)現(xiàn)是測(cè)試圖……
但話雖這么說，我也不能保證我一定是對(duì)的，一來我不是插件作者，不知道插件運(yùn)行的邏輯和原理，也只能通過出圖效果判斷插件作用，二來我用來測(cè)試的例子也比較少，從某種意義上說也無法作為論據(jù)得出結(jié)論。所以這也是僅供參考，具體插件效果還需小伙伴們自己動(dòng)手實(shí)踐?；蛘哂懈私膺@個(gè)插件的小伙伴也可以在評(píng)論區(qū)分享。
