5分鐘概覽AIGC衣服LORA

2023-07-03 17:39 作者:Kemo_Ho 0人讀過 | 我要投稿

前言

衣服LoRA具有重要的現實意義，訓練給定衣服圖片得到的模型，能夠結合AIGC技術生成該衣服的其他圖片。在語言/圖像大模型的加持下，可以讓虛擬模特穿上該衣服，并出現在各種新的場景。

參考教程：

https://www.bilibili.com/video/BV1pa4y1c7SS/?spm_id_from=333.999.0.0&;vd_source=2e2392af70eca013a5de37b768cceae3

https://www.bilibili.com/video/BV1bM4y1t7VS/?spm_id_from=333.999.0.0&;vd_source=2e2392af70eca013a5de37b768cceae3

數據集準備

電商商品：LIME FLARE萊茵2023年蝴蝶結系帶連衣裙春季新款小眾碎花雪紡泡泡袖裙子淺米色 L【圖片價格品牌報價】-京東 (jd.com)

選擇高清的圖片進行下載

圖片裁剪與摳圖

目的是僅保留衣服部分，去掉背景，人臉部分保留與否都可以

圖片打標

每張圖片需要一個對應的prompt文件，二次元圖片建議使用DeepBooru工具，三次元圖片使用Tagger工具，用VIT模型進行批次打標

完成全部處理后大概是這樣的

標簽人工處理

需要把直接描述衣服的單詞替換為激活詞，例如這里我把dress改為hellodress

圖片預處理

對圖片進行裁剪，建議保持圖片長度比，使用Auto-size crop，分辨率設置為512

衣服LoRA訓練

腳本下載和處理

訓練腳本 Akegarasu/lora-scripts: LoRA training scripts use kohya-ss's trainer, for diffusion model. (github.com)

或者對這些很熟悉的話也可以用HCP實驗室開發(fā)的訓練框架 7eu7d7/HCP-Diffusion: A universal Stable-Diffusion toolbox (github.com)? 這個框架更加靈活

修改腳本中train.sh的路徑，以及各種參數。不是很懂的話就按照我這樣的設置

開始訓練

沒什么好說的，20個epoch幾分鐘應該就訓好了，注意loss不要發(fā)散就行

衣服LoRA推理

checkpoint選取

模型訓好之后，復制到 stable-diffusion-webui/models/Lora目錄，需要復制多個checkpoint進行調試，我這里使用了addition network插件和X/Y/Z script，不會的朋友也可以每個checkpooint輪著測

我寫了一些簡單的prompt進行測試，注意加入訓練的激活詞hellodress

可以看到第14個epoch的花紋已經比較好了，而第18個epoch的路人背面也出現了這個花紋，說明模型有點過擬合了，取epoch14的模型進行下一步測試就可以了。

prompt: 1 beautiful woman, solo, jewelry,hellodress, full body, shopping in the street,?

neg prompt: nsfw, lowres, bad anatomy, bad hands, text, missing fingers, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry,missing fingers,bad hands,missing arms, long neck, Humpbacked

圖片生成

使用該checkpoint進行更多的嘗試

prompt:?1 beautiful woman, solo, jewelry,hellodress, full body, in the Cafe

neg prompt: nsfw, lowres, bad anatomy, bad hands, text, missing fingers, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry,missing fingers,bad hands,missing arms, long neck, Humpbacked