第二篇 ContorlNet

一.說明

?????本文對ControlNet做了簡單分類以及簡單說明，若有不全面和錯誤還請讀者評論區(qū)補充于更正，文章僅適用于23年6月15日前。

二.分類與說明

????ControlNet目前一共有15個預(yù)處理種類，這里根據(jù)功能與效果分為5大類，前面3類為強控制，第4類為弱控制，第5類更多用于圖像的優(yōu)化或者生成，其中包括：

1. 邊緣輪廓（Canny，Linerat，Softedge，MLSD）

2. 圖像控制（Depth，Normal）

3. 人物控制（Openpose）

4. 成像效果（Scribble，Seg，Shuffle，T2IA）

5. 優(yōu)化生成（Tile，Inpaint，IP2P，Reference）

1.邊緣輪廓

????Canny(硬邊緣)、Lineart(線稿)、Softedge(軟邊緣)：用于描繪出圖像的邊緣，具體效果根據(jù)情況而定，實際操作中可以每個都試一遍，那個效果好用那個。

????MLSD(直線)：用于更好的描繪出直線物體的邊緣，剔除掉里面的細節(jié)。如：樓房、桌子等家具。

2.圖像控制

????Depth(深度)：用于識別圖片場景、人物深度，里面包括多個預(yù)處理器，實際操作中可以每個都試一遍，那個效果好用那個。

????Normal(法線)：能夠識別圖像凹凸信息，用于光影處理。

3.人物控制

????Openpose：用于識別人物身體姿勢，臉部特征。

4.成像效果
????Scribble：可提取圖向簡單輪廓筆畫，更多用于手繪簡單圖像后，直接使用模型用于文生圖生成圖像。

????Seg：用顏色把圖片信息分割。

????Shuffle：打碎圖片，保留線條顏色。

? ? T2IA：用于根據(jù)圖像像素、風(fēng)格生圖（本質(zhì)是提取圖片信息用于圖像生成），可用于根據(jù)分格遷移，需要下載相應(yīng)的3個模型，分別為：color、sketch、style。以下為鏈接https://huggingface.co/TencentARC/T2I-Adapter/tree/main/models

5.優(yōu)化生成

????這類對圖像的控制較弱或可替代，可以用提示詞、重繪替代，隨機性比較強不太符合ControlNet對圖像的可控性。
????但是其中Tile對背景重繪頗為不錯，參考原圖涂黑部分，可保留背景細節(jié)人物，而Inpaint重繪背景不會參考涂黑的部分而是由原圖擴充；Inpaint的Global對圖像的擴充很優(yōu)秀。