~/blog/character-lora-control-panel-wan22

Character LoRA · part 2

[LoRA] 角色 LoRA 控制盤:畫風、寫實、身分怎麼調

cat --toc

TL;DR

訓練好角色 LoRA 只是起點,真正的手感在控制盤:種子鎖動作與構圖、提示詞控外觀、LoRA 強度決定多用力壓身分、風格 LoRA + 全步數換畫風。三條最常踩的雷:lightning 會把畫風和質感抹平(要寫實就拿掉)、光靠觸發字綁不住外觀(提示詞一定要描述特徵)、底模本身的強預設(裸體偏歐美、純 2D)會跟角色 LoRA 搶——對策都是「全步數 + 提高強度 + 提示詞明確指定」。這是 Character LoRA 系列第二篇,接續上一篇的訓練成果。

白話版:訓練是「教會」,這篇是「怎麼指揮」

上一篇把一個角色教給模型了。但「會生」跟「生得準」是兩回事 —— 同一顆 LoRA,旋鈕轉法不對,生出來可能變 3D 塑膠人、或根本不是那個角色。這篇把每個旋鈕拆開講:哪個控動作、哪個控外觀、哪個控畫風,以及三個最容易踩的雷怎麼閃。


前言

訓練像把一個人的長相燒進模型,生成則像在指揮一個只認得這個人的畫師。畫師認得人不代表你會指揮 —— 你得知道哪句話控姿勢、哪句控光影、哪個參數決定它多聽你的。這篇是那本指揮手冊。

承接上一篇:我訓了一個銀髮天使角色(對外叫 Hina,觸發字是 Yuneth),跑在自己的 RTX 5090 上。所有指令都走我自己包的 local-wan 工具(ComfyUI + Wan 2.2),但底層概念在任何 Wan 2.2 角色 LoRA 上都通用。

控制盤:每個旋鈕管什麼

先給全貌,後面逐項展開:

旋鈕控制什麼
種子(seed)動作與構圖。同種子 + 同動作描述 → 動作幾乎不變
提示詞(prompt)外觀:髮型、衣服、場景,以及畫風的觸發字
LoRA 強度多用力壓「已經燒進身分」的特徵
風格 LoRA換畫風(要配全步數)
全步數 vs lightning寫實/讓 LoRA 和畫風撐住 vs 速度

lightning 會把畫風和質感抹平 —— 要寫實就拿掉

最常見的抱怨:「為什麼生出來變 3D 動畫風?」兇手是 lightning 4 步蒸餾 LoRA。它把生成壓到 4 步來換速度(約 100 秒一支 5 秒影片),代價是質感變軟、細節被抹平——寫實風最吃虧(我實測過:全步數能跑出毛孔、立體感,lightning 偏軟偏糊)。純動畫(賽璐珞)風其實差不多、lightning 甚至還算銳利,所以別以為它一定會把畫面變「3D 塑膠」——它咬的主要是寫實質感。

解法是拿掉 lightning,改用全步數(我在工具裡叫 --quality:20 步、cfg 5、加寫實的提示詞)。拿同一張起始圖、同種子去比,差別最乾淨(⚠️ 如果是純文字生成、沒給起始圖,一拿掉 lightning 連構圖、連人都會跟著變,就沒辦法只比質感了):

同提示詞同種子,左邊 lightning 偏 CG,右邊全步數皮膚與光影都回來了

代價是慢 5 到 8 倍 —— 一支 5 秒影片從 100 秒變 8 到 12 分鐘。所以實務上:靜圖一律全步數(一張才 20 秒,沒理由不用)、影片草稿用 lightning 快速試構圖、定稿才全步數

光靠觸發字綁不住外觀 —— 提示詞一定要描述特徵

這個雷我是在讓另一個助理實測時踩到的。它的提示詞只寫「Yuneth 在櫻花樹下散步」—— 指令完全正確,但生出來是個隨機黑髮、沒有翅膀的路人,根本不是 Hina。

同 LoRA 同種子,左邊只寫觸發字 → 不是角色,右邊加「銀髮+翅膀」→ 角色回來

原因:只用觸發字訓練(用一個觸發字綁整個角色、不寫圖說)的 LoRA,觸發字單獨綁外觀的力道不夠強,lightning 下更弱。同種子,只要把「long silver hair, large white angel wings」加回提示詞,Hina 立刻回來。

規則:用角色 LoRA 一定要在提示詞裡描述她的關鍵特徵,別只丟觸發字。觸發字負責「鎖定是這個人」,外觀描述負責「把這個人畫出來」,兩個都要。

換畫風:疊風格 LoRA,但要在全步數下

畫風是跟身分完全獨立的另一條軸。換畫風兩種做法:提示詞加風格詞(輕量,但 Wan 是寫實底子的影片模型,純提示詞拉不動純 2D),或疊一顆風格 LoRA(力道強得多,能壓過 Wan 的寫實傾向)。

風格 LoRA 跟角色 LoRA 是同一種節點,串著掛就好。但一定要配全步數 —— 不然 lightning 又會把畫風抹平:

同樣疊動畫風格 LoRA,左邊 lightning 風格沒出來,右邊全步數才是真正的賽璐珞動畫

疊的時候角色跟畫風會互搶(兩顆都在改同一批權重),要平衡強度:通常角色 0.8、畫風 1.0 上下。畫風太弱就調高畫風、角色跑掉就調高角色。

底模本身的強預設會跟角色 LoRA 搶 —— 一個通則

兩個看似無關的現象,其實是同一回事:

  • NSFW 飄歐美:Wan 的裸體訓練資料偏歐美,一打「nude」就把臉和身材往西方拉,沖淡角色的東亞特徵。
  • 純 2D 拉不動:Wan 是寫實影片模型,純提示詞很難把它拉到平塗賽璐珞。

兩個都是「底模自己的強預設傾向跟角色 LoRA 打架」。對策一樣:全步數 + 提高角色強度(1.0→1.1)+ 提示詞明確指定(寫實 NSFW 就加 Japanese, East Asian;純 2D 就疊風格 LoRA)。把模型往你要的方向用力推,別讓它自己的預設審美主導。

一個「只用觸發字」的副作用:每張圖都一樣的特徵會被燒進身分

最後一個值得知道的:只用觸發字訓練會把「訓練圖裡每張都一樣的東西」當成身分的一部分。我的 28 張訓練圖全是銀髮 → 銀髮就被燒進「她是誰」了。結果是事後想換髮色會跟 LoRA 打架:得把角色強度降到 0.7 左右才換得動,而且出來是漸層、不純。

同種子同動作,只換髮色:動作幾乎不變,但銀髮 LoRA 還在跟粉紅色拉扯,出來是漸層

通則:想讓某個屬性事後能自由換,訓練素材就要在那個屬性上做變化(想換髮色就混入不同髮色的訓練圖)。固定不變的東西才放進「身分」。如果這個角色本來就該是銀髮,那燒進去反而剛好。

收穫

把上一篇「能生」變成這篇「能精準控制」,核心就一句話:身分、畫風、動作是三條獨立的軸,各有各的旋鈕。種子鎖動作、提示詞加 LoRA 強度管身分、風格 LoRA + 全步數管畫風。踩到結果不對,先問「是哪條軸的旋鈕轉錯」,而不是怪 LoRA。

下一個系列會講這趟訓練本身踩的坑(HuggingFace 下載卡死、Windows 套件地獄)—— 那是疑難排解(Troubleshooting)系列,跟這篇的「怎麼用」分開。

常見問題

為什麼用角色 LoRA 生出來變成 3D 動畫風?
兇手是 lightning 4 步蒸餾 LoRA——它為了加速犧牲質感,出來會塑膠、像 3D 算圖。要寫實就拿掉 lightning,改用全步數(20 步、cfg 5)。
為什麼提示詞裡寫了角色觸發字,生出來卻不是那個角色?
只用觸發字訓練的 LoRA,光靠觸發字綁外觀的力道弱(lightning 下更弱)。提示詞一定要描述角色的關鍵特徵(髮色、髮型等),不能只丟觸發字。
角色 LoRA 可以換畫風嗎?
可以。畫風是另一條軸,用提示詞加風格詞、或疊一顆風格 LoRA 控制。但要疊在全步數(--quality)下,不然 lightning 會把畫風抹平。