ComfyUI 中使用LoRA模型

此文章包含以下内容

  • 如何使用LoRA模型
  • LoRA模型的强度和提示词权重设置
  • 单个LoRA模型的使用
  • 多个LoRA模型的使用
  • 通过LoRA模型人物定制
  • 通过LoRA模型精准控制风格与主题
  • 通过LoRA模型进行细节增强
  • 通过LoRA模型进行功能性控制
    {.is-success}

什么是LoRA模型

LoRA(Low-Rank Adaptation,低秩适应)模型在AI绘画中扮演着“微调插件”的角色,其核心作用是以极低的计算成本实现对基础大模型生成效果的精准控制,从而提升创作效率和个性化程度。

所用的模型、工作流在文中最后提供百度下载地址
LoRA模型储存地址:models\loras 中

LoRA模型在AI绘画中的具体作用

  1. 精准控制风格与主题
    LoRA 允许用户针对特定风格(如水墨风、赛博朋克)、人物角色(如动漫角色、真实人脸)或物体(如汉服、珠宝)进行定制化生成。例如,加载“汉服 LoRA”后,即使提示词简单,也能生成细节丰富的传统服饰图像。、
  2. 提升生成一致性
    对于系列创作(如漫画角色、品牌设计),LoRA 能固定特征(如发型、服装配色),确保多次生成的结果保持统一,避免大模型随机性过强的问题。
    多模型组合叠加
  3. 支持同时加载多个
    LoRA(如角色 LoRA + 风格 LoRA + 动作 LoRA),通过调整各模块权重(如 , )实现效果融合。例如,结合“年龄调整 LoRA”(Age Slider)和“距离调整 LoRA”(Zoom Slider),可精确控制人物年龄与构图视角。
  4. 降低训练与存储成本
    存储优势:单个 LoRA 文件仅 10–200 MB,远小于大模型(2–7 GB),便于分享和管理。
    训练效率:用户仅需 10–50 张标注图片即可训练专属 LoRA,耗时约 10–60 分钟(依赖 GPU 性能),无需重新训练数 GB 的大模型。

LoRA模型的典型应用场景

场景类型案例示例
人物定制训练真人照片 LoRA,生成虚拟偶像或一致性角色形象。
风格迁移应用水墨、油画或像素风 LoRA,快速切换艺术风格。
细节增强使用“眼睛优化”“服装纹理”等 LoRA 局部提升画面质感。
功能性控制通过专用 LoRA 调整人物年龄(Age Slider)、衣着多少(Clothing Adjuster)等。

LoRA模型的使用技巧与注意事项

  1. 权重调节
    LoRA权重过高可能导致过拟合(画面失真),过低则效果不明显。具体权重参考模型说明文档。
  2. 兼容性检查
    部分 LoRA 仅适配特定大模型(如 SD 1.5 或 SDXL),需确保基础模型匹配。
  3. 提示词配合
    某些 LoRA 需搭配触发词激活效果,需查阅模型说明。
  4. 避免冲突
    同时使用多个 LoRA 时,若风格差异过大(如写实与卡通),可能生成混乱结果,需通过权重平衡或分步生成解决。
  5. 依赖基础模型
    LoRA 的效果受限于底层大模型的能力。若大模型缺乏相关先验知识(如特定文化元素),LoRA 难以弥补。

LoRA模型使用实例

所有示例如无特殊说明,均使用 dreamshaper_8 模型 作为基础模型
lora模型均使用SD1.5版本
步数 20
CFG 8.0
采样器 DPM++ 2M
调度器 Karras

除了第一个基础工作流截图不含工作流之外,其他截图均含有对应的工作流,可以直接拖放到ComfyUI中

人物定制

对人物的模型是LoRA模型最常使用的一种功能,在civitai上有大量的模型是针对各种特定角色制作的LoRA模型,比如我们想生成一张尼尔机械纪元中尤尔哈2B的角色图片

人物定制-基础工作流
正向提示词
masterpiece, best quality,
1girl,(blindfold:1.2),black blindfold,solo, white hair, dress,black dress, hairband, short hair, mole under mouth, gloves, thighhighs, puffy sleeves, cleavage cutout, long sleeves, yorha no. 2 type b,leotard,
cowboy shot, grey background, smile,

反向提示词
(low quality, worst quality:1.4), (bad anatomy), (inaccurate limb:1.2), bad composition, inaccurate eyes, extra digit, fewer digits, (extra arms:1.2)

这是一组基础工作流,通过提示词对尼尔机械纪元中尤尔哈2B角色进行描述,由于dreamshaper 8模型不是针对尤尔哈2B角色进行优化的模型,因此只能产生类似尤尔哈2B角色的人物


可以通过加载LoRA模型后使用触发词让AI理解尤尔哈2B角色这个人物的特点,这里使用2b.safetensors这个模型

- 触发词
-
- `2b`是LoRA模型名称
- `:1` 是模型权重
  • 模型强度(权重) 直接控制LoRA模型对基础大模型的影响力度
  • 工作原理:该参数决定了LoRA模型的微调特征在图像生成过程中融入的强度。提高模型强度会使生成图像更明显地体现LoRA模型所定义的特定风格(如像素风、粘土风)或主体特征。
  • 调节效果:值越大,LoRA的风格或内容特征越突出。但强度过高可能导致“过拟合”,即生成图像多样性降低、构图僵化,甚至出现画面元素扭曲。
  • CLIP强度专门用于调节文本提示词(Prompt)对生成图像的控制力
  • 工作原理:CLIP模型负责将文本描述转换为AI可以理解的数值表示(嵌入向量),从而引导图像生成的方向。
  • 调节效果:CLIP强度参数调整的就是LoRA模型在文本理解这一环节的影响力,提高CLIP强度可以增强AI对提示词中细节要求的响应程度。
2b角色LoRA工作流
正向提示词
masterpiece, best quality,
,
1girl,(blindfold:1.2),black blindfold,solo, white hair, dress,black dress, hairband, short hair, mole under mouth, gloves, thighhighs, puffy sleeves, cleavage cutout, long sleeves, yorha no. 2 type b,leotard,
cowboy shot, grey background, smile,

反向提示词
(low quality, worst quality:1.4), (bad anatomy), (inaccurate limb:1.2), bad composition, inaccurate eyes, extra digit, fewer digits, (extra arms:1.2)

需要注意,2b这个LoRA模型只针对尤尔哈2B角色进行优化,如果要生成其他角色需要使用不同的LoRA模型,比如在生成一个尤尔哈A2这个角色,那就需要修改为a2_nierautomata-10.safetensors这个模型。

A2角色LoRA工作流
正向提示词
(masterpiece, best quality),
,
a2_nierautomata, gloves, black gloves, elbow gloves, mole, hair between eyes, long dress

反向提示词
(low quality, worst quality:1.4), (bad anatomy), (inaccurate limb:1.2), bad composition, inaccurate eyes, extra digit, fewer digits, (extra arms:1.2)

可以看到,我们不仅修改了模型,还对提示词进行了调整,因为这两个角色在细节上是存在不同的。
同时强度也不一定必须是1.0,这里我们就将强度调整为0.8。
而且激发词也不一定就是模型名称,这个模型的名称是a2_nierautomata-10.safetensors,按道理来说激发词应该是 ,但是该模型的激发词却是,所以对于提示词需要参考不同模型的使用说明。

风格迁移

通过风格迁移可以将原始图片保持元素的情况下快速变为其它绘画风格,比如将照片写真转换为线稿、Q版、像素、立绘等风格化,下面是几个例子。

线稿风格化

LoRA工作流-线稿风格化
正向提示词
masterpiece, best quality,
,
1girl,(blindfold:1.2),black blindfold,solo, white hair, dress,black dress, hairband, short hair, mole under mouth, gloves, thighhighs, puffy sleeves, cleavage cutout, long sleeves, yorha no. 2 type b,leotard,
cowboy shot, grey background, smile,

lineart, monochrome,

反向提示词
(low quality, worst quality:1.4), (bad anatomy), (inaccurate limb:1.2), bad composition, inaccurate eyes, extra digit, fewer digits, (extra arms:1.2)

这里使用了 2b.safetensors 配合 animeoutlineV4_16.safetensors 这个模型,让AI先生成一个尤尔哈2B,然后在进行线稿化。
通过这个例子,演示了连个LoRA模型是可以工作在一个工作流中。
通过调整模型权重可以实现不同的效果。

Q版风格化 blindbox_v1_mix.safetensors

LoRA工作流-Q版风格化
正向提示词
masterpiece, best quality, ,
1girl,(blindfold:1.2),black blindfold,solo, white hair, dress,black dress, hairband, short hair, mole under mouth, gloves, thighhighs, puffy sleeves, cleavage cutout, long sleeves, yorha no. 2 type b,leotard,
cowboy shot, grey background, smile,

,(full body:1.2),(ultra-detailed),chibi

反向提示词
(low quality, worst quality:1.4), (bad anatomy), (inaccurate limb:1.2), bad composition, inaccurate eyes, extra digit, fewer digits, (extra arms:1.2)

像素风格化 pixel_f2.safetensors

LoRA工作流-像素风格化
正向提示词
masterpiece, best quality, ,
1girl,(blindfold:1.2),black blindfold,solo, white hair, dress,black dress, hairband, short hair, mole under mouth, gloves, thighhighs, puffy sleeves, cleavage cutout, long sleeves, yorha no. 2 type b,leotard,
cowboy shot, grey background, smile,

,pixel,pixel art

反向提示词
(low quality, worst quality:1.4), (bad anatomy), (inaccurate limb:1.2), bad composition, inaccurate eyes, extra digit, fewer digits, (extra arms:1.2)

立绘风格化 tachi-e.safetensors

LoRA工作流-立绘风格化
正向提示词
masterpiece, best quality, ,
1girl,(blindfold:1.2),black blindfold,solo, white hair, dress,black dress, hairband, short hair, mole under mouth, gloves, thighhighs, puffy sleeves, cleavage cutout, long sleeves, yorha no. 2 type b,leotard,
cowboy shot, grey background, smile,

,(full body:1.2),(ultra-detailed),chibi

反向提示词
(low quality, worst quality:1.4), (bad anatomy), (inaccurate limb:1.2), bad composition, inaccurate eyes, extra digit, fewer digits, (extra arms:1.2)

细节增强

在AI绘画中,使用LoRA模型进行细节增强,主要涉及精准调整模型参数、优化提示词、采用进阶工作流程。其核心在于调控模型强度、CLIP强度这两个关键参数,它们分别决定了LoRA风格特征的显著度和AI对文本描述的理解深度

细节调整 add_detail.safetensors

LoRA工作流-细节增强-add_detail
正向提示词
masterpiece, best quality, ,
1girl,(blindfold:1.2),black blindfold,solo, white hair, dress,black dress, hairband, short hair, mole under mouth, gloves, thighhighs, puffy sleeves, cleavage cutout, long sleeves, yorha no. 2 type b,leotard, tachi-e, white background, full body, border, outside border,star (sky),starry sky,

反向提示词
(low quality, worst quality:1.4), (bad anatomy), (inaccurate limb:1.2), bad composition, inaccurate eyes, extra digit, fewer digits, (extra arms:1.2)

这里我们使用了三个LoRA模型,并且通过不同的模型强度来演示了具体的区别

Add_detail 细节增强模型是AI绘画生态中一款广受欢迎的 LoRA 插件,其核心作用是通过微调生成过程中的噪声参数,灵活且精细地控制生成图像的细节水平,而几乎不改变图像原有的构图、风格和主体特征。

衣物增/减 ClothingAdjuster3.safetensors

LoRA工作流-衣物增减
正向提示词
masterpiece, best quality, ,
1girl,(blindfold:1.2),black blindfold,solo, white hair, dress,black dress, hairband, short hair, mole under mouth, gloves, thighhighs, puffy sleeves, cleavage cutout, long sleeves, yorha no. 2 type b,leotard,







反向提示词
(low quality, worst quality:1.4), (bad anatomy), (inaccurate limb:1.2), bad composition, inaccurate eyes, extra digit, fewer digits, (extra arms:1.2)

功能性控制

在AI绘画中,使用LoRA模型进行功能性控制,是指通过加载特定的LoRA模型,精准地调整生成图像的特定属性,如动作控制、修复手部、调节光影、控制年龄或镜头视角等

动作控制和视角 TPose.safetensorspose standing one leg up.safetensors

这类LoRA可以让角色实现某些特定动作,比如抬手、摆动、跳跃等,但是需要注意,动作控制类型的RoLA使用时一定要注意是否会有冲突.
比如一个角色显然是不可能在跳跃的同时睡在床上,如果遇到这种冲突,产生的图片将会非常奇怪。

LoRA工作流-动作控制和视角


# TPose.safetensors
正向提示词
masterpiece, best quality, ,
1girl,(blindfold:1.2),black blindfold,solo, white hair, dress,black dress, hairband, short hair, mole under mouth, gloves, thighhighs, puffy sleeves, cleavage cutout, long sleeves, yorha no. 2 type b,leotard,

TPose, outstretched arms, standing, , solo, full body

反向提示词
(low quality, worst quality:1.4), (bad anatomy), (inaccurate limb:1.2), bad composition, inaccurate eyes, extra digit, fewer digits, (extra arms:1.2)

# pose standing one leg up.safetensors
正向提示词
masterpiece, best quality, ,
1girl,(blindfold:1.2),black blindfold,solo, white hair, dress,black dress, hairband, short hair, mole under mouth, gloves, thighhighs, puffy sleeves, cleavage cutout, long sleeves, yorha no. 2 type b,leotard,

looking down, skirt, standing on one leg, huge breasts, ,from below,shoes,

反向提示词
(low quality, worst quality:1.4), (bad anatomy), (inaccurate limb:1.2), bad composition, inaccurate eyes, extra digit, fewer digits, (extra arms:1.2)

TPose.safetensors模型用于让角色摆出T型姿势
pose standing one leg up.safetensors模型用于让角色产生一种从下往上的视角

头发长度控制 hair_length_slider_v1.safetensors

正向提示词
masterpiece, best quality, ,
1girl,(blindfold:1.2),black blindfold,solo, white hair, dress,black dress, hairband, short hair, mole under mouth, gloves, thighhighs, puffy sleeves, cleavage cutout, long sleeves, yorha no. 2 type b,leotard,

looking down, skirt, standing on one leg, huge breasts, ,from below,shoes,

反向提示词
(low quality, worst quality:1.4), (bad anatomy), (inaccurate limb:1.2), bad composition, inaccurate eyes, extra digit, fewer digits, (extra arms:1.2)

此处hair_length_slider_v1的强度越大,头发长度越长,强度范围允许超过1.0
但是需要注意,如果头发长度过长将会让2b这个模型出现无法精准绘制2B这个角色的情况。

LoRA工作流-头发长度控制
正向提示词
masterpiece, best quality, ,
1girl,(blindfold:1.2),black blindfold,solo, white hair, dress,black dress, hairband, short hair, mole under mouth, gloves, thighhighs, puffy sleeves, cleavage cutout, long sleeves, yorha no. 2 type b,leotard,

反向提示词
(low quality, worst quality:1.4), (bad anatomy), (inaccurate limb:1.2), bad composition, inaccurate eyes, extra digit, fewer digits, (extra arms:1.2)

年龄控制 age_slider_v20.safetensors

这个age_slider_v20的年龄控制LoRA模型很好的演示了权重允许负数的情况(-0.5~5)
但是也可以注意到此类模型一般指正对某一个细节区域进行调整,可以看到只有脸部有明显的年龄的变化。

LoRA工作流-年龄控制
正向提示词
masterpiece, best quality, ,
1girl,(blindfold:1.2),black blindfold,solo, white hair, dress,black dress, hairband, short hair, mole under mouth, gloves, thighhighs, puffy sleeves, cleavage cutout, long sleeves, yorha no. 2 type b,leotard,

反向提示词
(low quality, worst quality:1.4), (bad anatomy), (inaccurate limb:1.2), bad composition, inaccurate eyes, extra digit, fewer digits, (extra arms:1.2)

情绪控制 emotion_happy_slider_v1.safetensors

LoRA工作流-情绪控制

emotion_happy_slider_v1这个模型演示了不同数值对原始图片的影响,越接近0,表情越中性,大于0则表现的开心,小于0则表现的伤心

正向提示词
masterpiece, best quality, ,
1girl,(blindfold:1.2),black blindfold,solo, white hair, dress,black dress, hairband, short hair, mole under mouth, gloves, thighhighs, puffy sleeves, cleavage cutout, long sleeves, yorha no. 2 type b,leotard,

反向提示词
(low quality, worst quality:1.4), (bad anatomy), (inaccurate limb:1.2), bad composition, inaccurate eyes, extra digit, fewer digits, (extra arms:1.2)

灯光控制 light_slider_v10.safetensors

在不使用灯光控制类LoRA的情况下,角色的灯光方向是不固定的,如果需要指定灯光角度,可以使用此类LoRA,这里使用light_slider_v10这个模型进行演示。

LoRA工作流-灯光控制
正向提示词
masterpiece, best quality, ,
1girl,(blindfold:1.2),black blindfold,solo, white hair, dress,black dress, hairband, short hair, mole under mouth, gloves, thighhighs, puffy sleeves, cleavage cutout, long sleeves, yorha no. 2 type b,leotard,

反向提示词
(low quality, worst quality:1.4), (bad anatomy), (inaccurate limb:1.2), bad composition, inaccurate eyes, extra digit, fewer digits, (extra arms:1.2)

可以发型当强度为1时,灯光是从正面打出;
当强度范围在1-5之间,灯光角度从右侧打出;
当强度范围是负值时,灯光角度从左侧打出

所有相关模型下载

2b.safetensors
链接:https://pan.baidu.com/s/1BB212AaE7EwxnHO0keLu-A?pwd=j2qe
提取码:j2qe

a2_nierautomata-10.safetensors
链接:https://pan.baidu.com/s/1osQV3Vr2UwSsjTPBraZsoQ?pwd=j2qe
提取码:j2qe

add_detail.safetensors
链接:https://pan.baidu.com/s/1ePGU1JJttVIkxRGFvhykgw?pwd=j2qe
提取码:j2qe

age_slider_v20.safetensors
链接:https://pan.baidu.com/s/16Aa8wjEkzBQupaGGd05vMw?pwd=j2qe
提取码:j2qe

animeoutlineV4_16.safetensors
链接:https://pan.baidu.com/s/1iDwIXzDGs3_7o37j0NuskQ?pwd=j2qe
提取码:j2qe

blindbox_v1_mix.safetensors
链接:https://pan.baidu.com/s/1zO-fxXgsXkff6nwQSVLdYA?pwd=j2qe
提取码:j2qe

Bride 2bV1.9.safetensors
链接:https://pan.baidu.com/s/1W5RDXkcjQtrjE3c3WmGqvQ?pwd=j2qe
提取码:j2qe

charTurnBetaLora.safetensors
链接:https://pan.baidu.com/s/1sLcMsAvP6MCw5PHBAr11lg?pwd=j2qe
提取码:j2qe

CharTurnRetag_v4.safetensors
链接:https://pan.baidu.com/s/1SmhwDG5YjxsCvemC-VWaNA?pwd=j2qe
提取码:j2qe

ClothingAdjuster3.safetensors
链接:https://pan.baidu.com/s/1xN2HZnAtujwfgSKAdzjUtQ?pwd=j2qe
提取码:j2qe

emotion_happy_slider_v1.safetensors
链接:https://pan.baidu.com/s/1lmlyVdGQBmzdR_TD3iW5EQ?pwd=j2qe
提取码:j2qe

hair_length_slider_v1.safetensors
链接:https://pan.baidu.com/s/1xFm1pj5hRMIaKh9nsUv9YA?pwd=j2qe
提取码:j2qe

HeadviewsV2.0.safetensors
链接:https://pan.baidu.com/s/1oBQFNOK4T-OgTJsg-n4YpA?pwd=j2qe
提取码:j2qe

hipoly_3dcg_v7-epoch-000012.safetensors
链接:https://pan.baidu.com/s/1m-k6lhiOd8At2GpshpdR3Q?pwd=j2qe
提取码:j2qe

light_slider_v10.safetensors
链接:https://pan.baidu.com/s/12fyLCfiWn1iqcA4Pw6AIPA?pwd=j2qe
提取码:j2qe

lo_dress_classic_style4_v1.safetensors
链接:https://pan.baidu.com/s/1bYjP_taICW9Og_CeGyWWwQ?pwd=j2qe
提取码:j2qe

maid_bikini.safetensors
链接:https://pan.baidu.com/s/1IZo38rJHcJRhin-jy4UpGA?pwd=j2qe
提取码:j2qe

OnOffUnder 1.5 2.7.safetensors
链接:https://pan.baidu.com/s/1ZRhGeXTRRH_zeBvA1g-f-Q?pwd=j2qe
提取码:j2qe

oversized_sweater.safetensors
链接:https://pan.baidu.com/s/1g8zuaBjl-D3jPVGpyidHig?pwd=j2qe
提取码:j2qe

pixel_f2.safetensors
链接:https://pan.baidu.com/s/1RosYd1SoC0ViaW8o5w88_Q?pwd=j2qe
提取码:j2qe

pixel-portrait-v1.safetensors
链接:https://pan.baidu.com/s/1mEVWRyLZK0bVROU8WCK1Xg?pwd=j2qe
提取码:j2qe

pose standing one leg up.safetensors
链接:https://pan.baidu.com/s/1C0GFqLntUt7xT_FM3CyxLg?pwd=j2qe
提取码:j2qe

PX64NOCAP_epoch_10.safetensors
链接:https://pan.baidu.com/s/1vu3xwVJoNHPXXgvm3QQ-Kw?pwd=j2qe
提取码:j2qe

socialistrealism_last.safetensors
链接:https://pan.baidu.com/s/1WArL-00Lp8bVwRsyfd1_hA?pwd=j2qe
提取码:j2qe

tachi-e.safetensors
链接:https://pan.baidu.com/s/116cAPJANt4_dc5uCyAHM5w?pwd=j2qe
提取码:j2qe

TPose.safetensors
链接:https://pan.baidu.com/s/1BhYj0sZ8UQfwkD5i0GdG1A?pwd=j2qe
提取码:j2qe