LoRA(Low-Rank Adaptation) 是一种优化生成图像的方法。它可以让图像生成模型在保持高质量的前提下,变得更高效、更快速。
它主要用于大规模预训练模型的微调。通过将权重矩阵分解为低秩矩阵,从而减少训练参数,降低计算开销。LoRA在保持模型性能的前提下,能够快速适应新的任务或数据集。LoRA通过结合Checkpoints一起使用,实现对大模型生成效果的细节上的修正。
在Stable Diffusion中,LoRA模型可以让AI针对更具体的形象、特征来生成图片,同时简化了生成图片的步骤,让整个过程变得更加具体和便捷。
精准生图: LoRA可以让图像特征生成得更为精准,虽然不如Embeddings那样轻巧,但却可以更具象化的生成你想要的目标人物或特征。
应用场景:
目前LoRA常用于游戏、电影等应用场景的人物创造,可以通过大量的训练来创造出特征鲜明的人物角色。
模型位置: LoRA模型放置于WebUI文件根目录下Models文件夹内的LoRA文件夹内
如何调用:
1.在提示词中输入 即可调用。例如:,也有一些LoRA有固定的触发提示词,具体可以参考各LoRA的说明文件。
2.在提示词下方的”扩展模型”菜单中点击”Lora”,然后点击你已安装好并希望使用的LoRA模型即可。
3.附加网络扩展:Additional Network。
然后到”设置-Additional Network”菜单中,将我们LoRA模型所在目录的地址粘贴到该位置并保存。
然后展开”Additional Network”菜单,刷新模型列表,就能勾选使用你需要的LoRA模型了。该方式支持最多同时使用5个Lora模型,并可以分别调节它们的参数,通过这种方式加载Lora模型,可以不用再在提示词中加载Lora模型了,提示词就会更清晰简洁。
另外,该方式支持加载蒙版功能,可以使我们的LoRA特定在图像中的局部生效。
我这里采用All Disney Princess XL 这款LoRA 结合一些二次元的大模型来生成迪士尼的人物形象。(模型下载请看文末扫描获取哦)
该LoRA模型可以生成多个人物形象,我们在正向提示词中加入(权重可以根据模型的说明文件来设定)触发该模型并加入人物名称elsa来生成爱莎公主的形象。(你也可以输入其他形象名称)
反向提示词:drawing,painting,crayon,sketch,graphite,impressionist,noisy,blurry,soft,deformed,ugly,
首先将原有的人物形象放入WD1.4标签器中进行反推,然后发送至文生图。
在反推出的提示词的基础上加上起手正向和反向提示词,并选择合适的二次元模型,我这里采用cetusMix模型。
反向提示词:NSFW, (worst quality:2), (low quality:2), (normal quality:2), lowres,normal quality,((monochrome)), ((grayscale)), skin spots, acnes,skin blemishes, age spot, (ugly:1.331), (duplicate:1.331),(morbid:1.21),(mutilated:1.21), (tranny:1.331), mutated hands,(poorly drawn hands:1.5), blurry, (bad anatomy:1.21), (badproportions:1.331), extra limbs, (disfigured:1.331), (missingarms:1.331),(extra legs:1.331), (fused fingers:1.61051),(too many fingers:1.61051), (unclear eyes:1.331), lowers, bad hands,missing fingers, extra digit,bad hands, missing fingers, (((extraarms and legs)))
然后在Additional Networks中启用LoRA模型,选择我的LoRA模型,并根据模型说明设置其最合适的权重。
点击生成后,便会为我们生成一张拥有LoRA该模型特征的相似图片。
然后我们就要基于这个LoRA来生成我们的Cos风格图片。
将模型改成真实系模型,我这里采用majicmix。然后将正向提示词的起手式改成更符合真实系照片风格的提示词。
正向提示词:best quality,ultra-detailed,masterpiece,hires,8k,raw photo,(photorealistic:1.4)
生成真实系照片的时候建议勾选高分辨率修复。
点击生成后,便会为我们生成一张拥有LoRA该模型特征的Cos风格真实系图片。
除了特定人物形象,有一些LoRA也可以生成某类的人物形象。
比如Fashin Girl、Cute Girl、Asian Male等,它由符合作者个人审美的大量人物照片训练而成。
在你生成Cos风格真实系图片的时候,加入这些元素的LoRA到Additional Networks中,权重不用过高,0.2-0.3即可,可以有效生成更符合大众审美的人物面部。
LoRA也可以实现创作某一类画风的人物形象。比如海贼王的动漫就具有明显的特定画风,我这里以这个One Piece的LoRA模型为例。
在Additional Networks中同时启用画风和人物的LoRA模型,画风模型对画面的风格影响较大,所以权重可以适当降低。
点击生成,便能生成出该画风下的人物风格图片了。
LoRA也可以实现创作某一类概念风格的图片,我这里以犯罪嫌疑人的概念风格模型mugshot lora为例。
选择一个二次元大模型,并输入正向和反向提示词,如果不知道具体提示词是什么可以通过WD1.4标签器对类似图片进行反推获得。
反向提示词:NSFW,(worst quality:2),(low quality:2),(normal quality:2),lowres,normal quality,((monochrome)),((grayscale)),skin spots,acnes,skin blemishes,age spot,(ugly:1.331),(duplicate:1.331),(morbid:1.21),(mutilated:1.21),(tranny:1.331),mutated hands,(poorly drawn hands:1.5),blurry,(bad anatomy:1.21),(badproportions:1.331),extra limbs,(disfigured:1.331),(missingarms:1.331),(extra legs:1.331),(fused fingers:1.61051),(too many fingers:1.61051),(unclear eyes:1.331),lowers,bad hands,missing fingers,extra digit,bad hands,missing fingers,(((extraarms and legs))),
虽然我们可以在不使用LoRA,仅通过文字描述就能通过大模型来生成一些特定的服饰,但有很多特定、少见的服饰还是需要LoRA来生成。比如一些机甲类的服饰,基本上靠大模型的文字描述是不可能生成的。
我们以Mecha Armor LoRa这个模型为例。
正向提示词:1girl,red theme,mecha musume,robot joints,headgear,full armor,cowboy shot, cyberpunk,futuristic,robotic arms,mechanical parts,
反向提示词:EasyNegative,(worst quality:1.4),(low quality:1.4),(normal quality:1.4),(female pubic hair:1.3)),lowres,penis,
【机甲类提示词推荐:mecha, intricate mechanical bodvsuit, mecha corset, mechanical parts, robotic arms andlegs, headgear,caustics, reflection, ray tracing, demontheme, cyber effect, cyberpunk,science fiction】
模型的选择可以根据你实际的需要选择二次元或者真实系的模型。
在Additional Networks中,启用你需要的LoRA模型,你可以同时启用两个不同的机甲类风格模型,根据权重的不同会生成更侧重某个模型的组合风格,服装类的LoRA模型权重值不宜过高,会容易产生只有衣服的图片。
这类的LoRA模型可以添加你需要的特定元素到你生成的图像中,比如美食、玩具、工具、产品等。搜索关键字是:object。
比如Cyberhelmet这个LoRA,它专门用于生成带有科幻头盔和可穿戴设备风格的图像。
我们可以通过图生图的方式将这个头盔LoRA生成到我们之前生成的机甲少女上。
将之前的图片导入到图生图中。
然后在正向提示词中加入:
cyberhelmet,a white cyberhelmet,head,close-up,
在Additional Networks中在原本启用的LoRA后再加入Cyberhelmet这个LoRA。
点击生成,便能生成在原有基础中增加头盔的机甲少女角色了。
我们也可以用局部重绘的方式来更为精确地生成一张戴上科幻头盔的机甲少女。
在局部重绘中导入该图片,并将头部区域涂抹,由于生成的头盔本身就会比头部大,所以建议可以多涂抹一些区域。
正向提示词中只留下头盔部分的提示词。Additional Networks的设置和之前的方式一样。
点击生成,便能通过局部重绘的方式生成新的图片了。
一、AIGC所有方向的学习路线
AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。
二、AIGC必备工具
三、最新AIGC学习笔记
四、AIGC视频教程合集
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。