绘画tableiffusion新手入门教程:万字长文解析ora模型的使用,快速上手ora模型!

LoRA(Low-Rank Adaptation) 是一种优化生成图像的方法。它可以让图像生成模型在保持高质量的前提下,变得更高效、更快速。

它主要用于大规模预训练模型的微调。通过将权重矩阵分解为低秩矩阵,从而减少训练参数,降低计算开销。LoRA在保持模型性能的前提下,能够快速适应新的任务或数据集。LoRA通过结合Checkpoints一起使用,实现对大模型生成效果的细节上的修正。

在Stable Diffusion中,LoRA模型可以让AI针对更具体的形象、特征来生成图片,同时简化了生成图片的步骤,让整个过程变得更加具体和便捷。

精准生图: LoRA可以让图像特征生成得更为精准,虽然不如Embeddings那样轻巧,但却可以更具象化的生成你想要的目标人物或特征。

应用场景:

目前LoRA常用于游戏、电影等应用场景的人物创造,可以通过大量的训练来创造出特征鲜明的人物角色。

模型位置: LoRA模型放置于WebUI文件根目录下Models文件夹内的LoRA文件夹内

如何调用:

1.在提示词中输入 即可调用。例如:,也有一些LoRA有固定的触发提示词,具体可以参考各LoRA的说明文件。

2.在提示词下方的”扩展模型”菜单中点击”Lora”,然后点击你已安装好并希望使用的LoRA模型即可。

3.附加网络扩展:Additional Network。

然后到”设置-Additional Network”菜单中,将我们LoRA模型所在目录的地址粘贴到该位置并保存。

然后展开”Additional Network”菜单,刷新模型列表,就能勾选使用你需要的LoRA模型了。该方式支持最多同时使用5个Lora模型,并可以分别调节它们的参数,通过这种方式加载Lora模型,可以不用再在提示词中加载Lora模型了,提示词就会更清晰简洁。

另外,该方式支持加载蒙版功能,可以使我们的LoRA特定在图像中的局部生效。

我这里采用All Disney Princess XL 这款LoRA 结合一些二次元的大模型来生成迪士尼的人物形象。(模型下载请看文末扫描获取哦)

该LoRA模型可以生成多个人物形象,我们在正向提示词中加入(权重可以根据模型的说明文件来设定)触发该模型并加入人物名称elsa来生成爱莎公主的形象。(你也可以输入其他形象名称)

反向提示词:drawing,painting,crayon,sketch,graphite,impressionist,noisy,blurry,soft,deformed,ugly,

首先将原有的人物形象放入WD1.4标签器中进行反推,然后发送至文生图。

在反推出的提示词的基础上加上起手正向和反向提示词,并选择合适的二次元模型,我这里采用cetusMix模型。

反向提示词:NSFW, (worst quality:2), (low quality:2), (normal quality:2), lowres,normal quality,((monochrome)), ((grayscale)), skin spots, acnes,skin blemishes, age spot, (ugly:1.331), (duplicate:1.331),(morbid:1.21),(mutilated:1.21), (tranny:1.331), mutated hands,(poorly drawn hands:1.5), blurry, (bad anatomy:1.21), (badproportions:1.331), extra limbs, (disfigured:1.331), (missingarms:1.331),(extra legs:1.331), (fused fingers:1.61051),(too many fingers:1.61051), (unclear eyes:1.331), lowers, bad hands,missing fingers, extra digit,bad hands, missing fingers, (((extraarms and legs)))

然后在Additional Networks中启用LoRA模型,选择我的LoRA模型,并根据模型说明设置其最合适的权重。

点击生成后,便会为我们生成一张拥有LoRA该模型特征的相似图片。

然后我们就要基于这个LoRA来生成我们的Cos风格图片。

将模型改成真实系模型,我这里采用majicmix。然后将正向提示词的起手式改成更符合真实系照片风格的提示词。

正向提示词:best quality,ultra-detailed,masterpiece,hires,8k,raw photo,(photorealistic:1.4)

生成真实系照片的时候建议勾选高分辨率修复。

点击生成后,便会为我们生成一张拥有LoRA该模型特征的Cos风格真实系图片。

除了特定人物形象,有一些LoRA也可以生成某类的人物形象。

比如Fashin Girl、Cute Girl、Asian Male等,它由符合作者个人审美的大量人物照片训练而成。

在你生成Cos风格真实系图片的时候,加入这些元素的LoRA到Additional Networks中,权重不用过高,0.2-0.3即可,可以有效生成更符合大众审美的人物面部。

LoRA也可以实现创作某一类画风的人物形象。比如海贼王的动漫就具有明显的特定画风,我这里以这个One Piece的LoRA模型为例。

在Additional Networks中同时启用画风和人物的LoRA模型,画风模型对画面的风格影响较大,所以权重可以适当降低。

点击生成,便能生成出该画风下的人物风格图片了。

LoRA也可以实现创作某一类概念风格的图片,我这里以犯罪嫌疑人的概念风格模型mugshot lora为例。

选择一个二次元大模型,并输入正向和反向提示词,如果不知道具体提示词是什么可以通过WD1.4标签器对类似图片进行反推获得。

反向提示词:NSFW,(worst quality:2),(low quality:2),(normal quality:2),lowres,normal quality,((monochrome)),((grayscale)),skin spots,acnes,skin blemishes,age spot,(ugly:1.331),(duplicate:1.331),(morbid:1.21),(mutilated:1.21),(tranny:1.331),mutated hands,(poorly drawn hands:1.5),blurry,(bad anatomy:1.21),(badproportions:1.331),extra limbs,(disfigured:1.331),(missingarms:1.331),(extra legs:1.331),(fused fingers:1.61051),(too many fingers:1.61051),(unclear eyes:1.331),lowers,bad hands,missing fingers,extra digit,bad hands,missing fingers,(((extraarms and legs))),

虽然我们可以在不使用LoRA,仅通过文字描述就能通过大模型来生成一些特定的服饰,但有很多特定、少见的服饰还是需要LoRA来生成。比如一些机甲类的服饰,基本上靠大模型的文字描述是不可能生成的。

我们以Mecha Armor LoRa这个模型为例。

正向提示词:1girl,red theme,mecha musume,robot joints,headgear,full armor,cowboy shot, cyberpunk,futuristic,robotic arms,mechanical parts,

反向提示词:EasyNegative,(worst quality:1.4),(low quality:1.4),(normal quality:1.4),(female pubic hair:1.3)),lowres,penis,

【机甲类提示词推荐:mecha, intricate mechanical bodvsuit, mecha corset, mechanical parts, robotic arms andlegs, headgear,caustics, reflection, ray tracing, demontheme, cyber effect, cyberpunk,science fiction】

模型的选择可以根据你实际的需要选择二次元或者真实系的模型。

在Additional Networks中,启用你需要的LoRA模型,你可以同时启用两个不同的机甲类风格模型,根据权重的不同会生成更侧重某个模型的组合风格,服装类的LoRA模型权重值不宜过高,会容易产生只有衣服的图片。

这类的LoRA模型可以添加你需要的特定元素到你生成的图像中,比如美食、玩具、工具、产品等。搜索关键字是:object。

比如Cyberhelmet这个LoRA,它专门用于生成带有科幻头盔和可穿戴设备风格的图像。

我们可以通过图生图的方式将这个头盔LoRA生成到我们之前生成的机甲少女上。

将之前的图片导入到图生图中。

然后在正向提示词中加入:

cyberhelmet,a white cyberhelmet,head,close-up,

在Additional Networks中在原本启用的LoRA后再加入Cyberhelmet这个LoRA。

点击生成,便能生成在原有基础中增加头盔的机甲少女角色了。

我们也可以用局部重绘的方式来更为精确地生成一张戴上科幻头盔的机甲少女。

在局部重绘中导入该图片,并将头部区域涂抹,由于生成的头盔本身就会比头部大,所以建议可以多涂抹一些区域。

正向提示词中只留下头盔部分的提示词。Additional Networks的设置和之前的方式一样。

点击生成,便能通过局部重绘的方式生成新的图片了。

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

二、AIGC必备工具

三、最新AIGC学习笔记

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

THE END
0.AI绘画Stablediffusion必不可少的使用方法之Lora(1)这,就是Lora,所有AI绘画人都必须了解,并且要非常了解的小帮手,Lora的全称叫做Low-Rank Adaptation Model,中文意思是大模型的“低秩适应”。 我想用一个很类似的比喻来形容它--追踪导弹,在茫如瀚海的关键词之中,Lora像一个个精准无比的追踪导弹一样,能够准确又快速的捕捉道一套又一套的词组模型,包括服饰、姿势jvzquC41dnuh0lxfp0tfv8^F\CR0c{ykenk0fnyckny03<:729;45
1.AI绘画中的LoRa是什么?ai绘画lora是什么意思LoRA AI绘画模型 LoRA(Low-Rank Adaptation)是一种基于扩散模型的AI绘画工具,主要用于增强细节和提升画质。LoRA模型通过文本编码器与扩散模型的结合,能够实现画风调整、人物建模以及风格微调等功能。这种模型在全球范围内下载量极高,受到许多用户的喜爱。 LoRA的应用场景包括赛博Coser服饰更换、真人肖像生成以及特定风格的画jvzquC41dnuh0lxfp0tfv8gguvvbu~4ctvodnn4fgvgjn|4369629;:7
2.AI绘画StableDiffusion研究(十七)SDlora详解(上)大家还记得AI 绘画Stable Diffusion 研究(三)sd模型种类介绍及安装使用详解这篇文章中,曾简单介绍了Lora的安装和使用吗 ? 但是我们并不清楚LORA 的原理是什么?以及使用过程中有什么技巧 ? 其实LORA 与 embedding 、Hypernetwork 在本质上类似,不过因为携带着大量的训练数据,所以 LORA 对人物和细节特征的复刻更加细腻jvzquC41fg|fnxugt0gmk‚zp0eun1jwvkerf1:8685>5
3.AI绘画:Lora模型训练完整流程!ai绘图模型训练AI绘画:Lora模型训练完整流程! 整体来说还是比简单的,搞个别人的模型,搞个提示词就出图了。今天来一个有些难度的,自己训练一个LoRA微调模型。 0.LoRA微调模型是什么? LoRA的全称是Low-Rank Adaptation of Large Language Models,有专门的论文和开源项目。它主要解决“大模型”太大,一般人玩不转的问题。jvzquC41dnuh0lxfp0tfv8Jskso0c{ykenk0fnyckny03=:223?36
4.AI绘画的使用感受,很强,但并不完美4.loRA模型训练 6G显存的显卡是最基本的配置,但训练分辨率只有400*400左右。如果有训练模型的需求,可以去网络云租一张显卡,一天可以训练出一大堆模型。 5.AI绘画全身照的时候脸会崩 我从网上查到的原因是生成的图片分辨率太低,导致脸部的空间太小,AI不会画了。建议生成高分辨率图片,比例最好是4:3或3:2,虽然jvzq<84enwh/ijrgtuqz0lto1o5be}nxkv08<7634
5.LoRA360LoRA360,360的LoRA360是一个360推出的一个低调在线AI绘画网站,是新一代AI生图平台,也是360鸿图的升级版,LoRA可以将现实场景转换为动漫风格的360场景原创。jvzq<84yyy4zlytq0eun1|nvg1796B3jvor
6.LiblibAI·哩布哩布AI官网限时免费的LoRA炼丹炉!更全、更热门的素材,为所有AI绘画者提供更得心应手的平台,持续深耕专业领域。 标签:AI绘画工具4090AIGC热门工具Liblib AILiblibAI专业炼丹炉哩布哩布哩布哩布AI图生图在线sd在线模型训练工具文生图 链接直达手机查看 Liblib AI是什么? jvzquC41yy}/crle0et0urygu1878@:0jvsm
7.深度解析AI绘画中SD1.5SDXLCheckpointLora的含义与原理checkpoint、lora是什么意思 checkpoint和lora的区别 放轻松,我会通过设计师的视角帮大家更好地理解。 同时我给大家准备了一份完整版的AI绘画全套学习资料,已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】 问题1:SDXL、SD1.5这些版本有什么区别,到底有多少版本? jvzquC41dnuh0lxfp0tfv8F35792;;7;81gsvrhng1jfvjnnu1754A9:637
8.AI绘画SD启动器stablediffusion插件安装大模型Lora安装stable diffusionMidjourneyAI绘画向量数据库最佳实践征文活动玩转腾讯混元大模型 视频文本 温馨提示:文本由机器自动转译,部分词句存在误差,以视频为准 00:01 本期要录制的节目呢,是给大家分享一下我们会试启动器的最新版本的一个大概的一个概况,那么当你安装完启动器之后啊,打开你的压缩包啊,解压缩,安装完基本环境,点击启动之后呢,就会jvzquC41enuvf7ygpekov7hqo1jfxnqqrgx0xrigq1=:7==
9.AI绘画:Lora模型训练完整流程!托尼不是塔克关于AI绘画(基于Stable Diffusion Webui),我之前已经写过三篇文章,分别是 软件安装,基本的使用方法,微调模型LoRA的使用。 整体来说还是比简单的,搞个别人的模型,搞个提示词就出图了。今天来一个有些难度的,自己训练一个LoRA微调模型。 ​ 编辑切换为居中 添加图片jvzquC41yy}/ewgnqiy/exr1ycthrp4r13=4:A>820nuou