AI绘画在今天,已经发展到了炽手可热的地步,相比于过去,无论是从画面精细度,真实性,风格化,还是对于操作的易用性,都有了很大的提升。并且如今有众多的绘画工具可选择。今天我们主要来聊聊基于stable diffusion的comfyUI!
comfyUI具有可分享,易上手,快速出图,以及配置要求不高的特点,comfyUI以节点链接的工作流方式进行绘图,对于整个出图流程也更容易理解。因此comfyUI比较适合与新手入门
我们对主流AI工具做个简单的对比
项次
Midjourney
Stable Diffusion
DallE
文心一格
Leonardo
是否收费
独享帐号根据不同档位需要每月10-30美元(约人民币70-200+)
开源免费
需要开通ChatGPT4来使用,个人费用为每月20美元(约人民币140)
会员为每月69-339(新账号有免费ty额度)
普通用户每日5张图的免费额度,会员每个月300多张额度,会员每月10-48美元(约人民币70-300)
是否开源
配置要求
浏览器即可访问操作,无需电脑配置
本地或云主机运行,对配置尤其是显卡要求高,GPU最好为独显且8G以上显存
浏览器即可访问操作,无需电脑配置
浏览器即可访问操作,无需电脑配置
浏览器即可访问操作,无需电脑配置
网络要求
需要KX上网
除了下载插件和模型,其余时间可以本地出图,无需网络
需要KX上网
国内网络即可流畅访问
需要KX上网
可控性
自由度较低
自由度较高
自由度较低
自由度较低
自由度较低
出图效果
质量较高,画质优美
质量不如MJ,但也比较优美
质量一般
质量较高,画质优美,与MJ相当
学习成本
学习成本较低,只需学习咒语(提示词)
学习成本较高,对SD的出图流程和质量把控需要有较深理解
学习成本最低,得益于ChatGPT,自然语言解析力最强,只需用自然语言描述画面
学习成本较低,相对于国外工具,中文理解力最高,可以使用中文提示词进行描述
学习成本较低,只需学习咒语(提示词)
还有一些可白嫖的AI绘画站点,大家也可以自行体验一下:
不同的绘画工具有不同的优劣势,大家可自行探索最适合自己的工具。本文着重介绍Stable Diffusion
Stable Diffusion因为其开源特性,有着较高的受欢迎程度,并且基于SD的开源社区及教程、插件等,都是所有工具里最多的。基于SD,有不同的操作界面,可以理解为一个工具的不同客户端。目前主流的操作界面有 WebUI和ComfyUI。
优点:界面友好,插件丰富,新手小白基本也能秒上手
缺点:吃显存,对配置要求较高,出图较慢
优点:性能好,速度快,支持工作流的导入导出分享,对小显存友好(GPU小于3G以下依然可以工作),基于工作流,对出图逻辑理解更清晰
缺点:对新手用户不太友好,有一定学习成本
二者各有优缺点,根据自身情况选择即可。我个人更推荐ComfyUI
对于stable-diffusion-webui,我之前有一篇文章有了比较详细的介绍,本文重点介绍ComfyUI的安装部署及使用。
ComfyUI 的节点流程式使用方式,非常便于对SD的绘制过程的理解,并且工作流可以导入导出以及分享,这样对于流程重现以及第三方分享更友好。整体的使用上限更高
详细的安装过程可参考B站详细教程
【【AI绘画】ComfyUI整合包发布!解压即用 一键启动 工作流版界面 超多节点 ☆更新 ☆汉化 秋叶整合包】
对于程序员朋友来说,对于github的使用已经非常熟悉了,但考虑到不熟悉github的读者,以及国内对于github的网络环境的不稳定,除了github的clone之外,也推荐使用秋叶整合包,**下载地址放在最后自取**。
网盘(文末自取)中包含以下文件
吐槽 :国内网盘都是坑,没有会员就慢慢下吧
不同于傻瓜式的安装步骤,这里需要稍微做一些配置,主要是配置模型路径
修改完成之后,去掉example后缀,保存为yaml文件即可
模型
路径
checkpoint模型(大模型)
models/checkpoints/
lora模型
models/loras/
controlNet模型
models/controlnet/
vae模型
models/vae/
启动“A 绘世启动器。exe”即可。启动后进行主界面,就可以开始ComfyUI的探索之旅了
若是用github自行安装的朋友,还需要下载“插件管理器”,方便后续安装插件(秋叶整合包已经包含了插件管理器),安装步骤如下
分三步:
ComfyUI由于工作流的导入导出的遍历,使得工作流可以互相分享学习,甚至直接使用。目前有很多工作流分享的站点,可以通过导入其他人的工作流进行学习和实践,对自身学习会非常有帮助
使用其他人的工作流时,我们往往会发现他们使用了某些我们并没有的节点,导致出现节点缺失的现象,这种情况下,需要我们安装缺失的节点。以下是几种安装插件的常见方式
1、有KX上网环境推荐直接通过界面中的管理器安装缺失节点即可,若没有KX上网,这个过程会很痛苦
2、使用整合包推荐通过启动器安装:版本管理--安装新插件--搜索插件--点击安装
3、单独下载插件:单独下载插件包解压到:comfyui 安装根目录lcustom nodes目录下(与前文提到的安装插件管理器方法一致),然后重启即可。
在首次使用ComfyUI时,启动后就可以看到它默认提供的一个工作流,其实就是一个非常基础的**文生图**工作流,我们就以这个工作对基础节点做个简单的介绍
K采样器是SD出图流程中的核心节点,所有节点载入,数据输入,参数配置,最后都会汇总到K采样器,它会结合载入的模型,提示词的输入以及Latent输入,进行采样计算,输出得到最终图像
Latent,即潜空间,可以理解为SD内部流程中的图像格式,如果我们将图像作为输入,则需要通过VAE编码将其转换为Latent数据,在最后输出时,我们也需要通过VAE解码将其转换为像素空间,也就是我们最终图像
checkpoint 也就是大模型,这个节点是起始点,需要选择相应的大模型,以及vae输入给采样器,clip则连接正反向提示词
其中VAE可以直接使用大模型的vae去链接,也可以单独使用vae解码节点,来选择自定义的vae
CLIP节点则需要输入提示词,其中CLIP节点需要两个,一个作为正向提示词链接K采样器,一个作为负向提示词链接采样器
使用空latent建立潜空间图像,这里主要用于控制图像尺寸和批次数量的
前面已经提到对于Latent潜空间图像和输出的像素图像之间,需要进行一次转换,VAE解码节点则是对这个过程转换的节点
顾名思义,即保存当前生成的图像,保存的图像除了在当前页面能看到以外,也可以在本地文件夹目录(x:\xxx\ComfyUI根目录\output)下看到所有生成的图片
默认流程整体就这么简单,输入提示词,点击添加提示词队列,即可生成你的第一张ComfyUI图片了
使用过WebUI的小伙伴可能要问了,文生图我懂了,那图生图怎么做呢?其实很简单,加一个图像载入节点作为数据输入就好了。前面提到,像素空间到潜空间需要做一次转换,所以我们就需要“加载图像”和“VAE编码”两个节点。
通过简单地加两个节点,即把工作流改为了最基础的图生图模式,如以下工作流就是一个简单通过动漫大模型把真人转动漫的工作流,其中K采样器的降噪也就是对应WebUI中的重绘幅度,这个值越大生成图像越靠近提示词,越小则越靠近参考图像,我这里用的 0.6,看情况调整即可
在Stable Diffusion中,Lora可谓是灵魂级别的东西,有了Lora,让模型训练的成本陡然下降,任何人都可以训练出一个自己想要的Lora模型。Lora输入SD中的微调模型,它可以通过训练素材实现主体风格的控制,或画面特征的控制,通过训练Lora,我们可以得到画风Lora,人物Lora,物体Lora等。
lora 是对大模型的后续微调,所以我们在ComfyUI中添加lora只需要在大模型后面新加Lora节点即可
我们可以直接通过右键checkpoint加载节点即可添加lora节点
当然 lora 不仅仅控制风格,可以把人物、衣服等进行炼制,控制出图的人物形象,控制出图人物的穿着都是可以的,这里推荐大家去C站寻宝吧,总有一款你喜欢的,如果没有也可以自己炼制哦。
我们以上面的图生图工作流为例,对整体工作流添加lora节点添加宫崎骏画风lora,于是我们就得到了真人转宫崎骏动漫画风的图片
SD相比于其他AI绘图工具的强大之处就在于它的控图能力,SD的控图依赖于它的ControNet模型(模型下载参考前文介绍),这是对于使用SD控图不得不得掌握的技能,结合大模型,Lora模型,和ControlNet,三者结合能更好的创造出你所想的画面
ControINet 有独立的控制图像,通过对图像的预处理,再结合提示词进行生成图像
不同的预处理可以对生成的图像进行不同的控制,一般有风格约束、线条约束、姿态约束、景深控制等,不管是WebUI还是ComfyUI,都有强大ControlNet,这里不详细介绍ControlNet,主要讲下如何在ComfyUI中使用ControlNet,后续可能专门写一篇ControlNet的详细介绍
因此,在使用ControlNet时,需要添加几个关键节点:**预处理器**、**ControlNet应用**、**ControlNet加载器**、**加载图像**、**预览图像**、VAE解码
预处理器的作用是选择需要对图像进行的控制方向,这里我们里线条控制为例,让预处理器导出一份预览图像,这样我们能直观的看到预处理的结果
ControlNet应用则用于把正想提示词、预处理器、以及加载器进行统一应用的节点,相当于中间连接器
以下则是一个通过文生图+ControlNet线条控制进行真人转动漫的工作流
没错,真人转动漫可以直接图生图,也可以通过文生图+ControlNet进行控图转换,使用ControlNet转换的好处在于可以对图片细节进行更加精细的控制,比如我使用线条处理,那么最后出图效果会更加基于原图的线条来生成
大家可以在我前面提到的站点下载别人分享的工作流来学习实践,我这里也存了一些常用的工作流
提取码:0wfs
如何在LooPIN上一键部署Stable Diffusion的Comfy UI,以及初步体验使用粘土风格滤镜。Comfy UI采用节点化操作,可控性更高,更容易复现和微调出图结果,熟练之后还可以定制个性化工作流。
Stable Diffusion 是 AI 生成图像世界的明星,它就像一支数字画笔,可以将像素转化为艺术。通过这篇文章,无论您的技术技能水平如何,你都可以在自己的本地电脑上安装 Stable Diffusion。
【选题思路】随着深度学习和计算机视觉的进步,AI绘画逐渐成为了可能。通过大量的数据训练和复杂的算法模型,AI可以学习艺术家的绘画风格,并生成以假乱真的艺术作品。这种技术的突破,使得AI能够模仿各种绘画风格,从古典到现代,从印象派到抽象艺术,尽显无限创造力。本期我们以AI绘画开源作品Stablediffusion为例进行讲解,简称SD,但是SD目前最大的还是显存占用,特别是个别视频插
不到 10 分钟,轻松搭建 Stable Diffusion 环境,非常适合对于 Stable Diffusion 的安装部署感到困难、或因为电脑配置的原因无
在使用Stable Diffusion的ComfyUI进行图像生成和处理时,了解如何配置和优化系统是至关重要的。这篇教程将为您提供一个详细的指南,涵盖环境准备、分步指南、配置详解、验证测试、优化技巧和排错指南,以帮助您顺利完成Stable Diffusion与ComfyUI的使用。## 环境准备在开始之前,请确保您的硬件和软件环境符合要求。以下是您需要准备的软硬件资源。### 软硬件要
AI绘画
Stable Diffusion Web UI 是一个基于 Stable Diffusion 的基础应用,利用 gradio 模块搭建出交互程序,可以在低代码 GUI 中立即
终于实现 Stable Diffusion 自由了!Mac 本地部署 Stable Diffusion,坑之多,但都已帮大家填平了!想在 Mac 上部署 Stable Diffusi
Stable Diffusion ComfyUI 是一种强大的图像生成工具,用户可以利用其强大的深度学习模型生成高质量的图像。在这一博文中,我将详细记录如何解决与“Stable Diffusion ComfyUI”相关的问题,包括备份策略、恢复流程、灾难场景、工具链集成、日志分析和监控告警等方面的内容。## 备份策略为了确保不丢失任何重要数据,我们需要制定一个高效的备份策略。首先,我为整个
直播瞎叭叭BDICON DDICONIDEA vue eclipse /m
本地Stable Diffusion AI 绘画 (三)
本文讲解,模型底模,VAE美化模型,Lora模型,hypernetwork。文本Stable Diffusion 简称sd。
本地Stable Diffusion AI 绘画 (四)
正向提示词: 1girl, brown hair, multicolored hair, green eyes, maid, maid headdress, maid apron, cherry blossoms, sunbeam, wallpaper, 一个女孩,棕色头发,五彩头发,绿色眼睛,女仆
随着AI生成图像技术的发展,`Stable Diffusion`以及其用户界面`ComfyUI`的结合吸引了越来越多的开发者和艺术家。作为一名技术爱好者,我也面临着这两个工具整合使用的问题。在本文中,我将分享我对“Stable Diffusion和ComfyUI”问题的解决过程,包括版本对比、迁移指南、兼容性处理、实战案例、排错指南和性能优化等方面的经验。### 版本对比首先,让我们看看这
2022 年 8 月,在美国科罗拉多州举办了一场新兴数字艺术家竞赛,一幅名为《太空歌剧院》的作品获得“数字艺术/数字修饰照片
为什么要使用comfyui的api?对比webui的api,它有什么好处?stable diffusion 如何实现队列
我们使用完服务器后,需要清理很多之前测试过程中用到的东西。比如数据库卸载,还有自己上传的安装包什么的。那么如何对Ubuntu系统进行深度清洗,不会误删系统的文件。
本文介绍了Linux环境下MySQL数据库的安装配置及基础使用方法。主要内容包括:1) MySQL的核心功能和应用场景,如数据存储、SQL支持、事务处理等;2) 详细安装步骤,包括更新软件包、安装MySQL Server和安全配置;3) 数据库基本操作测试,涵盖数据库创建、表操作、数据增删改查;4) MySQL服务管理方法;5) 建议创建专用管理用户的安全实践。文章旨在帮助开发者快速掌握MySQL在Linux服务器上的部署和使用技巧,避免重复工作。
当你(主设备)要发送文件(数据)时,首先根据朋友家的门牌号(片选信号)找到对应的房子(从设备),然后按照节拍器的节奏(时钟信号),将文件的内容(数据)通过传送带(MOSI)一位一位地传送给你的朋友(从设备)。数据输入线(MOSI)和数据输出线(MISO)就像是两个单向的传送带,MOSI 负责将你(主设备)要发送的文件(数据)传送给你的朋友(从设备),而 MISO 则负责将你的朋友(从设备)回复的文件(数据)传送给你(主设备)。想象一下,你要给远方的朋友发送一份重要的文件,你就是主设备,你的朋友就是从设备。
瑞得RTK是南方测绘旗下的RTK品牌之一,不过相比于南方旗下其他品牌的RTK,瑞得RTK在操作使用方面以及普及度方面相对来说没有那么高,因此很多人对于瑞得RTK连接千寻cors账号的操作比较陌生,所以今天cors账号网就以瑞得R90T RTK为例给大家演示一下连接千寻cors账号的操作步骤。瑞得R90T RTK是一款具备完美内芯的特色GPS RTK产品,内置BD970主板,支持全星座信号,采用先进