文章分类

热门文章

iMyShare,公众号:神秘的热心网友 关注微信公众号

定期分享神兵利器,优质资源,精品学习资料,实用互联网小技巧!

保姆级Lora炼丹教程,一站式整合包,实现真人模特定制

MeetUp
2023-07-05
1238
0

前往网站首页查看更多精彩内容👉https://imyshare.com/


SD在“应用”层面,最重要的两个功能:Lora和ControlNet

 

Lora负责把自己生活中有关联的人或物炼制成模型​

ControlNet负责更好地“控制”这个“模型”

 

两者结合,你就能真正把SD用起来,无论是定制自己的真人模特,还是给某个商业产品做成模型,都可以实现

 

云旅游:通过用自己的Lora可以做出各种各样的照片​

可以看到自己穿上各种好看的衣服,出现在世界各地的著名景点

AI模特:炼出一个自己的模特,让这个模特穿上自己的商品

炼衣服Lora:添加一个衣服的Lora,就可以让人物穿上特定的衣服

改变画风:通过添加Lora改变照片的画风,这个画风可以自己去训练

 

Lora可以复刻人物和物品的特征,固定人物动作,改变照片画风​

而且Lora只需要少量的数据就可以训练出来,比训练大模型要简单很多

 

炼制Lora的方式有很多种​,有用脚本训练的,也有在网站界面上训练的,网上也有训练Lora的整合包​

它们的训练逻辑都是一样的​,所以我们选择整合包就可以了

 

整合包就是把炼丹所需要的所有工具都整合到一个软件里

 

在炼Lora之前,需要先确认一下自己的电脑配置:​

1.需要N卡,并且6G显存以上​

2.A卡和Mac系统,或者电脑配置不太行的小伙伴建议用云平台

 

如果电脑配置可以的,还是建议在本地下载整合包(云平台会有一点点卡)

 

在我分享的网盘链接里面可以下载整合包(链接在文章末尾)​

下载好了之后把它解压到非C盘,不要放在C盘!!

 


打开解压之后的文件夹,在“cfurnace_ui”文件夹里面找到“赛博丹炉”的应用程序​双击打开

 

看到这个页面就安装好了,点击“开启炼丹炉”就可以开始炼Lora

 

跟画图一样,炼Lora之前也要先选一个大模型,确定Lora的画风​

点击可以直接打开文件夹,找到SD的文件夹调用里面的模型​

真人模型选用“chilloutmix”的大模型​

如果是炼二次元模型就可以选“anything”

如果你的Stable Diffusion里面没有模型,那就要先去下载模型(网盘里已打包好)

 

第二个框就是输入这个Lora的名字​

右边的“样张预览”可以打开,这样后续在训练Lora的过程中就可以实时看到照片

 

再往下就可以选择一个我们要训练的Lora的类型​

选择之后就会帮我们选择默认的参数​

训练真人Lora就选“人物”​

训练二次元就选“二次元”​

如果想炼绘画的风格可以选画风​

除此之外还可以自定义去炼平面设计图或者建筑之类的

 

设置好参数之后,我们就可以上传照片素材了​,这些素材就是我们要喂给AI学习的素材

素材的质量非常重要!!​它直接影响最后出来的Lora的质量

 

素材需要满足几个点:​

1.上传20~30张照片​

2.素材要高清!!!​

3.多角度照片

 

 

一般情况下,下面的参数默认就可以了​

不要选择太高的分辨率,容易爆显存​

另外,如果训练真人Lora,可以勾选最右边的“脸部加强训练”​

勾选了之后就会再多裁剪出来一组只有脸的照片,这样AI能学到更多的脸部细节​

接着点击“预处理”

 

处理完之后训练集里面就会有两组素材​

一组是原素材,还有一组就是裁剪的只有脸的素材

 

如果人脸素材里面会有些识别不准确的照片​

我们点击照片右下角的图标把照片删掉

 

再看到“TAG编辑”​

这里面就是形容照片的一些标签​

右边是所有照片的标签​

单独点击某一张照片就可以看到这张照片的标签

 

这里我们需要把照片大概检查一下​,手动删掉或者增加标签​,标签和照片对不上,AI就会学错了

 

对于标签还有一个一定要知道的点!​

如果你想保留人物的某个特征,那就要把对应的标签删掉,这样AI就会默认这个人就是有这个特征​

如果你想灵活调整某个特征,那就要把这个特征打上标签

 

举个例子:​

假如现在要训练这个动漫人物的Lora​,粉色头发和绿色眼睛就是这个人物的特征

如果你后续在SD里做这个动漫人物的照片希望可以保留她的特征​

那我们就要把粉色头发和绿色眼睛的标签删掉​

这样不管我们输入的关键词是白头发或者黑头发,出来的都会是粉色头发​

最后,所有标签处理好了就可以点击右下角的开始训练

 

进度里的“Steps”就是训练步数​

每训练50步右下角就会出现一张图片​

那样就可以实时看到Lora的样子​

这个白头发和红裙子是后台加上去的关键词​

可以测试Lora的泛化性​

泛化性就是看这个Lora能不能自由的去更换照片里的东西,比如发型、发色、服装之类的​

 

Loss可以用来参考模型的好坏​

一个好的模型Loss值在0.07~0.09之间​

具体好不好还是要在Stable Diffusion实际测试才知道​

 

等训练完了之后,点击“模型”​

就可以看到生成出来模型​

按照默认参数训练会出来10个模型,但不是说最后一个模型就是最好的​

有可能炼到第六第七个模型就已经够了,再往后的模型就已经训练过度了​

所以这些模型还要实际在SD测试一下,才知道哪个是最好的​

模型生成出来之后就可以到Stable Diffusion(简称SD)里面生成图片​

在SD里面可以生成一张大图,可以直接看到所有模型在不同权重下出来的效果​

比较一下哪个模型更好,就只保留那个模型就可以了

 

首先把新生成的10个模型复制到SD的models文件夹,放到Lora文件夹里面​

可以在Lora文件夹里新建一个文件夹来存放​

 

然后把没有序号编码的那个Lora重命名(就比如上图第一个是没有编码的,写编码是为了方便)

 

保存好模型之后就可以打开SD进行测试了​,首先先选一个大模型​,你用哪一个大模型来训练lora就选哪个大模型

 

然后输入正面关键词和负面关键词​

正面关键词可以输入一些质量词,比如最高质量、高清画质、大师杰作等等​

负面关键词直接复制我们以前用过的就可以

 

接下来就是选用我们刚刚炼好的Lora​,随便选一个都可以

 

选了Lora之后,我们就会在关键词的文本框里看到这串Lora的编号

 

然后把“000006”那段数值改成“NUM”​

把最后的数字“1”改成“STRENGTH”,也就是权重的意思

 

 

迭代步数,采样方法这些参数大家可以按照自己的习惯去修改

 

然后滑到最下面找到“脚本”​,在脚本里面选择 “X/Y/Z图表”​

X轴、Y轴类型都选择 “提示词搜索/替换”​

X轴的值输入:NUM,000001,000002,000003,000004,000005,000006,000007,000008,000009,000010​

这里的序号对应的就是我们10个Lora的编号​

Y轴值输入:STRENGTH,0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9,1​

这里的序号代表的是Lora的权重​

 

全部参数设置好了之后就可以点击“生成”​

生成出来就是这么一张大图,可以看到10个Lora在不同强度下的表现​

在这些图里面找到一张跟本人最像,效果最好的图​

就可以知道哪个Lora在多少强度的时候效果是最好的​

 

接下来我们就可以测试一下这个Lora的泛化性​

在关键词里面输入一些照片里没有的东西​

比如原来图片是黑色头发,那就在关键词里面输入一个白色头发​

原来图片是粉色衣服,那就可以让它变成黑色衣服​

 

点击“生成”,看一下出来的照片​,如果头发一半白一半黑,衣服变成黑色​,那么这个Lora基本就已经合格了

 

如何优化Lora​

实际上,炼丹是一件比较玄学的事​,有的人可能一次性就能炼出自己满意的Lora​,但有的人可能要炼好几次才出来一个好的Lora​

这时候我们可以通过调整训练的参数再重新炼一个​,前提是 确保我们喂给AI的素材是高质量的!​不然不管怎么修改参数,出来的Lora都是不合格的

 

这里就把炼Lora会遇到的问题分成两种情况​

1.Lora出来的照片不像本人:AI没学好​

2.Lora过拟合,甚至出来的照片崩了:AI学过头了​

过拟合就是不管输入什么关键词,出来的照片都是你喂给AI的照片​

没办法自由控制人物的服装、发型、发色等​

 

点击“参数调优”我们就可以自行设置参数

 

如果生成的照片不像本人,那就可以适当增加Repeat(学习步数)值​

如果照片过拟合了,那就减少Repeat值​

其他参数都可以不用调,因为默认的参数就差不多是最优值了​

 

整合包、模型下载链接: https://pan.baidu.com/s/1fFMrZmfAMMWoo_BLxcwVVQ?pwd=fy6b


前往网站首页查看更多精彩内容👉https://imyshare.com/

									
交流评论
按Ctrl + D添加至书签,从此不迷路!
关注公众号
iMyShare,公众号:神秘的热心网友
有些东西我只想与你们聊聊,赶紧微信扫码上车!
个人微信:niceso-friend(有微信群)
合作邮箱:niceso@163.com