前往网站首页查看更多精彩内容👉https://imyshare.com/
SD在“应用”层面，最重要的两个功能：Lora和ControlNet
Lora负责把自己生活中有关联的人或物炼制成模型
ControlNet负责更好地“控制”这个“模型”
两者结合，你就能真正把SD用起来，无论是定制自己的真人模特，还是给某个商业产品做成模型，都可以实现
云旅游：通过用自己的Lora可以做出各种各样的照片
可以看到自己穿上各种好看的衣服，出现在世界各地的著名景点
AI模特：炼出一个自己的模特，让这个模特穿上自己的商品
炼衣服Lora：添加一个衣服的Lora，就可以让人物穿上特定的衣服
改变画风：通过添加Lora改变照片的画风，这个画风可以自己去训练
Lora可以复刻人物和物品的特征，固定人物动作，改变照片画风
而且Lora只需要少量的数据就可以训练出来，比训练大模型要简单很多
炼制Lora的方式有很多种，有用脚本训练的，也有在网站界面上训练的，网上也有训练Lora的整合包
它们的训练逻辑都是一样的，所以我们选择整合包就可以了
整合包就是把炼丹所需要的所有工具都整合到一个软件里
在炼Lora之前，需要先确认一下自己的电脑配置：
1.需要N卡，并且6G显存以上
2.A卡和Mac系统，或者电脑配置不太行的小伙伴建议用云平台
如果电脑配置可以的，还是建议在本地下载整合包（云平台会有一点点卡）
在我分享的网盘链接里面可以下载整合包（链接在文章末尾）
下载好了之后把它解压到非C盘，不要放在C盘！！
打开解压之后的文件夹，在“cfurnace_ui”文件夹里面找到“赛博丹炉”的应用程序双击打开
看到这个页面就安装好了，点击“开启炼丹炉”就可以开始炼Lora
跟画图一样，炼Lora之前也要先选一个大模型，确定Lora的画风
点击可以直接打开文件夹，找到SD的文件夹调用里面的模型
真人模型选用“chilloutmix”的大模型
如果是炼二次元模型就可以选“anything”
如果你的Stable Diffusion里面没有模型，那就要先去下载模型（网盘里已打包好）
第二个框就是输入这个Lora的名字
右边的“样张预览”可以打开，这样后续在训练Lora的过程中就可以实时看到照片
再往下就可以选择一个我们要训练的Lora的类型
选择之后就会帮我们选择默认的参数
训练真人Lora就选“人物”
训练二次元就选“二次元”
如果想炼绘画的风格可以选画风
除此之外还可以自定义去炼平面设计图或者建筑之类的
设置好参数之后，我们就可以上传照片素材了，这些素材就是我们要喂给AI学习的素材
素材的质量非常重要！！它直接影响最后出来的Lora的质量
素材需要满足几个点：
1.上传20~30张照片
2.素材要高清！！！
3.多角度照片
一般情况下，下面的参数默认就可以了
不要选择太高的分辨率，容易爆显存
另外，如果训练真人Lora，可以勾选最右边的“脸部加强训练”
勾选了之后就会再多裁剪出来一组只有脸的照片，这样AI能学到更多的脸部细节
接着点击“预处理”
处理完之后训练集里面就会有两组素材
一组是原素材，还有一组就是裁剪的只有脸的素材
如果人脸素材里面会有些识别不准确的照片
我们点击照片右下角的图标把照片删掉
再看到“TAG编辑”
这里面就是形容照片的一些标签
右边是所有照片的标签
单独点击某一张照片就可以看到这张照片的标签
这里我们需要把照片大概检查一下，手动删掉或者增加标签，标签和照片对不上，AI就会学错了
对于标签还有一个一定要知道的点！
如果你想保留人物的某个特征，那就要把对应的标签删掉，这样AI就会默认这个人就是有这个特征
如果你想灵活调整某个特征，那就要把这个特征打上标签
举个例子：
假如现在要训练这个动漫人物的Lora，粉色头发和绿色眼睛就是这个人物的特征
如果你后续在SD里做这个动漫人物的照片希望可以保留她的特征
那我们就要把粉色头发和绿色眼睛的标签删掉
这样不管我们输入的关键词是白头发或者黑头发，出来的都会是粉色头发
最后，所有标签处理好了就可以点击右下角的开始训练
进度里的“Steps”就是训练步数
每训练50步右下角就会出现一张图片
那样就可以实时看到Lora的样子
这个白头发和红裙子是后台加上去的关键词
可以测试Lora的泛化性
泛化性就是看这个Lora能不能自由的去更换照片里的东西，比如发型、发色、服装之类的
Loss可以用来参考模型的好坏
一个好的模型Loss值在0.07~0.09之间
具体好不好还是要在Stable Diffusion实际测试才知道
等训练完了之后，点击“模型”
就可以看到生成出来模型
按照默认参数训练会出来10个模型，但不是说最后一个模型就是最好的
有可能炼到第六第七个模型就已经够了，再往后的模型就已经训练过度了
所以这些模型还要实际在SD测试一下，才知道哪个是最好的
模型生成出来之后就可以到Stable Diffusion（简称SD）里面生成图片
在SD里面可以生成一张大图，可以直接看到所有模型在不同权重下出来的效果
比较一下哪个模型更好，就只保留那个模型就可以了
首先把新生成的10个模型复制到SD的models文件夹，放到Lora文件夹里面
可以在Lora文件夹里新建一个文件夹来存放
然后把没有序号编码的那个Lora重命名（就比如上图第一个是没有编码的，写编码是为了方便）
保存好模型之后就可以打开SD进行测试了，首先先选一个大模型，你用哪一个大模型来训练lora就选哪个大模型
然后输入正面关键词和负面关键词
正面关键词可以输入一些质量词，比如最高质量、高清画质、大师杰作等等
负面关键词直接复制我们以前用过的就可以
接下来就是选用我们刚刚炼好的Lora，随便选一个都可以
选了Lora之后，我们就会在关键词的文本框里看到这串Lora的编号
然后把“000006”那段数值改成“NUM”
把最后的数字“1”改成“STRENGTH”，也就是权重的意思
迭代步数，采样方法这些参数大家可以按照自己的习惯去修改
然后滑到最下面找到“脚本”，在脚本里面选择 “X/Y/Z图表”
X轴、Y轴类型都选择 “提示词搜索/替换”
X轴的值输入：NUM,000001,000002,000003,000004,000005,000006,000007,000008,000009,000010
这里的序号对应的就是我们10个Lora的编号
Y轴值输入：STRENGTH,0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9,1
这里的序号代表的是Lora的权重
全部参数设置好了之后就可以点击“生成”
生成出来就是这么一张大图，可以看到10个Lora在不同强度下的表现
在这些图里面找到一张跟本人最像，效果最好的图
就可以知道哪个Lora在多少强度的时候效果是最好的
接下来我们就可以测试一下这个Lora的泛化性
在关键词里面输入一些照片里没有的东西
比如原来图片是黑色头发，那就在关键词里面输入一个白色头发
原来图片是粉色衣服，那就可以让它变成黑色衣服
点击“生成”，看一下出来的照片，如果头发一半白一半黑，衣服变成黑色，那么这个Lora基本就已经合格了
如何优化Lora
实际上，炼丹是一件比较玄学的事，有的人可能一次性就能炼出自己满意的Lora，但有的人可能要炼好几次才出来一个好的Lora
这时候我们可以通过调整训练的参数再重新炼一个，前提是 确保我们喂给AI的素材是高质量的！不然不管怎么修改参数，出来的Lora都是不合格的
这里就把炼Lora会遇到的问题分成两种情况
1.Lora出来的照片不像本人：AI没学好
2.Lora过拟合，甚至出来的照片崩了：AI学过头了
过拟合就是不管输入什么关键词，出来的照片都是你喂给AI的照片
没办法自由控制人物的服装、发型、发色等
点击“参数调优”我们就可以自行设置参数
如果生成的照片不像本人，那就可以适当增加Repeat（学习步数）值
如果照片过拟合了，那就减少Repeat值
其他参数都可以不用调，因为默认的参数就差不多是最优值了
整合包、模型下载链接: https://pan.baidu.com/s/1fFMrZmfAMMWoo_BLxcwVVQ?pwd=fy6b
前往网站首页查看更多精彩内容👉https://imyshare.com/