什么是 Lama Cleaner ?
Lama Cleaner
是由SOTA AI
模型提供支持的图像修复工具。可以从图片中移除任何不需要的物体、缺陷和人,或者擦除并替换(powered by stable diffusion
)图片上的任何东西。
Lama Cleaner
分为 GPU
版本和 CPU
版本,这两个版本的体积相差巨大,老苏猜测CPU
版本应该是个精简版,没有内置 stable diffusion
,因此是不支持替换功能的,能否修复旧照片,
关于安装方式,官方也提供了多种方式,我这边实验的话,是用的pip方式,非常简单,安装好python环境,直接pip装包,执行启动命令后,直接在网页端打开就好,真实即开即用。
如果觉得部署麻烦,还可以在文章末尾下载软件版使用
也是用的luma这个模型
pip安装是最简单的( 支持python 3.7 ~ 3.10)
pip install lama-cleaner
安装完成后,运行以下命令启动lama cleaner, 首次运行时会自动下载所需模型。
lama-cleaner --model=lama --device=cuda --port=8080
然后直接在浏览器访问:
http://localhost:8080
如果,我是说如果,你没有启动成功,或者报一些奇怪的问题,可以后台踢我,建议尽量自行百度解决。
更多其它使用方法可以去参考官方:https://lama-cleaner-docs.vercel.app/
安装
首先肯定是下载(下载地址在文章末尾),下载完成后,记得解压缩,然后在解压后的目录中找到 win_config.bat
,双击运行:
会弹出cmd窗口自动下载安装所需的环境,整个下载过程根据网络情况不同,可能有快有慢(有魔法最好开启魔法),不要着急,安静等待,如果安装过程因网络问题出现错误导致失败也没有关系,重新运行 win_config.bat
即可,如下:
直到出现下面的界面:
此时会自动从浏览器打开配置页面,网址为 http://127.0.0.1:7860/
,如下:
参照上图进行设置,然后点击网页顶部的 Save configurations
保存。
使用
前面准备工作已完成,现在开始使用,切换到 lama-cleaner
文件夹,双击运行win_start.bat
弹出cmd窗口,首次运行时会自动开始下载 lama 模型文件,如下:
下载完成后,会自动打开 lama-cleaner
的 GUI 窗口,如下:
这时候就可以使用了,去水印操作也非常简单,可以点击中间区域导入需要处理的图片,也可以直接将图片拖进来,图片导入后,根据水印大小结合下方的 Brush
滑块调节复笔触大小,然后使用鼠标直接在图片中的水印位置涂抹即可,下面为动图演示。
可以看到,效果杠杠的,速度也很快,可以说是立竿见影,当然,如果你没有独立显卡,使用CPU的话可能会慢一些。
二、AI模型
A. LaMa
LaMa是具有傅里叶卷积的分辨率稳健型大型掩模修复模型,由三星研究院官方实现。
B. LDM
-
👍 可能获得比 LaMa 更好、更有细节的结果 -
👍 通过调整步数(step)来获得处理时间和图片质量的平衡 -
😐 处理速度比LaMa模型慢的多 (3080 12it/s) -
😐 需要更多的GPU内存 (512x512 5.8G)
LDM模型处理后:
C. ZITS
· 👍更好的整体结构
· 😐 线框模块在 CPU 上非常慢
ZITS模型处理后:
D.MAT: Mask-Aware Transformer for Large Hole Image Inpainting(用于大孔图像修复的掩模感知转换器)
A.Stable Diffusion: 根据文字描述替换图片中的物体。
B.Paint by Example: 使用示例图像指导模型在图像上生成类似的内容。
A.InstructPix2Pix: 使用文本说明编辑图片。
三、其它事项


原始图片:
处理后图片:
前后图片对比: