马赛克克星现身!让我们迎接AI图像修复新神器——CodeFormer

马赛克克星现身!让我们迎接AI图像修复新神器——CodeFormer

马赛克克星现身!让我们迎接AI图像修复新神器——CodeFormer

最近在Github狂刷Star的一款神器吸引了我的注意,这就是 CodeFormer

马赛克克星现身!让我们迎接AI图像修复新神器——CodeFormer

一款 AI 去马赛克和修复图像的强大工具,Star数已突破15.5k,由南洋理工大学和商汤科技联合研发。这款工具不仅能对模糊照片或视频进行细节还原,甚至对大面积马赛克区域也能进行高质量复原,带来不可思议的清晰效果。今天就带大家一起探索这款AI去马赛克神器,看看它如何为图像处理注入“魔法”!

马赛克克星现身!让我们迎接AI图像修复新神器——CodeFormer


#CodeFormer 的核心技术

CodeFormer 将变分自动编码器(VQGAN)与Transformer 技术相结合,专门针对图像模糊和马赛克进行还原修复。它通过高效算法,优化图像细节,确保复原后的视觉效果自然、真实。它支持图片和视频的高清修复,适用场景包括家庭相册、社交媒体照片优化、专业图像修复等。

马赛克克星现身!让我们迎接AI图像修复新神器——CodeFormer

在当今数字时代,照片承载着珍贵的记忆和情感。CodeFormer 就像一位“时光魔法师”,帮助我们复原那些被时间和技术局限模糊了的瞬间。


#使用 CodeFormer 的简易步骤

虽然软件看起来很简单,但是安装环境不是太简单。一般的人,看到就会懵逼起来的!马赛克克星现身!让我们迎接AI图像修复新神器——CodeFormer

马赛克克星现身!让我们迎接AI图像修复新神器——CodeFormer

由于源码对小白不友好,装环境难题直接阻拦大部分用户,为此我打包好了所需的python环境,做了一个图形GUI包,无需你本地安装python环境也可使用,下载链接放在文末

马赛克克星现身!让我们迎接AI图像修复新神器——CodeFormer

用法很简单

下载解压后,点击“启动程序.bat”,
然后你要处理的是图片还是视频,切换到对应选项卡
选择待处理的图片或者视频,以及结果保存位置
点击开始处理,程序开始自动运行
如果运行被360拦截,请关闭360。所有源代码均公开可见,在_internal文件夹里可查看,无需担心程序后门

版本的功能,除了codeformer本身功能之外,还有以下功能:
1. 对deepfacelab切好的aligned强化,直接写入dfl已有信息,无需重新切脸,强化完可以直接用于训练

2. 关闭了codeformer里默认尺寸放大2倍的功能,改为默认1倍尺寸,保持dfl切好的图不会出现尺寸不匹配问题
3. 把强化aligned人脸图和强化整个图分开到2个标签页,分别对应alinged文件夹强化和merge文件夹强化,方便新手小白理解

Demo 效果

为了便于演示,以下是CodeFormer的不同效果:

  1. 人脸修复:模糊人脸焕然一新。
  2. 色彩增强:提升图像色彩细节,使视觉效果更加生动。
  3. 图像修补:在局部损伤的区域进行复原,恢复图像的完整性。
马赛克克星现身!让我们迎接AI图像修复新神器——CodeFormer马赛克克星现身!让我们迎接AI图像修复新神器——CodeFormer

马赛克克星现身!让我们迎接AI图像修复新神器——CodeFormer

马赛克克星现身!让我们迎接AI图像修复新神器——CodeFormer

#CodeFormer 的技术亮点

CodeFormer 可以在极端模糊甚至马赛克的情况下,对低质量图像的整体信息进行全局建模,复原出与原始图像相似的清晰图像。更为重要的是,它集成了可控特征转换模块,允许用户根据需求调节输出的清晰度和保真度。这一模块在适应不同图像质量的退化方面极为强大,使得 CodeFormer 在细节丰富度和真实感方面超越了许多传统工具。

马赛克克星现身!让我们迎接AI图像修复新神器——CodeFormer

此处对比3种针对人脸的清晰化算法:codeFormer,GPEN,GFPGAN  使用老婆新垣结衣的图做测试  先测试正面情况:

PS:有些马赛克是直接嵌入到图片像素中的,这种马赛克很难被清除。

马赛克克星现身!让我们迎接AI图像修复新神器——CodeFormer

正面效果上,codeFormer(以下简称CF)效果最好,清晰又清爽,原人物的身份特征保留完好 GPEN其次,清晰,但会增加一种油腻感,会平白增加一些雀斑一样的东西,原人物的身份特征保留完好 GFPGAN最杂质,人物的身份特征会受影响,都看不出这是新垣结衣了

再测试小侧面情况马赛克克星现身!让我们迎接AI图像修复新神器——CodeFormer

小侧面效果

CF清爽自然,但眼神有变化

GPEN油腻,但眼神有变化

GFPGAN反而效果好一点

马赛克克星现身!让我们迎接AI图像修复新神器——CodeFormer

大侧面效果上,CF和GPEN都不太好,眼神跟鬼一样。GFPGAN更烂  codeFormer算法里有个w参数控制追求细节还是忠于原图,对比如下  这个没有好坏之分,看个人喜好了

马赛克克星现身!让我们迎接AI图像修复新神器——CodeFormer

#CodeFormer 的工作流程:

1.学习高质量图像特征:通过自重构学习存储图像的高质量特征表示。

2.全局信息建模:使用 Transformer 对低质量输入图像的信息进行全局建模。

3.可控特征转换:灵活控制从低质量编码到高质量解码的信息流,以平衡输出的质量与细节。


#安装与操作

目前有几种方式供大家使用。

第一种是直接上 Github[3] 按照 README 文档配置环境,加载模型权重推理,懂的都懂,此处省略。

第二种是通过 Web[4]端直接访问,作者已将该模型打包至抱抱脸平台上,有兴趣的读者可以注册个账号直接在线上使用。

马赛克克星现身!让我们迎接AI图像修复新神器——CodeFormer

第三种是通过 GUI[5]可视化界面直接在本地运行,无惧隐私泄漏,无须安装和配置编译环境,一键运行。具体步骤如何:

  1. 下载压缩包,解压到本地目录。
马赛克克星现身!让我们迎接AI图像修复新神器——CodeFormer
  1. 准备好两个文件夹,一个输入文件夹存放待复原的图片,另一个是输出文件夹存放修复好的图片。
  2. 选择相应的功能,目前支持对人脸(抠好的)、人体(内置了人脸检测和对齐模型)、视频的推理。
马赛克克星现身!让我们迎接AI图像修复新神器——CodeFormer

本项目基于 DeepFaceLab 和 CodeFormer 完成,其中人脸检测模型基于 retinaface和 yolov5,背景增强基于 RealESRGAN_x2plus 模型权重。需要注意的是,全图清晰化针对的是全身进行复原,建议使用完之后对截取过的人脸再使用一遍人脸图清晰化的功能。


#结语

CodeFormer 用强大AI技术为图像和视频带来清晰新生,为专业图像处理、家庭相册修复、社交媒体优化等领域注入新的活力。无论是想追求极致细节,还是恢复珍贵的老照片,CodeFormer 都是你的不二之选!

    下载权限
    查看
    • 免费下载
      评论并刷新后下载
      登录后下载
    • {{attr.name}}:
    您当前的等级为
    登录后免费下载登录 小黑屋反思中,不准下载! 评论后刷新页面下载评论 支付以后下载 请先登录 您今天的下载次数(次)用完了,请明天再来 支付积分以后下载立即支付 支付以后下载立即支付 您当前的用户组不允许下载升级会员
    您已获得下载权限 您可以每天下载资源次,今日剩余
    AIGC资源

    史诗级更新!ComfyUI V1 “改头换面”,晚一秒更新都是浪费!WIN整合包下载~

    2024-10-26 19:54:31

    笔刷

    数字艺术绘画Procreate笔刷套装 (brushset)下载

    2022-8-12 12:48:59

    0 条回复 A文章作者 M管理员
      暂无讨论,说说你的看法吧
    个人中心
    购物车
    优惠劵
    今日签到
    有新私信 私信列表
    搜索