马赛克克星现身！让我们迎接AI图像修复新神器——CodeFormer
最近在Github狂刷Star的一款神器吸引了我的注意，这就是 CodeFormer
一款 AI 去马赛克和修复图像的强大工具，Star数已突破15.5k，由南洋理工大学和商汤科技联合研发。这款工具不仅能对模糊照片或视频进行细节还原，甚至对大面积马赛克区域也能进行高质量复原，带来不可思议的清晰效果。今天就带大家一起探索这款AI去马赛克神器，看看它如何为图像处理注入“魔法”！
#CodeFormer 的核心技术
CodeFormer 将变分自动编码器（VQGAN）与Transformer 技术相结合，专门针对图像模糊和马赛克进行还原修复。它通过高效算法，优化图像细节，确保复原后的视觉效果自然、真实。它支持图片和视频的高清修复，适用场景包括家庭相册、社交媒体照片优化、专业图像修复等。
在当今数字时代，照片承载着珍贵的记忆和情感。CodeFormer 就像一位“时光魔法师”，帮助我们复原那些被时间和技术局限模糊了的瞬间。
#使用 CodeFormer 的简易步骤
由于源码对小白不友好，装环境难题直接阻拦大部分用户，为此我打包好了所需的python环境，做了一个图形GUI包，无需你本地安装python环境也可使用，下载链接放在文末
用法很简单 下载解压后，点击“启动程序.bat”，
然后你要处理的是图片还是视频，切换到对应选项卡
选择待处理的图片或者视频，以及结果保存位置
点击开始处理，程序开始自动运行
如果运行被360拦截，请关闭360。所有源代码均公开可见，在_internal文件夹里可查看，无需担心程序后门 版本的功能，除了codeformer本身功能之外，还有以下功能：
1. 对deepfacelab切好的aligned强化，直接写入dfl已有信息，无需重新切脸，强化完可以直接用于训练 2. 关闭了codeformer里默认尺寸放大2倍的功能，改为默认1倍尺寸，保持dfl切好的图不会出现尺寸不匹配问题
3. 把强化aligned人脸图和强化整个图分开到2个标签页，分别对应alinged文件夹强化和merge文件夹强化，方便新手小白理解Demo 效果
为了便于演示，以下是CodeFormer的不同效果：- 人脸修复：模糊人脸焕然一新。
- 色彩增强：提升图像色彩细节，使视觉效果更加生动。
- 图像修补：在局部损伤的区域进行复原，恢复图像的完整性。
#CodeFormer 的技术亮点
CodeFormer 可以在极端模糊甚至马赛克的情况下，对低质量图像的整体信息进行全局建模，复原出与原始图像相似的清晰图像。更为重要的是，它集成了可控特征转换模块，允许用户根据需求调节输出的清晰度和保真度。这一模块在适应不同图像质量的退化方面极为强大，使得 CodeFormer 在细节丰富度和真实感方面超越了许多传统工具。
小侧面效果 CF清爽自然，但眼神有变化 GPEN油腻，但眼神有变化 GFPGAN反而效果好一点 
大侧面效果上，CF和GPEN都不太好，眼神跟鬼一样。GFPGAN更烂 codeFormer算法里有个w参数控制追求细节还是忠于原图，对比如下 这个没有好坏之分，看个人喜好了 
#CodeFormer 的工作流程：
1.学习高质量图像特征：通过自重构学习存储图像的高质量特征表示。 2.全局信息建模：使用 Transformer 对低质量输入图像的信息进行全局建模。 3.可控特征转换：灵活控制从低质量编码到高质量解码的信息流，以平衡输出的质量与细节。#安装与操作
目前有几种方式供大家使用。
第一种是直接上 Github[3] 按照 README 文档配置环境，加载模型权重推理，懂的都懂，此处省略。
第二种是通过 Web[4]端直接访问，作者已将该模型打包至抱抱脸平台上，有兴趣的读者可以注册个账号直接在线上使用。
第三种是通过 GUI[5]可视化界面直接在本地运行，无惧隐私泄漏，无须安装和配置编译环境，一键运行。具体步骤如何：
下载压缩包，解压到本地目录。
准备好两个文件夹，一个输入文件夹存放待复原的图片，另一个是输出文件夹存放修复好的图片。 选择相应的功能，目前支持对人脸(抠好的)、人体(内置了人脸检测和对齐模型)、视频的推理。
本项目基于 DeepFaceLab 和 CodeFormer 完成，其中人脸检测模型基于 retinaface和 yolov5，背景增强基于 RealESRGAN_x2plus 模型权重。需要注意的是，全图清晰化针对的是全身进行复原，建议使用完之后对截取过的人脸再使用一遍人脸图清晰化的功能。
