宅男的福音！AI黑科技，视频去马赛克修复神器JAVPlayer+TecoGAN+TG-PLUS+VEAI+TG-Z415模型

马赛克是常见且广泛应用的图像 / 视频处理方式，它能将图像 / 视频中某些特定区域的色阶细节劣化，并将区域内色块打乱。这样看起来打码的地方就像是一个个小方格组成的，人们给这种画面取了一个形象的名字：“马赛克”。

试想，马赛克被再次去除之后，会发生什么？

AV 制作公司相关人员表示，“女优们很可怜的，有很多人是因为有马赛克才愿意出演 AV，如果她们知道自己的利益受到了损害应该会很受打击吧。即使跟她们解释说，这些是伪造的，她们愿意去相信多少呢。

JAVPlayer 软件的一些基础操作，大家可以先评论下载免费版体验，只能录制1分钟~

原理简述

首先，JAVPlayer还原的图像并非部分朋友说的，是假的，是AI生成的，而是通过一系列复杂AI运算，把马赛克模糊化再锐化，然后插值补偿损失得到的还原效果（类似于部分手机上的高帧率FPSFPSFPSFPSFPSFPSFPSFPSFPSFPSFPSFPSFPSFPSFPS慢动作效果，比如物理拍摄每秒240帧的画面，通过插帧算法，强制提升至每秒240帧以上）

JAVPlayer软件本身并并不包含AI插值补偿运算的功能，它先寻找马赛克位置，然后提取视频的每帧图像，再调用 TecoGAN 来进行AI运算，然后再返回JAVPlayer进行视频、音频合成，大概原理图如下：

这里还需要提一点，以下效果均无法实现！因为：

1.无法还原太多细节（大多数情况下，马赛克都是不可逆的，无法完美还原之前的细节）

2.无法还原模糊

界面说明

初始界面
 工作界面

工作流程

以上流程图对应JAVPlayer的三种处理方式，也就是本文的基础、进阶、高级使用方法

基础使用：JAVPlayer直接内录
进阶使用：JAVPlayer+TecoGAN（SR）
高级使用：JAVPlayer+TecoGAN（SR）+REG\VEAI\SRMD\TecoGAN（SRA)

需要注意的是：

三种方式均需要根据实际的片源来决定用什么方式或者模型，我个人最常用的是JAVPlayer+TecoGAN（SR）+VEAI（SRA）

基础使用

该方式实现最基本的马赛克去除\破坏功能，直接内录（即不调用 TecoGAN )
此方法对于年代稍微久远一些的视频效果还是有的，对于年代新一点的视频效果一般般（和马赛克厚度有关，具体效果需实测）
点击Record开始录制，点击End停止录制（录制好的视频默认保存在JAVPlayer\Movie下）

简单介绍一下三种处理模式

Fast：快速录制模式（录制速度快，但对电脑性能要求高）
Slow：慢速录制模式（相当于正常模式，如果原视频为h264编码，速度也还可以）
Safe：安全录制模式（如果选用Fast或Slow经常出错，可改用安全模式）

录制编码的设置

进入高级设置面板，在 Common 标签下会找到录制编码相关的设置


第一个为 录制编码：H264（默认）、H264_alt（备用）、HEVC(H265)
一般情况下，选择H264即可，出现问题选择H264_alt，HEVC可以适当缩减录制的视频文件大小，但占用系统资源
第二个为 录制码率：码率越高，文件越大，质量越好，推荐 3~5 都是可以的

进阶使用

JAVPlayer将捕捉视频每帧画面中的马赛克信息，再利用 TecoGAN 配合N卡的显卡加速，实现效果明显的去除马赛克的还原效果，当然CPU也是可以的，只是处理速度较慢。
进阶使用需下载TecoGAN

注：这里的TecoGAN为DirectML版，之前有提供TensorFlow版，后来作者发现TF兼容性不太好，就换成了DML

1.准备

按下图的目录结构解压TecoGAN插件

2.开始

红色：基础TecoGAN处理模型（配合黄色批处理）

这里推荐使用TG-Z415模型TecoGAN的又一个模型——TG-Z415的使用与对比！（模型需单独购买）

Internal：不经过超分辨率算法优化，软件内录直出，也就是本文讲的基础使用方法
TG-AF0-2：可以使马赛克模糊化，并和马赛克位置周围的图像尽可能的融合
TG-X4：视频按分辨率放大4倍
TG-STD（推荐）：标准破坏还原马赛克（效果明显，但马赛克位置的图像有明显的撕裂涂抹感）

黄色：TecoGAN调用的批处理

tgmain（默认）：默认选项，调用TecoGAN，输出帧图像为png格式（如果SRA选项非NONE，还需进行SRA，则建议选此项）
SR-TG：同tgmain，调用TecoGAN，输出帧图像为jpg格式（如果SRA选项为NONE，不进行SRA，则建议选此项）
SR-TEST：同tgmain，但在每处理完一个步骤后会暂停，不建议
SR-VEAI：改用VEAI对输出帧进行SR处理（不建议）

绿色：附加超分辨率处理模型

NONE（默认）：此选项在高级使用篇幅会用到

蓝色：任务完成后执行的操作

Do nothing …… 表示完成后啥都不做Close …… 表示在抽帧 extraction|转换conversion|编码encoding 完成后关闭JAVPlayer进程
Shutdown …… 表示，在抽帧|转换|编码 完成后关机

选择完成，点击Record即开始处理

高级使用1（官方版）

目前的高级方法，其实也就是在TecoGAN处理后多了一个优化步骤（超分辨率降噪还原）

这里补充一点，马赛克的还原效果取决于 TecoGAN 的模型选择，假设选择了TG-STD，那么在处理完毕，后续的优化步骤中，其目的都是降噪，而非再次还原，只不过是用到工具不同

对应到软件里，就是上图的绿框部分，默认选项为 NONE

TecoGAN+VEAI

Topaz Video Enhance AI 2.3.0 ：（2.3.0以后的版本移除了VEAI命令行，JAVPlayer无法调用）

一般情况下，绿框部分选择 SRA-VEAI 即可

安装好VEAI，还需修改JAVPlayer调用VEAI的配置。

JAVPlayer v1.11及以下版本：
找到 JAVPlayer目录\TGMAIN\VEAI.lnk  右键属性（将VEAI的目标和起始位置修改正确）
JAVPlayer v1.11a及以上版本：
找到 JAVPlayer目录\TG\BATCH\VEAI.lnk  右键属性（将VEAI的目标和起始位置修改正确）

我个人一直在用的就是TG-STD+SRA-VEAI，抛开质量而言，主要是稳定，并且相对快速（下方有处理速度参考表），并且相较于方法2里大佬提供的第三方MOD，虽然同是调用VEAI，但官方的稳定性兼容性稍好
其实VEAI支持很多种AI模型，但JAVPlayer的图形界面中没有可选模型和可调参数的设置（默认为AHQ Artemis High Quality）
如果需要更换VEAI模型、调整参数，还需要自行修改批处理文件，略显麻烦

SR步骤对应：TG\TGMAIN\SR-VEAI.bat
SRA步骤对应：TG\TGMAIN\SRA-VEAI.bat

另外，最近有一些朋友反应调用VEAI时，会卡在loading ai model
@悠儿的云 大佬分享的解决方法，可以试试

1、在软件preference里把禁止下载模型给关闭，默认是打开的，然后等他慢慢下载，可以通过流量监控看看有没有下载速度
2、换一个模型，不是所有模型都需要联网更新的

修改VEAI模型
1.根据需求，使用非记事本编辑器，如 Notepad2 打开需要修改的批处理文件，比如 SRA-VEAI.bat（附加超分辨率）

2.找到第94行左右，根据 VEAI官方命令行说明 ，-m 参数 为指定调用的AI模型，默认为 ahq-11，-m 可用参数值有
aaa-9        ahq-11        alq-12        alqs-1        amq-12
amqs-1        ddv-2        dtd-3        dts-1        dtv-3
dtvs-1        thd-3        thf-4        gcg-5        ghq-5
以上参数均可自行尝试（标粗参数建议优先尝试）
3.默认的SRA-VEAI.bat仅使用了-m参数指定AI模型，当模型选择为 thd 或者 thf 时，我们还可用加入其他参数

-p [0-100] 锐化度（默认15）
-g [0-100] 细节增强程度（默认50）
-r [0-100] 降噪程度（默认0）

4.@RYU 朋友问道：如何调用veai2.3的 proteus 6-parameter？
和上述方法一致，将SRA-VEAI.bat里对应的调用命令修改为

1. VEAI.lnk -i "%~3output%2/0000.png" -o "%~3addout%2" -f %output_format% -s %SCALE_HF% -m prob-1 --compression 52 --details 24 --blur 9 --noise 7 --halo 12 --preBlur -19 -c %gpuid%

复制代码

更多命令行介绍，可以自行运行 veai.exe -h 查阅（比上述官方命令行文档详细）

TecoGAN+REG
1.10版本开始，除基础的TG（TecoGAN）外，还支持 Real-ESRGAN 作为额外附加的超分辨率优化工具，效果还行，可选模型也挺多，但是很费时间，作者给出的参考：
用 RTX 2070 super 处理 4 分钟视频（马赛克单元格大小：6 * 6~12 * 10），超分辨率降噪优化所需的时间

上表可以看出，Real-ESRGAN 方法处理的用时几乎是VEAI的10倍，我实测之后感觉效果一般般，还是老老实实用VEAI吧 :doge:

REG：realesrgan-ncnn-vulkan （下载见扩展包）
REGc：PyTorch version of Real-ESRGAN，仅适用于cuda，N卡专用（下载见扩展包）
REGp：PyTorch version of Real-ESRGAN (FP16 mode)，仅适用于 GTX 10系以后显卡 （REGc 内包含REGp ）
SRMD：srmd-ncnn-vulkan（下载见扩展包）

目录结构为（以上插件均放置于TG目录）

补充一点，如果要在VEAI\REG\SRMD间做一个比较，我个人认为是 VEAI ≥ REG ≥ SRMD（因为我感觉没啥差别）

进阶使用2（TG-Plus）

@km2ii 大佬做的增强版

强烈建议已熟练使用JAVPlayer的朋友尝试

TG-PLUS 可以认为是TecoGAN的增强版，同样利用TecoGAN + Topaz Video Enhance AI
我测试了一些视频，感觉效果还是很不错的

安装步骤
目前已同步更新到 TG-Plus for JVP_1.11 v0.2.02.26（更新日志）

1.先下载解压 JAVPlayer+ffmpeg（本文开头有，解压，备份或删除原目录里的TG文件夹）
2.然后下载 TG-PLUS 解压并覆盖TG-Plus for JP_111 v0.2.02.26
p.s JAVPlayer 1.09 的朋友可用 TG-Plus for JP_109a v0.1.10.24

github说明页面：https://github.com/km2ii/JP109A_TG-PLUS/blob/main/Changelogs.md

另外，如果需要调用显卡（N卡）处理，则需要安装cuda和cudnn，作者推荐：

3.先安装 cuda_11.1（下载见扩展包） ，选择自定义，安装时只需要选择 CUDA - Runtime - Libraries 一项
4.再解压 cudnn-8.1（下载见扩展包），按原结构解压覆盖到上面cuda的安装目录，比如 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.1
p.s 如果上述cuda版本无法调用GPU，可以试试 cuda_10.2 （下载见扩展包）和 cudnn_8.3（下载见扩展包）（貌似30系卡仅支持cuda 11和cudnn 8.1及以上，低版本不支持）

最后测试一下，进入JavPlayer_Plus\TG\TGMAIN，命令行下运行 main.exe

出现很多 Successfully opened dynamic library ... 就表示成功加载cuda库了，同时也能识别到显卡信息

否则，则会提示找不到 ***.dll not found

p.s 无法加载cuda库时，TG-PLUS会调用CPU处理（从任务管理器的性能页能观察到）

无法调用GPU的一些可能的原因

1.cuda及cudnn没有正确安装，可以参考这篇（Win10安装CUDA+cuDNN+TensorFlow-GPU）
2.我这边遇到一台机器，CUDA都成功安装，有大佬提到还要安装 zlib库（zlib123dllx64.zip） 才能正常调用，各种可以一试

初始化

根目录下的 ConfigTools.exe 为TG-PLUS配置工具，首次运行时会报错，提示找不到配置文件 config.ini

随便找个视频，拖到JAVPlayer中，选择如下：

弹出提示框，按任意键继续（会以默认的处理步骤完成），并在TG目录下生成配置文件 config.ini

此时 ConfigTools.exe 即可正常打开，按需配置处理流程

其默认的处理流程大约是这6个步骤：

TG-STD → DENOISE → SE-4X-S1 → VEAI(PROB) → DOWNSCALE → UE-4X
VEAI(PROB)处理后的部分视频涂抹异常严重，整个流程超级费时间，而且容易崩，非顶级机器不建议尝试此套流程

所以为了保证稳定性和速度，我这边选择精简流程：

TG-STD →  UE-4X（或SE-4X）→ DOWNSCALE
我这边 DENOISE降噪 操作，特别占CPU，所以就去掉了这一步，仅保留首尾两个步骤

作者给出的一些小建议（根据硬件，自行决定）

SE 或 VEAI 后可以加 UE-4X，用于细节增强
SE-4X-S1 效果比SE-4X好一些
TG-SE-VEAI 这些多次 upscale 的操作后，应该加一个 downscale，防止内存溢出
对于 UE 模型，建议只在 TG 之后使用，以便降噪，这样会节省很多时间

当然，越好的效果对应越多的模型处理组合，需要付出成倍的时间代价！
优点：

1.相较于原版JAVPlayer，这个MOD内置配置工具和增强版模型，且能自由组合
2.不考虑处理时间的前提下，还原效果近乎完美（同样也是根据源视频的马赛克厚度而定，但确实比官方TecoGAN要强）

缺点：

1.配置复杂，需要自己摸索合适的配置组合
2.当前版本TG-PLUS报错会卡住，无法自动忽略错误框，导致后续流程无法继续（这一点在无人值守时最坑，希望后续大佬能优化优化）
2.需要单独安装cuda+cudnn，且即便安装好，也有可能会出现无法调用GPU的问题，需要花时间摸索修复

一些细节

1.JAVPlayer运行时会占用系统音频流以阻止系统进入睡眠状态（即便它非工作状态，也会占用系统音频流阻止睡眠），所以如果要让任务完成后进入睡眠，就得关闭其进程（选择Close after encoding  结束后关闭程序 或者 Shutdown after encoding 结束后关闭电脑）
2.调用VEAI时，VEAI可能会联网下载模型，有大几率会卡住，没速度，导致后面的步骤没法执行，解决方法在本文高级使用1（官方版）篇
3.如果处理的视频时长较长，需要预留足够的硬盘空间；如果使用TG-PLUS，需要预留的空间更多！
4.建议处理时，把视频切分，比如2小时片源的切2~4段，避免长时间运行，程序卡住或崩溃，我用的是 Lossless Cut（文章底部有下载链接），简易快捷
5.TG-PLUS 的部分操作（如:UE-4X），对内存及显存需求比较大，小于等于16G内存及8G显存容易报错（显存、内存报错关键词：allocate）
6.根据模型选择不同，以及马赛克帧的数量（包含马赛克的帧越多，用时越长），以及硬件（CPU、显卡）水平，对应处理时长均不一样。

我这边 3700x + 2070s ，2小时片源时长
官方版：TG-STD + VEAI，约 10 小时左右
TG-PLUS：TG-STD + UE-4X + DOWNSCALE，约 20 小时左右

具体得自行测试，JAVPlayer节选1分钟左右，记录时长，然后简单一乘，大概时间就有了

LosslessCut v3.45.0(无损剪辑软件) 简体中文绿色版

Aduri Prem Kumar

• 6月29日
• 喜欢：0
• 浏览：32