waifu2x - 开源图片无损放大、降噪工具

  waifu2x是使用深度卷积神经网络的图片超解析系统,针对二次元图片效果最佳。

  传统插值拉伸放大几乎都无法避免锯齿、线条模糊、色块、马赛克等问题。二次元图片描黑边和色块上色的特点,线条的锐利度和色块的纯净度直接影响观感。waifu2x就是针对二次元图片这个特点开发的,经过6000张高分辨率PNG图片训练而成。得益于waifu2x算法的超分辨率成像(Super-resolution)+降噪机制,可以放大图片而在大部分情况不出现插值拉伸的问题。

版本:waifu2x-caffe v1.2.0.4

网页版功能特性上传文件

  • 上传文件
    • 文件大小最大为5MB;
    • 可进行降噪处理的图像最大为3000x3000px;
    • 可进行放大处理的图像最大为1500x1500px;
  • 处理风格:可选择插图或是照片风格,默认为插图选择照片风格时有彩蛋;
  • 降噪程度:用于消除JPEG等图像因有损压缩产生的色块和噪点,使画面看起来更干净,有低、中、高、最高四个等级,外加一个不降噪的选项,默认为中(当然降噪本质上是在削减原图信息,破坏细节,所以这个程度需要人为把握。降噪力度过强,可能连鼻子都会被抹掉);
  • 放大倍数:有不放大、1.6x、2x三级。

只有这个网站是lltcggie自己开发及管理的,其他基于waifu2x的网站和软件(Big jpg、waifu2x-caffe等)并非他管理,采用的模型也有不同。

waifu2x-caffe

waifu2x-caffe是由lltcggie制作的第三方单机版,基于Caffe平台,是流传最广的waifu2x第三方版本。配图为中文版操作界面。

  • 系统要求

    • 操作系统:Windows Vista或更新的64位系统(没有32位的EXE文件)。
    • 内存:1GB以上的可用内存(根据模型和图像大小有差异)。
    • 图形处理器(GPU):计算能力(Compute Capability)3.0以上的NVIDIA GPU(使用CPU转换时毋须此项,但转换效率极低,不建议采用,GitHub上有适用于AMD GPU的OpenCL版及Vulkan版、适用于MacOS和ios的waifu2x-metal)。
    • 程序框架:需要安装Microsoft Visual C++ 2015 Redistributable Update 3(x64版)。
    • iOS&macOS版本已全面是适配Mac Catalyst用户界面的版本现在已经可以在水果全家桶上使用已经优化的waifu2x版本。
  • 功能 - 单机版相较网页版功能和设置更加详尽。

    • 批量处理(理论上可用于处理视频,但转换速度很慢,需要将视频遂帧变为图片格式处理)
    • 多种图像格式的输入和输出,有损图像格式的输出质量和图像的色彩深度;
    • 没有了对于源文件大小的限制(如果显卡显存够大,一些条件好的图片拉成8K以上都是可以的,本身条件不好的图拉的太大效果会稍差,线条看起来会发虚);
    • 提供了一个自动降噪和放大的模式,只在源文件为JPEG时去除噪点;
    • 降噪等级目前只有0、1、2、3四个等级;
    • 任意的放大倍率,还可仅针对放大后的尺寸进行设定;
      • 注意waifu2x-caffe的任意放大率是通过在放大后缩小图像来实现的[2];
    • 提供了多个放大模型可供选择
      • 最适合转换的模型根据输入的图像内容而有所差别,故在实际使用中可以多多尝试:
      • 2D插图系
        • Y模型:仅对图像的亮度(YCbCr色彩空间中的Y成分)进行转换的模型;
        • RGB模型(ver 1.0.5):对图像的RGB均进行转换的模型,适用于2D插图;
        • UpRGB模型(ver 1.1.4):较RGB模型高速且有着同等以上转换效果的模型,对GPU的VRAM需求较RGB模型大;
        • UpResNet10模型(ver 1.1.9):从waifu2x-chainer移植而来的模型,较UpRGB模型有着更高的转换品质但对硬件需求更高,根据分割尺寸大小输出结果可能有变化;
        • CUnet模型(ver 1.2.0):现2D插图系中转换品质最高的模型,对硬件需求最高,根据分割尺寸大小输出结果可能有变化;
      • 照片或动画系
        • Photo模型(ver 1.0.5):适用于照片和动画(アニメ)的模型;
        • UpPhoto模型(ver 1.1.5):较Photo模型高速且有着同等以上转换效果的模型,对VRAM需求较Photo模型大;
    • TTA(Test-Time Augmentation)模式
      • 转换时间较未选中时增加八倍,提高0.15的峰值信噪比(PSNR),效果可能不明显;
    • 可使用cuDNN处理(根据GPU的情况而定加快处理速度并减少VRAM使用);
    • CUI版本有更多巨细的参数设定。

image.png


标题:waifu2x - 开源图片无损放大、降噪工具
作者:Mune
地址:https://cnxiaobai.com/articles/2022/03/14/1647266098103.html

    评论
    1 评论
    2023-02-02 13:13 回复»

    春节快乐!谢谢博主分享

    🎉️ !

avatar

取消