人工智能马赛克去除深度CNN降噪器和多层相邻分量嵌入马赛克去除

人工智能马赛克去除深度CNN降噪器和多层相邻分量嵌入马赛克去除摘要：目前大多数面部去马赛克方法，无论是浅层学习还是深度学习，都试图在列车的帮助下学习低分辨率（LR）和高分辨率（HR）空间之间的关系模型 - 集合。他们主要关注通过基于模型的优化或区分推理学习来建模图像优先。但是，当输入的LR面很小时，学到的先验知识不再有效，其性能会急剧下降。为了解决这个问题，本文提出了一种通用的面部幻觉方法，可以将基于模型的优化和区分性推理相结合。特别地，为了利用基于模型的先验，借助于图像自适应拉普拉斯正则化将深度卷积神经网络（CNN）降噪器先前插入到超分辨率优化模型中。此外，我们进一步开发了一种高频细节补偿方法，将人脸图像分散到人脸部位，并以多层相邻嵌入方式执行面部幻觉。实验证明，所提出的方法可以为微小输入LR面获得有前途的超分辨率结果。

人工智能马赛克去除深度CNN降噪器和多层相邻分量嵌入马赛克去除简介：为了克服基于模型的优化方法和判别推理学习方法的缺点，同时利用它们各自的优点，最近，已经提出了一些方法来分别处理保真度项和正则化项，借助于可变分裂技术，例如作为ADMM优化或去噪正则化（RED）[Romano等人，2017]。基于模型的超分辨率方法试图迭代地重建HR图像，使得其降级的LR图像与输入的LR图像相匹配，而推理学习试图通过机器学习来训练降噪器，使用LR和HR图像对。因此，复杂的超分辨率重建问题被分解成一系列图像去噪任务，再加上容易处理的二次规范正则化最小二乘优化问题。

在许多真实的监控场景中，摄像机通常远离感兴趣的物体，系统的带宽和存储资源有限，这通常会导致非常小的人脸图像，即微小的脸部。虽然上述方法是通用的，可以用来处理各种图像劣化过程，但是当采样因子非常大时，这种方法的性能会变差，即输入LR人脸图像非常小。学习的降噪器先前不能充分利用人脸的结构，因此幻觉的HR面仍然缺乏详细的特征，如图1的第二列所示。通常，深度卷积神经网络（CNN）降噪器先验基于面部幻觉的方法可以很好地生成主要面部结构，但无法回复很多高频内容。为了处理非常小的输入图像的瓶颈，已经提出了一些基于深度神经网络的方法[Yu和Porikli，2016; Yu和Porikli，2017]。

人工智能马赛克去除深度CNN降噪器和多层相邻分量嵌入马赛克去除贡献：在本文中，我们通过Deep CNN Denoiser和多层邻居组件嵌入（MNCE）开发了一种新颖的面部马赛克去除方法。受[Zhang et al。，2017]的工作启发，我们采用CNN来学习先前的降噪器，然后将其插入基于模型的优化中，共同利用基于模型的优化和判别推理的优点。在这一步中，我们可以预测深度CNN降噪器的中间结果，看起来很平滑。为了增强细节特征，我们通过MNCE进一步提出了一种残差补偿方法。它将NCE扩展到多层框架，以逐步减轻LR和HR空间之间的不一致（特别是当因子非常大时），从而补偿在第一步中未恢复的缺失细节。图2显示了该算法的流水线。

这项工作的贡献总结如下：

（i）我们提出了一种新颖的两步式去马赛克方法，它结合了基于模型的优化和区分性推理学习的优点。所提出的框架使得可以从不同来源（即一般和脸部图像）学习先验以同时调整面部马赛克。 （ii）为了恢复缺失的详细特征，提出了以多层方式嵌入相邻分量，并且可以逐步优化和改进幻觉结果。它提供了一种方案来缓解由于一对多映射导致的LR和HR空间之间的不一致性。

人工智能马赛克去除深度CNN降噪器和多层相邻分量嵌入马赛克去除实验：该算法的性能已经在大规模的名人脸属性（CelebA）数据集[Liu等人，2015a]上进行了评估，并且我们将该方法与现有技术进行了定性和定量比较数据集。我们采用广泛使用的峰值信噪比（PSNR），结构相似性（SSIM）[Wang et al。，2004]以及特征相似性（FSIM）[Zhang et al。，2011]作为我们的评估测量。

数据集：我们使用名人脸属性（CelebA）数据集[Liu et al。，2015b]，因为它包含大量多样，大量和丰富注释的主题，其中包括10,177个身份和202,599张脸部图像。我们选择10％的数据，其中包括20K训练图像和260个测试图像。然后，将这些图像对齐并裁切为128×128像素作为HR图像。 LR图像通过Bicubic 8×下采样（Matlab函数的默认设置imresize）获得，因此输入LR面是16×16像素。

建议的两步法的有效性。为了证明所提出的两步法的有效性，我们给出了不同步骤的中间结果。如图4所示，通过执行基于深度CNN降噪器的全局面部重建（步骤1），它可以很好地保持主要面部轮廓。通过逐层分量嵌入（Step2），我们可以期望逐步增强重建结果的特征细节（请参考第三到第五列）。作为一个学习的普遍以前，以前的深CNN降噪器不能用于建模面部细节。但是，它可以用于缓解LR和HR图像空间之间的歧义不一致，这将有利于以下相邻组件嵌入式学习。在第二步中，当它们之间的歧管结构间隙很小时，预测LR和HR空间之间的关系要容易得多。图5定量显示了多层嵌入的有效性。它表明，通过迭代嵌入，我们可以期望逐渐接近实际情况。

为了证明基于深度CNN除雪人的全局人脸重建模型的有效性，我们进一步展示了用双三次插值代替基于深度CNN除雪人的全局人脸重建的幻觉结果，同时保持第二步（即MNCE）为一样。如图6所示，深CNN降噪器可以产生更清晰和更整齐的面部轮廓。此外，我们还注意到具有MNEC的Bicubic也可以推断出合理的结果，这证明了MNCE在学习LR面和残差图像之间的关系时的能力。