LADN | 局部对抗解缠网络-人脸妆容迁移与反迁移的深度学习模型

核心思想是在风格迁移解开网络中的使用多个重叠的局部判别器，实现人类面部图像之间局部细节风格迁移达到虚拟化妆与卸妆的效果，实现对戏剧性化妆风格的高频细节迁移。以前基于全局对抗的网络无法实现这样细节迁移，作者通过局部对抗判别器实现在不同的图像两张图像实现来细节迁移，在图像指定ROI区域重叠使用局部判别器实现了人脸的化妆与卸妆效果，图示如下：

作者在论文中提到当前各种人脸化妆技术已经广泛应用，其反向的应用，人脸卸妆(反滤镜)技术也越来越受到种视，但是没有一种网络可以同时做到这两点。给定义一张没有化妆的人脸图像和一张已经化妆的参考图像，问题就变成如何把化妆风格正确的迁移到没有化妆的人脸上，主要难点在于提取妆容风格的潜在不变性变量，这样就要求解缠已经化妆人脸因素各种影响，这种问题常常被看成一个内容风格迁移。已经存在这种类型网络大部分只能对特定区域进行迁移，比如眼睛/嘴纯，无法应用到人脸其它区域，特别是当妆容风格与人脸纹理颜色差异较大的适合，这些方法往往很难取得成功。

思想与模型结构

人脸虚拟化妆与卸妆问题可以看成是一个风格迁移问题，近一步可以看成是一个图像域翻译问题，作者受到全局对抗与局部对抗

• GAN/pix2pix
• Image completion/PatchGAN/CycleGAN

等思想的启发，提出了一种全新的算法LADN(Multiple overlapping local discriminators)，同时局部妆容迁移与去除能力。因为训练数据受限，作者把妆容迁移与去除看成一个非监督学习问题

完整的网络结构如下：

损失函数计算主要包括

实验结果

实验结果表明局部重叠判别器的个数越多，迁移效果越好，图示如下：

高阶损失对最终结果的影响实验结果如下：

妆容迁移效果！

第一行，输入源图像

第二行，妆容风格图像

第三行，没有高阶损失时候迁移效果

第四行，完整网络的迁移效果

妆容去除的效果

第一行，妆容人脸，从a～d妆容效果逐步增强！

第二行，没有使用平滑损失时候的妆容去除效果

第三行，完整网络输出效果

论文地址

https://arxiv.org/abs/1904.11272v1

原文发布于微信公众号 - OpenCV学堂（CVSCHOOL）