南京大学发布WebCaricature漫画人脸识别数据集

机器之心发布，机器之心编辑部。

近日，南京大学推理与学习研究组（R&L Group）发布了一个新的漫画人脸识别数据集 WebCaricature。该数据集包含了 252 个名人的 6042 幅漫画图像以及 5974 幅人脸图像，并且每幅图像均提供了 17 个人脸关键点标注。该数据集是目前为止最大的漫画人脸识别数据集，填补了深度学习时代漫画人脸识别研究在基准数据集上的空缺。关于该数据集的文章目前已在 2018 年 BMVC 会议发表。

• 数据集网址：https://cs.nju.edu.cn/rl/WebCaricature.htm
• 论文网址：http://bmvc2018.org/contents/papers/0728.pdf

图 1：WebCaricature 中的人脸图像以及漫画图像示例

引言

真人夸张漫画 (Caricature) 通常是由漫画家对真实人脸的五官进行不同程度的夸大后创作出来的，这种夸大通常会更加凸显人脸原来较为显著的特征，但也会导致真实人脸与漫画之间存在较大的差异。尽管如此，人类通常还是可以很容易地识别出漫画中我们认识的人脸，并且，由于显著特征的加强，识别甚至会变得更加简单。但对于目前的机器学习算法却并非如此。

在过去，关于漫画人脸识别的任务受到了心理学以及脑科学研究者的广泛关注，在心理学研究上，对于漫画人脸识别的研究可以帮助我们更好的了解人类对哪些面部特征的夸张更加敏感以及理解人类大脑是如何表示和匹配人脸的。相应地，在计算机视觉领域，关于漫画人脸识别的研究也可以帮助我们找到更好的人脸特征表示以及相似度计算方法，进而提升现有人脸识别系统的性能。

过去几年，随着深度学习的兴起，人脸识别系统的性能得到了快速的提升。然而对于漫画人脸识别任务，目前的机器学习方法的效果仍比较差。主要原因是漫画人脸存在多种多样的艺术风格且脸部存在形变和夸张，对于同一个人的人脸，不同漫画家可能会选取不同的夸大方式，使得匹配和识别变得更加困难。另外一方面，目前漫画人脸识别相关的数据集匮乏，已有的数据集不管是在人员数量上还是图像数量上都较少。

在上述背景下，南京大学推理与学习研究组（R&L Group）建立了一个大的漫画人脸识别数据集 WebCaricature，该数据集包含了 252 个名人的 6042 幅漫画图像以及 5974 幅人脸图像，并且，数据集中的每幅图像均提供了 17 个人脸关键点标注。该数据集的特点是，不同人的漫画图像在漫画风格上迥异，并且同一个人的漫画图像之间也存在着巨大的差异，对于照片，同一人的拍摄角度、面部表情、光照环境、年龄等也都是非受控的，因此，在识别上会有非常大的难度。

该数据集是目前为止最大的漫画数据集，通过发布该数据集，我们希望促进深度学习等机器学习方法在漫画人脸识别方面的相关进展。关于该数据集的文章目前已在 2018 年 BMVC 会议上发表。

图 2：数据集中的关键点标注

评价基准

基于该数据集，论文中还建立了四种漫画人脸识别的评价基准，分别是受限视图下的漫画核实 (Restricted View Caricature Verification)，非受限视图下的漫画核实 (UnRestricted View Caricature Verification)，通过漫画识别人脸 (Caricature to Photo Recognition)，通过人脸识别漫画 (Photo to Caricature Recognition)。其中前两种评价基准可用于评价漫画与真人照片一对一核实的任务，第三种评价基准用于评价给定一幅漫画后，从人脸库中识别对应照片的算法性能，最后一种评价基准用于评价给定一幅照片后，从库中识别对应漫画的算法性能。

数据集上的挑战

此外，论文中还对应传统人脸识别任务的各个阶段分析了漫画人脸识别的难点，并给出了一些基准算法在该数据集上目前的识别效果。

其中，对应传统人脸识别系统中的人脸检测与人脸关键点检测任务，由于漫画的风格变化以及脸部形变，漫画的人脸模式变化更多更丰富，漫画人脸关键点的位置更加不固定，因此，漫画人脸检测以及漫画人脸关键点检测也是一个可研究的具有挑战性的研究问题。

在检测的漫画人脸的基础上，漫画人脸与真人照片之间的对齐方法也需要一些特殊的设计，图 3 中给出了原文中采用基于眼睛的人脸对齐方法后，漫画与照片不能很好对齐的示例图片。

图 3：通过同一种基于眼睛的人脸对齐方法，漫画人脸的对齐效果很差，照片人脸的对齐效果相对较好

在漫画人脸特征抽取的问题上，该问题相较于传统的异构人脸识别（包括照片与素描人像相互识别、照片与红外人像相互识别等）[1] 中的人脸特征抽取问题会更难。传统的异构人脸识别中的人脸特征抽取主要考虑消除不同模态（如照片和素描属于两种图像模态）的人脸图像之间的模态差异使得特征对于个体具有判别性。在漫画中，由于不同的漫画风格，不同的漫画可能属于不同的模态，使得模态差异的消除更加困难，此外，漫画具有不同的形变，因此，如何抽取特征使得真实人脸特征与漫画人脸特征同构可比较是一个非常具有挑战性的研究问题。

在漫画与真人照片的特征匹配问题上，假设在前面的几个步骤中算法无法完全对漫画人脸与真实人脸进行对齐，且在特征抽取中不能很好的消除模态差异，则在匹配漫画与真人照片的特征的时候既需要考虑消除模态差异，也需要考虑由于形变造成的特征误配准 [2]，对传统的特征匹配算法也提出了新的挑战。

基准性能

目前在该数据集上，文章中给出了不同对齐算法、特征抽取算法以及特征匹配算法组合在不同评价基准下的算法性能，结果见表 1 和表 2。在四种评价基准下，最好的效果由 VGG-Face 方法与 KCSR 方法结合取得，但可以看到目前该数据集上，在各项性能指标下，算法的性能还没有达到饱和。

由于 VGG-Face 方法目前未考虑模态差异消除以及漫画中的形变，KCSR 方法可以进行模态差异的消除，两者结合可以较好的提升性能。因此在深度学习方法中引入模态差异消除，同时考虑漫画中的形变影响，设计端到端的算法应该是后续可行的漫画识别研究方向。

表 1 WebCaricature 数据集上，受限视图以及非受限视图漫画核实评价基准下不同算法的识别性能

表 2 WebCaricature 数据集上，通过漫画识别人脸以及通过人脸识别漫画两种评价基准下不同算法的识别性能

数据集下载信息可从以下链接获取：https://cs.nju.edu.cn/rl/WebCaricature.htm