资源 | 神经网络告诉我,谁是世界上最「美」的人?

「魔镜魔镜告诉我,谁是世界上最美的女人?」这句伴随童年的话也有现实版哦~神经网络可以预测人脸颜值,这方面也出现了不少研究。今年年初华南理工大学的研究者发布论文,并公开了数据集 SCUT-FBP5500。本文作者 Dima Shulga「复现」了该论文,并用自己的照片做了试验。

数月前,华南理工大学发布了关于「颜值预测」的论文和数据集,数据集包括 5500 人,每人按颜值魅力打分,分值在 1 到 5 分之间。

  • 论文地址:https://arxiv.org/abs/1801.06345

  • 数据集地址:https://github.com/HCIILAB/SCUT-FBP5500-Database-Release

资源 | 神经网络告诉我,谁是世界上最「美」的人?

数据集中还有很多名人。Julia Robert 的这张照片得到了 3.78 的平均分:

资源 | 神经网络告诉我,谁是世界上最「美」的人?

以色列名模 Bar Refaeli 这张照片得分 3.7:

资源 | 神经网络告诉我,谁是世界上最「美」的人?

似乎分也不高嘛,但是 3.7 的得分意味着比数据集中大约 80% 的人要好看。

数据集作者利用该数据集训练多个模型,尝试根据人脸照片预测这个人的魅力。

结果

该论文使用 2 种技术训练模型:5-fold 交叉验证、60%-40% 的训练集-测试集分割。论文作者使用皮尔逊相关系数(PC)、平均绝对误差(MAE)和均方根差(RMSE)对结果进行衡量。5-fold 交叉验证的结果如下:

资源 | 神经网络告诉我,谁是世界上最「美」的人?

60%-40% 的训练集-测试集分割结果如下:

资源 | 神经网络告诉我,谁是世界上最「美」的人?

我将使用 80%-20% 的训练集-测试集分割,类似执行他们的交叉验证的 1-fold。结果如下:

RMSE: 0.301799791952313MAE: 0.2333630505619627
PC: 0.9012570266136678

相当不错。此外,查看分数散点图和直方图很方便:

资源 | 神经网络告诉我,谁是世界上最「美」的人?

原始分数分布(正态):

资源 | 神经网络告诉我,谁是世界上最「美」的人?

预测分数分布(正态):

资源 | 神经网络告诉我,谁是世界上最「美」的人?

结果看起来不错。现在我们来看下这个深度神经网络给我打几分吧。我一开始用了这张照片:

资源 | 神经网络告诉我,谁是世界上最「美」的人?

得分 2.85,我只比该数据集中 52% 的人好看……不得不说有点失望,我原本以为结果比这好,于是我决定再试试。

我拍了很多照片,最终有一张得了 3.15 分,这意味着我比该数据集中 64% 的人更好看~

资源 | 神经网络告诉我,谁是世界上最「美」的人?

好多了~老实讲我还是想得更高分~ :)

最后说明一下,我使用 Google Colaboratory 构建和调整模型,它提供 Python notebook,可以免费使用 GPU!

论文:SCUT-FBP5500: A Diverse Benchmark Dataset for Multi-Paradigm Facial Beauty Prediction

资源 | 神经网络告诉我,谁是世界上最「美」的人?

论文链接:https://arxiv.org/abs/1801.06345

摘要:颜值预测(facial beauty prediction,FBP)是使人脸魅力评估达到人类感知程度的重要视觉识别问题。为了解决该问题,不同的数据驱动模型,尤其是当前最优的深度学习技术被引入,基准数据集成为实现 FBP 的必要因素。之前的研究将颜值识别作为一个特定的分类、回归或排序的监督学习问题,表明 FBP 本质上是一个具备多个范式的计算问题。但是,大部分 FBP 基准数据集是在特定的计算约束下构建的,这限制了在该数据集上训练的模型的性能和灵活性。本论文中,我们认为 FBP 是一个多范式的计算问题,并提出一种新的多元化基准数据集 SCUT-FBP5500,来实现多范式颜值预测。该数据集共有 5500 个人脸正面照片,这些照片具备不同属性(男性/女性,年龄等)和不同标签(面部地标、颜值得分(1~5)、颜值得分分布),允许具备不同 FBP 范式的不同计算模型,如基于外表/身材的亚洲人/高加索人的男性/女性的颜值的分类/回归模型。我们使用不同的特征和预测器组合、不同的深度学习方法评估 SCUT-FBP5500 数据集,结果表明在该数据集上 FBP 有所改进,且具备潜在应用。

相关推荐