​上海交通大学发布新数据集，推动 AI 生成 3D 人脸质量评估技术

快速阅读: 近日，上海交通大学推出Gen3DHF数据集，包含2000个AI生成的3D人脸视频，用于评估质量和真实感，弥补现有方法不足，提升生成技术可信度，推动虚拟现实发展。

近日,上海交通大学的研究团队推出了一个名为 Gen3DHF 的新数据集,专注于评估 AI 生成的3D 人脸质量。随着生成式人工智能的快速发展,3D 人脸的生成成为可能,尤其在虚拟现实等领域具有广泛应用。然而,评估这些生成3D 人脸的质量和真实感依然是一个巨大的挑战,因为人类对面部特征的感知往往具有主观性和敏感性。

Gen3DHF 数据集是一个大规模的基准数据集,包含2000个 AI 生成的3D 人脸视频,以及从质量和真实感两个维度收集的4000个平均意见得分(MOS)、2000个失真感知显著图和失真描述。这一数据集为研究人员提供了一个宝贵的工具,以客观评估 AI 生成内容的质量。

在此基础上,研究团队还提出了 LMME3DHF,这是一个基于大型多模态模型的3D 人脸评估指标,能够有效预测质量和真实感得分,并进行失真感知视觉问答(VQA)和显著性预测。实验结果表明,LMME3DHF 在准确性方面达到了 最先 进的性能,不仅超越了现有方法,还与人类感知判断高度一致。

团队指出,尽管 AI 生成的3D 人脸在生成能力上取得了显著提升,但仍然存在感知失真和非真实感伪影等问题,未能满足人类的质量期望。人类评估虽然提供了重要见解,但其成本高且效率低,因此开发一种客观的质量度量标准变得至关重要。

Gen3DHF 数据集的推出,弥补了现有方法在评估 AI 生成3D 人脸方面的不足,特别是针对面部失真的独特性。通过对多样化3D 人脸视频样本的评估,研究团队在质量和真实感两个方面取得了显著进展。这不仅有助于提升生成技术的可信度,还将推动虚拟现实和相关领域的发展。

论文:https://arxiv.org/pdf/2504.20466 划重点: 🌟 Gen3DHF 数据集包含2000个 AI 生成的3D 人脸视频,为质量评估提供了基础。

🤖 LMME3DHF 评估指标在失真感知和真实感预测方面表现优异,超越现有方法。

🔍 研究旨在填补现有 AI 生成3D 人脸评估中的空白,提升技术的可靠性。

(以上内容均由Ai生成)