作者:KYLE WIGGERS
近日,发表于 Venturebeat 的一篇文章称,商汤科技研究院与新加坡南洋理工大学合作设计了迄今为止最大的人脸伪造检测数据集——DeeperForensics-1.0。
换脸是一种深度伪造技术,它从现实中提取人脸,并用其他人的面部特征代替,通常通过人工智能或机器学习实现。
目前,它已经被 MixBooth 和 SnapChat 等应用推广开来,虽然底层的技术使复杂的图像编辑成为可能,但这也引发了人们对潜在的错用或滥用的担忧。
相关组织已经编译了很多被操控媒体的资料,以支持人脸交换检测方法的发展,但到目前为止公布的样本数量相对较少,或者人为因素影响较大。
研究人员表示,DeeperForensics-1.0 是一种新的大规模的人脸伪造检测数据集,被称为是同类中最大的语料库,有超过 6 万个视频,大约有 1760 万帧。
研究人员称,DeeperForensics-1.0 中的所有源视频都是经过精心挑选的,因为它们的质量和多样性都很高。
从表面上看,它们比其他数据集更真实,因为它们更接近于现实世界中的检测场景,并且它们包含与 in the wild 的压缩,模糊和传输伪像相匹配的特征。
为了构建 DeeperForensics-1.0,研究人员收集了来自 26 个不同国家的 100 名演员的面部数据,他们的年龄从 20 岁到 45 岁不等,他们被要求在九种不同的灯光下转动头部,用超过 53 种表情自然地说话。
他们通过一个人工智能框架(DeepFake Variational AutoEncoder,简称 DF-VAE)来运行这些数据,该框架使用了 1000 个 YouTube 视频作为目标视频,其中 100 名演员的脸被交换到 10 个目标面部上。
他用 35 种不同的方式扭曲每个视频来模拟真实世界的场景,最终的数据集包含了 5 万个未经处理的视频和 1 万个经过处理的视频。
研究人员在一份详细说明其工作的印论文中写道:“我们发现,源面部在构建高质量数据集方面比目标面部发挥着至关重要的作用。”“特别是,源面部的表情,姿势和照明越丰富,面部特征交换后的质量越高。” 研究人员还在 DeeperForensics-1.0 中创建了他们所谓的“隐藏”测试集——一组精心挑选的 400 个视频,以便在真实场景中更好地模拟假视频。
策划这组视频的过程包括收集由未知的换脸方法生成的假视频,并用真实场景中常见的失真来掩盖这些假视频,最后只选择在用户研究中愚弄了至少 50 个(总共 100 个)人类观察者的视频。
为了评估 DeeperForensics-1.0 与其他公开数据集的质量,研究人员让 100 名计算机视觉专家对其中一部分视频的质量进行排序。
他们报告称,与 FaceForensics++、Celeb-DF 和其他流行的 deepfake 检测语料相比,DeeperForensics-1.0 在真实性方面领先。
在未来的工作中,研究团队打算逐步深入取证领域,并与研究社区合作,确定人脸伪造检测方法的评估指标。
与 Deepfake 的斗争似乎正在升温。去年夏天,美国国防部高级研究计划局的媒体取证项目成员测试了一个原型系统,该系统可以自动检测人工智能生成的视频,部分方法是寻找类似眨眼不自然这样的线索。
初创公司 Truepic 在 7 月获得了 800 万美元的融资,它们正在试验 deepfakes 的“探测即服务”商业模式。
2019 年 12 月,Facebook 与人工智能合作伙伴、微软和学术界共同发起了 Deepfake 探测挑战,该挑战将提供数百万美元的资助和奖励,以促进 Deepfake 探测系统的发展。
原文链接:
https://venturebeat.com/2020/01/15/sensetime-face-forgery-research-deepfakes/