在当今社会,人工智能(AI)已经渗透到我们生活的方方面面,尤其在艺术创作、设计领域以及信息传播等领域的影响力不断扩大。然而,随着生成模型技术的迅速发展,如何有效区分AI生成图像与真实图像,成为业界及学界共同面临的重大挑战。
最近,小红书生态算法团队联手中国科学技术大学和上海交通大学,提出了一种行业稀缺的全人工标注数据集Chameleon基准及其对应的AIDE检测方法,以期提升AI生成图像的检测准确率。令人惊讶的是,他们发现几乎所有现有的模型在Chameleon数据集中都将AI生成的图像错误分类为真实图像,并因此提出了具有混合特征的AI生成图像检测器——AIDE(AI-generated Image Detector with Hybrid Features)。该方法利用多个专家从多个视角同时提取图像中的视觉伪影和噪声模式,最终在现有的先进图像检测方法上显著提高了3.5%和4.6%的准确率。
AI生成图像的检测任务亟需重新定义
在当前的研究框架中,AI生成图像检测任务通常设置为在特定的生成模型(例如GAN或扩散模型)上训练模型,随后在其他生成模型上进行测试。但这种方法存在两个主要的问题:首先,评估基准(Benchmark)过于简单,现有基准数据集中生成的图像通常会带有一些噪声伪影;其次,训练数据的局限性致使模型被限制在特定类型的生成模型上(如GAN或扩散模型),限制了模型学习更复杂特征的能力。为了解决这些问题,研究团队提出了一个新的训练测试设定:Train-Test Setting-II,即将多种不同生成模型的图像混合一起进行训练,随后在更具挑战性和复杂的现实场景图像中评估模型。这一方法能更精准地反映实际应用中的需求,同时提升了模型的泛化能力和鲁棒性。
前所未有的Chameleon数据集
为了真实评估AI生成图像检测方法的性能,研究团队精心构建了Chameleon数据集,具有以下几大显著特点:
- 高度逼真性:所有AI生成的图像均通过了人类感知“图灵测试”,意味着人类标注者无法将这些图像与真实图像区分。这些高度逼真的图像有效挑战了现有检测模型的极限。
- 多样化的类别:数据集涵盖人类、动物、物体及自然场景等多类图像,全面模拟现实世界中的各种场景,为模型在不同类别上提供了训练支持。
- 高分辨率:所包含图像的分辨率普遍达720P,甚至有些图像达到4K高分辨率,这不仅提供丰富细节,更增加了模型对细微差异的捕捉能力。
为了构建一个能真实反映AI生成图像检测挑战的高质量数据集,研究团队在数据收集、清洗和标注过程中均采取了创新且严谨的方法,确保数据集的可用性和合法性。
数据收集:团队从多个流行的AI绘画社区(如ArtStation、Civitai和Liblib)收集了超过15万张AI生成的图像,这些图像由各个用户使用许多先进的生成模型(如Midjourney、DALL·E3和Stable Diffusion等)创作。同时,团队还从Unsplash等法务合规的平台获取了超过2万张真实图像,确保数据的高质量和合法性。
数据清洗:为了确保数据集的高质量,团队对收集的图像进行了精细化的多维度过滤,包括:
- 分辨率过滤:过滤掉分辨率低于448×448的图像。
- 内容过滤:使用先进的安全检查模型过滤掉含有暴力、色情及其他不适宜内容的图像。
- 去重处理:通过比较图像的哈希值,剔除重复图像,确保多样性。
- 文本-图像一致性过滤:利用CLIP模型确保图像与文本之间的一致性。
数据标注:团队建立了专业标注平台,并招募有经验的标注者,对图像进行分类及真实性评估。所有图像都经过多轮审核,确保准确性。
AIDE模型:多专家融合的创新力量
在AI生成图像检测领域,现有检测方法往往只能从单一角度进行分析,难以准确把握AI生成图像和真实图像之间细微的差别。为了解决这一问题,研究者们设计了一种新颖的模型AIDE,融合了多个专家模块,从低级像素统计和高级语义两个层面全面捕捉图像特征。
AIDE模型由两个核心模块构成:Patchwise Feature Extraction(PFE)模块专注于图像中的低级像素统计特征,提取噪声模式和纹理异常;而Semantic Feature Embedding(SFE)模块则用于捕捉图像的高级语义特征,如物体共现和上下文关系。
实验结果显示,AIDE模型在多个基准数据集(如AIGCDetectBenchmark、GenImage和Chameleon)中均有显著表现,验证了其对AI生成图像与真实图像之间存在差异的有效捕获能力。
未来的发展方向
尽管AIDE模型已在AI生成图像检测领域取得了显著进展,研究者们还计划进一步优化其模型架构,探索更高效的特征提取和融合方法。此外,扩大Chameleon数据集的规模,增加更多类别、场景以及生成模型的图像,以推动AI生成图像检测技术的深入发展。随着技术的发展,如何分辨现实与虚幻将成为社会关注的焦点,治理与应用都需更加审慎。希望这一研究不仅能推动AI检测技术的进步,更能引领我们走向更为理性的数字时代。
完整论文与代码可在以下链接查看:返回搜狐,查看更多
- 论文:arxiv.org/pdf/2406.19435
- 主页:shilinyan99.github.io/AIDE/
- 代码:github.com/shilinyan99/AIDE