AI造假屡禁不止，AIGC鉴别刻不容缓

近日，有读者向上海辟谣平台反映，某资讯平台发布了一条未编写完整的AI假消息。消息称“10月15日凌晨，上海外滩，一辆价值300万的法拉利跑车失控撞上护栏”，但事实上当天并没有发生这起车祸，且资讯平台上为AI写的提纲都未删除。

资讯平台上，为AI写的提纲都没有删除，AI生成的假消息已经发布了（截屏）

无独有偶，某社交平台上一条“在上海，记住浦东这栋楼，根本走不出来”的视频也被网友投诉。视频里的楼宇采用热门IP拉布布（Labubu）的造型，发布者还详细介绍了该楼宇所在地、交通方式等。然而，该Labubu造型大楼是AI生成的，明显是假的。原来，发布者是想用AI制作的视频为一家与图片完全无关的商铺引流，有网友指责其“假成这样良心不痛”。

有账号用AI生成假视频，为相关店铺引流（截屏）

一段时间以来，AI造假现象屡禁不止。尽管众多平台要求发布者声明“含有AI生成”，但仍有不少AI假消息试图博人眼球。

面对质量参差不齐的AIGC（人工智能生成内容），我们该如何应对呢？

“用魔法打败魔法”

在业界，“用魔法（AI）打败魔法（AIGC）”的呼声日益高涨。

上海辟谣平台调查发现，国内不少企业致力于AIGC鉴别，研究方向各有侧重，形成了视频鉴别、图像鉴别、文本鉴别等不同赛道，部分成果已落地应用。实践证明，用AI识别AI的准确度和效率都较高。

上海企业合合信息自研的TextIn通用篡改检测平台，被银行、保险、证券、零售、汽车等多个行业采用，可检测财务凭证、商场机打小票、身份证、护照、行驶证、驾驶证、港澳台证件等数十种常用卡证的篡改情况。正常情况下，误检率不到千分之一，且能对单个样本实现“毫秒级检测”，效率极高。

合合信息TextIn通用篡改检测平台精准识别商场小票篡改痕迹（采访对象提供）

相关团队负责人表示，AI生成或篡改的图像、视频存在肉眼难以察觉但技术能发现的瑕疵，如像素差异、光线不合理、违背物理常识等。通过针对性训练鉴别大模型，可有效提高鉴别率。

腾讯朱雀实验室团队的技术人员让记者判断4张图片和2份文稿哪些是人拍、人写的，哪些是AI生成的，从图片细节、行文风格和结构逻辑上很难分辨，但使用相关大模型检测，一秒就能得出结果。用该大模型测试网络上的AI假新闻、假广告，准确率极高。

朱雀实验室提供的测试图片，4张照片中，只有图3是真的（采访对象提供）

两篇文稿中，左边是“人写的”，右边是“AI生成的”（采访对象提供）

技术人员以文稿为例解释，AIGC文本内容宏观上流畅自然，但微观特征与人类写作不同。比如，生成模型预测下一个词时有概率分布偏好，更倾向于选择安全、高频的词汇组合，而人类写作会使用一些不常见但地道的表达；人类创作有更多爆发性，会使用意想不到的词汇，AIGC文本则缺少这种突变性。因此，可借助AI捕捉人类数据与AI生成内容的特征差异，鉴别AIGC文本内容。

给AIGC鉴别更多关注度

某不愿具名的业内人士表示，在专业展会上，企业多展示AIGC内容的逼真和高效，公众也更关注“AIGC多厉害”，此时谈AIGC鉴别似乎不合时宜。但实际上，有必要给予AIGC鉴别技术更多关注。AIGC虽降低了内容创作门槛，但导致互联网上低质量、误导性内容增多，甚至有不法分子利用其进行坑蒙拐骗。所以，应鼓励更多企业投入AIGC鉴别技术开发，引导平台应用相关成果，从源头减少造假行为。

防止AIGC滥用并推动鉴别技术发展，需要整个生态共同努力。

一方面，AIGC开发者在训练模型时，要设置安全护栏，确保模型输出内容安全可信。同时，可给生成内容添加看不见的“身份证”，便于溯源。例如，“半脆弱性数字水印”可在不破坏图像、视频内容的基础上，在人脸等重要表征嵌入肉眼不可见的水印信息。图像或视频一旦被编辑修改，水印就会被破坏，使用数字水印检测器能轻松发现编辑痕迹。

另一方面，社交媒体、视频网站、资讯平台等信息发布平台要做好“守门人”，部署模型工具检测识别平台内容，做好标签化处理。明确规范信息发布者为相关内容打上“包含AI生成内容”“全部由AI生成”等标签，建立快速响应机制，对利用AIGC进行欺诈、造谣的内容快速下架。

此外，普通人可使用面向公众的AIGC鉴别工具判断互联网消息真伪。朱雀实验室团队建议，无法从文本或图片识别真伪时，先用AI检测工具初筛，再对检测出的AI生成内容重点筛查，期间利用AI等新技术在权威媒体、官方通报、学术数据库等可信信源交叉检索，验证内容可信度，综合判断信息真伪。

总之，整个行业要不断完善AIGC治理的标准和法规，目标不是禁止AIGC，而是为其装上“安全阀”，让它更好地创造价值。

本文仅代表作者观点，版权归原创者所有，如需转载请在文中注明来源及作者名字。

免责声明：本文系转载编辑文章，仅作分享之用。如分享内容、图片侵犯到您的版权或非授权发布，请及时与我们联系进行审核处理或删除，您可以发送材料至邮箱：service@tojoy.com