京企发布深度伪造内容检测平台

2023-11-29 09:28:01 来源:北京日报 作者:刘苏雅

  最近,在互联网视频平台上,相声演员郭德纲说起了流利的英语,这段能以假乱真的视频,其实是通过人工智能(AI)技术生成的。与此同时,“AI换脸”等新型诈骗形式也开始出现,引发了公众的担忧。北京科技企业瑞莱智慧最新发布的生成式人工智能内容检测平台DeepReal2.0,可以轻松识别人工智能生成的图像、音视频及大语言模型生成的文本等,让其无处遁形。

  利用人工智能技术生成的“郭德纲”能用英语说相声,神态、动作、口型都宛如本人,而视频右上角的一行小字“本视频由AI生成”,引得不少网友发出感叹,“人工智能技术太可怕了,不单声音很纯正,就连口型都无可挑剔”,“太自然了,差点儿以为是真的”。

  这类视频的底层技术属于深度合成的技术分支——口型驱动,也就是对人脸信息进行局部篡改,当人工智能模型的训练数据量足够多、方法不断优化,生成的视频用人眼已经难辨真伪。

  “魔高一尺,道高一丈”,人工智能技术伪造的视频,也可以通过人工智能技术加以鉴别。“我们建设的生成式人工智能内容检测平台,就是要‘用AI打败AI’。”瑞莱智慧高级产品经理张天奕介绍,常见的“换脸式”生成视频,一定会存在与真实拍摄不符的痕迹,或出现与常识不符的动作、行为等。检测平台同样借助人工智能技术,在不断学习各类可疑视频的过程中,逐渐掌握识别的窍门,哪怕是细微的像素级篡改痕迹,也逃不过平台的“眼睛”。

  利用学术数据集与主流网络数据集进行测试,该平台的检测准确率已达到99%以上。它的“实战”成绩也相当突出,对图像、视频、音频等生成式人工智能内容检测准确率,已达到国内外业界的顶尖水平。同时,平台还在探索对大语言模型生成文本的识别,不断提升检测的准确率。

  目前,该平台主要服务于政府监管及商业平台需求,尚未对公众开放。前不久出台的《互联网信息服务深度合成管理规定》,明确要求深度合成服务提供者对使用其服务生成或者编辑的信息内容,应当采取技术措施添加不影响用户使用的标识。张天奕表示,公司也在协助相关部门探索更优的标注和识别方式,保障相关技术在法律框架内的有序发展。