联盟服务

权威测评 | 助力共建网络内容安全

Apr 24, 2020

随着5G、人工智能、大数据等新技术应用的不断普及,多媒体信息快速传播,在充实人们精神文化生活的同时,也夹杂着一些不良信息内容。为构建天朗气清的网络空间,网信办去年发布的《网络信息内容生态治理规定》,明确了政府、企业、社会、网民等主体多元参与、协同共治的模式。同时,人工智能作为一项赋能技术,在助力网络内容安全方面发挥重要作用, 可以极大提升审核效率,降低人工成本,规避企业运营风险。开展人工智能网络内容安全测评,对于企业提升内容安全管理的能力和水平,营造良好行业市场环境,起到重要作用。

042401.png

人工智能四大神技

图像识别。主要通过人工智能图像检测、分类和识别等技术,自动禁止负例图片类型,自动通过正例图片类型等。图像检测识别技术又分为基于传统图像处理和机器学习的算法,以及基于深度学习的目标检测与识别算法。目前较为流行的图像分类架构是卷积神经网络。

文本识别。不同文本场景适用不同技术。对于纯文字,有中图法、亚马逊法、高斯分类法等;对于图片中的文字,主要采用OCR文本识别技术;对于长短文本及变形变异字体,有CRF分词、随机森林等技术;对于上下段落中的垃圾文本或不相关的文字或词组,主要采用上下语义识别技术。

语音识别。语音识别技术较为成熟,得到广泛应用。针对说话内容有N-Gram语音识别、关键词检索等技术;针对语种判别有语种识别的技术;针对说话人的识别有声纹识别技术;针对说话内容无关的通常采用音频比对的技术来进行检测。

视频识别。通常采用截帧上传服务器数据对比来识别。常见的视频特征提取手段有2D-CNN、3D-CNN等,按照视频时间的固定间隔抽取关键帧,抽帧间隔灵活选取,再利用模型处理原始图片为特征向量,以高维数据展示并存取图片对应名称以方便后续对比操作。


技术面临三大挑战

鉴别难度不断加大。目前违规数据演化出众多种类和变种,从最初的文本敏感词,到字体拆分、特殊符号混淆以及图片内嵌入违规内容等多种形式,使得鉴别难度上升。

抗检形式更加复杂。随着对抗方法不断演变,违规内容的对抗性越来越强,体现在违规内容的发布上有一定的组织性,以内容形式和账号的变化来对抗检测或运营策略。

判定标准较为缺乏。由于违规内容形式多样,新的违规场景不断出现,缺乏对违规内容的统一判定标准,使跨平台的内容安全审核工作难以提高效率。

现阶段三大进展

规范文件与评测:数据中心联盟撰写了《网络治理能力评估规范:有害信息内容识别服务系统》等系列规范文件,并依据规范文件,于2019年1月18日完成首轮评估测试工作。规范文件和评估结果已和中国人工智能产业发展联盟互认。

自律倡议:2019年11月2日,中国人工智能产业发展联盟发布《互联网信息服务内容安全管理和评估行业自律倡议》,呼吁企业提升内容管理水平,建立安全自评估或委托第三方评估。

沙龙活动:2020年4月14日,中国人工智能产业发展联盟网信技术委员会成功在线举办了内容安全技术分享沙龙。探讨了人工智能在内容安全方面的现状、标准、最佳实践等话题。

下阶段三大工作

下步工作

积极开展内容安全测评。为使人工智能技术更好助力网络内容安全,营造良好市场环境,中国人工智能产业发展联盟与数据中心联盟将继续组织内容安全评测工作。本轮评测已有多家企业报名参与,欢迎更多行业企业报名(评测咨询及报名,联系人:龚文全  18822111839  gongwenquan@caict.ac.cn;评测工作内容,详件附件《评估参考规范》)

完善内容安全评测体系。目前已建立针对文本、图片、视频、语音的专项性能评估,后续拟建立针对场景的性能评估。同时,在现有的基础上,扩展覆盖内容安全的服务类型、行业应用等多个领域。

推动内容安全标准立项。推进该系列标准在CCSA等行业组织的申请立项。



附件:

评估参考规范

评估参考:《网络治理能力评估规范:有害信息内容识别服务系统》,本规范可向垂直领域细化拆分为《内容识别服务系统评估规范:第1部分 基于文本识别的内容检测服务系统指标要求和评估方法》、《内容识别服务系统评估规范:第2部分 基于图像识别的内容检测服务系统指标要求和评估方法》、《内容识别服务系统评估规范:第3部分 基于视频识别的内容检测服务系统指标要求和评估方法》、《内容识别服务系统评估规范:第4部分 基于语音识别的内容检测服务系统指标要求和评估方法》四部分。

评估规范起草单位:中国信息通院研究院、网易杭州科技有限公司、恒安嘉新(北京)科技股份公司网宿科技股份有限公司、北京金山云网络技术有限公司、北京百度网讯科技有限公司。

评估测试指标要求:1)基本信息披露。参评企业应向测评机构提供参评系统基本信息;2)系统成熟度评估。从系统完整性、可靠性、易用性、开放性四个维度评估系统成熟度;3)服务质量评估。从系统服务可审查性、计量准确性两个纬度评估服务质量。

测试流程:

 042406.png



访问人数:4122
咨询电话
010-68094158
邮箱
jiahao@aiiaorg.cn
返回顶部