联盟服务

2021年“智能语音”可信AI 评测项目介绍

Mar 08, 2021

2021年2月,中国信息通信研究院(以下简称“信通院”)发布了“可信AI评测”体系,共32个测试项目,其中智能语音包含语音识别基础服务、语音合成基础服务、声纹识别基础服务和车载语音交互产品四类。

20210308655872.png

截至目前,智能语音规范已完成4篇,立项在研6篇,共有接近五十家企业参与规范制定和讨论,2019、2020年参与评测并获得证书的企业和产品如下:

² 阿里云计算有限公司

² 腾讯云计算(北京)有限责任公司

² 腾讯科技(深圳)有限公司

² 苏州思必驰信息科技有限公司

² 同盾科技有限公司

² 马上消费金融股份有限公司

20210308642128.png 

 下面为具体测试项目介绍:

一、中文语音合成基础服务

参考标准:AIIA/PG 000009-2020《智能语音技术与产品评估方法 第1部分:中文语音合成基础服务》

起草单位:中国信息通信研究院、南京新一代人工智能研究院有限公司、中国科学院自动化研究所、科大讯飞股份有限公司、深圳市腾讯计算机系统有限公司、苏州思必驰信息科技有限公司、百度在线网络技术(北京)有限公司、北京搜狗科技发展有限公司。

评测内容:立足产品应用实际场景,从四个维度对中文语音合成基础服务进行综合评估

Standard 质量基准度——发音准确度、音节清晰度和语音自然度;

Similarity 定制相似度——通过小样本、大样本和粗样本进行定制训练,比较原发音人和合成还原相似程度;

Scene 场景表现力——电信业务、车载驾驶、医疗健康、语言教育、新闻播报、文娱体育、金融服务、法律庭审、家居服务九大场景中场景贴合程度;

Sevice 服务能力——响应时间、服务可靠性、计量准确度、安全防护能力、个人信息保护能力。

二、中文语音识别基础服务

参考标准: AIIA/PG 000025-2020《智能语音技术与产品评估方法 第2部分:中文语音识别基础服务》

起草单位:中国信息通信研究院、南京新一代人工智能研究院有限公司、上海交通大学、科大讯飞股份有限公司、深圳市腾讯计算机系统有限公司、苏州思必驰信息科技有限公司、北京玛达科技有限公司

评测内容:中文语音识别可信评测从四个方面进行综合评估:

通用识别能力——文字输入类、人机交互类;

基础识别能力——环境适应识别(远场拾音、噪音背景),特定发音识别(低幼、轻口音),不同语速识别(慢语速、正常语速、语速),场景内容识别;

扩展识别能力——符号数字识别、采样率支持、快速定制功能、错误纠正功能。

服务能力——识别速度、多线程并发能力、服务可靠性、计量准确度、安全防护能力、个人信息保护能力。

三、声纹识别基础服务

参考标准:AIIA/PG 000005-2020《智能语音技术与产品评估方法 第3部分:声纹识别(说话人识别)基础服务》

起草单位:中国信息通信研究院、南京新一代人工智能研究院、北京得意音通技术有限责任公司、中国电信研究院上海交通大学苏州思必驰信息科技有限公司广州国音智能科技有限公司、马上消费金融股份有限公司

评测内容:分别从功能验证、基础性能、应用性能、服务能力四个方面声纹识别基础服务进行评估 

图片3.png

四、车载语言助手

参考标准AIIA/PG 000026-2020《人工智能产品智能化等级指标要求和评估方法 第3部分:车载语音助手》

起草单位:中国信息通信研究院、深圳市腾讯计算机系统有限公司、南京新一代人工智能研究院有限公司、苏州思必驰信息科技有限公司、华为技术有限公司

评测内容:基本评估指标、安全评估指标、智能化评估指标这三个角度对产品能力进行智能化分级评估:

基础评估指标——产品名称、产品版本号、产品基本描述、产品功能、产品涉及的硬件、软件清单信息、保修信息、其他需要披露的信息

安全评估指标——黄反测试、用户权益测试、安全性测试;

智能化评估指标——语音唤醒能力、语音识别能力、语义理解能力、数据丰富程度、语音播报能力、车机及车辆控制能力、响应速度及稳定性、弱网及离线能力、全双工交互拒识区分能力、个性化识别、多音区支持能力、多模态及情感交互能力。

Ø 评测咨询

张秋显  zhangqiuxian@ngai.ac.cn

  荪  lisun@caict.ac.cn

Ø 报名方式

如有评测意愿的企业单位可填写报名表(点击“http://www.aiiaorg.cn/uploadfile/2021/0308/20210308034256304.xlsx”下载),发送至咨询邮箱

◆◆前期评测情况回顾◆◆

2019AIIA中文语音合成4S首轮评估测试结果解读

链接:https://mp.weixin.qq.com/s/SFm5hczHbGNstFcgRS09lA

2020AIIA智能语音评测结果解读

链接:2020AIIA智能语音评测结果解读.pdf


访问人数:4122
咨询电话
13552233274
邮箱
wanghongjing@aiiaorg.cn
返回顶部