联盟服务

启动2020年度首批AIIA benchmark 基准测试

May 15, 2020

随着人工智能产业的迅速发展,产业界对人工智能领域建立完善统一的评价标准与体系的需求愈发强烈。针对这一产业现状,由联盟计算架构与芯片推进组推动建立“AIIA benchmark体系”,通过设计科学的测试方法、测试工具和测试系统,可实现对典型技术能力和产业应用的人工智能产品进行定量的、可对比的测试。 

现拟基于“AIIA DNN benchmark 项目”,开源开放推进组“深度学习软件框架”评估,评估组已开展的自然语言处理技术与智能语音技术系列评估项目,启动2020年度基准测试工作。

AIIA benchmark测试结果经双方认可后实时在官网(http://www.aiiaorg.cn/benchmark )更新,评测对象与场景详见评测子项目,同时欢迎各单位提供更多评测场景与建议增设的指标。

欢迎各会员单位积极报名参与!

一、评估项目

AIIA benchmark 2020年度首批评估评测项目

项目编号

名称

参考AIIA联盟评估规范

AIIA benchmark/E 12001—2020-01

硬件/系统:AIIA DNN benchmark v0.6

《人工智能芯片基准测试评估规范:第1部分:基于端侧推断的深度神经网络处理器基准测试指标及评估方法》

《人工智能芯片基准测试评估规范:第2部分:基于云侧推断的深度神经网络处理器基准测试指标及评估方法》

AIIA benchmark/E 12001—2020-02

硬件/系统:开源深度学习软件框架

《深度学习软件框架评估方法》

AIIA benchmark/E 12001—2020-03

基础应用技术:自然语言处理技术-机器翻译benchmark

《自然语言处理 第2部分:机器翻译指标要求和评估方法》

AIIA benchmark/E 12001—2020-04

基础应用技术:智能语音技术-语音合成、语音识别benchmark

《中文语音合成基础服务指标评估规范》

《中文语音识别基础服务指标评估规范》

 二、评测步骤

1、企业报名:请有意参评的企业确认参测项目和商务内容

2、达成协议:商务确认后,即可参与测试工作 

3、前期技术对接:明确测试方案

4、基准测试:按约定完成基准测试

5、结果公布 :企业按照参与方式报名,完成测试,双方认可结果后,AIIA实时公布结果到官网(网站:http://www.aiiaorg.cn/benchmark/

6、大会发布:联盟会根据会议举办时间,发布季度/半年度/年度结果,具体时间视联盟主办/承办大会时间决定。

三、报名联系人

联系基准测试子项目负责人报名,并获得项目具体说明:

项目名称

联系人

硬件/系统:AIIA DNN benchmark v0.6

张蔚敏 13552276063

<zhangweimin@caict.ac.cn>

硬件/系统:开源深度学习软件框架

张哲煜 18514502903

<zhangzheyu@caict.ac.cn>

基础应用技术:自然语言处理技术-机器翻译

张学强 15722924458

<zhangxueqiang@ngai.ac.cn>

基础应用技术:智能语音技术-语音合成、语音识别

李荪 18611353631  

<lisun@caict.ac.cn>

AIIA benchmark将以「版本迭代、不断丰富、不断完善」开展,期待你的加入。



访问人数:4122
咨询电话
010-68094158
邮箱
jiahao@aiiaorg.cn
返回顶部