AIIA 公布首轮AI芯片基准评测结果

Mar 07, 2019

3月6日,由国际电信联盟、中国信息通信研究院联合主办,人工智能产业发展联盟(AIIA)和中兴通讯承办的国际论坛“AI in 5G——引领新时代论坛”在深圳召开。来自全球电信运营商、标准组织、互联网企业、设备厂商、高校等业界各方的专家和嘉宾共聚一堂,探讨AI赋能5G网络智能化以及行业应用创新。AIIA在会上正式发布“AIIA DNN benchmark V0.5首轮评估结果”,评测基于AIIA联盟的权威测试平台,在四大典型应用场景下,客观反映具有深度学习处理能力的处理器或加速器的性能水平。参与首轮评测结果发布的芯片分别是:海思麒麟980和瑞芯微RK3399开发板。


国内权威AI芯片基准测试

AIIA副秘书长王爱华在论坛上介绍了评估的背景情况。为了切实反映当前AI芯片的能力,聚合更多AI芯片企业参与,推动市场的健康发展,在国家发改委、科技部、工信部、网信办的指导下,2018年10月AIIA联合国内众多具有代表性的应用企业、主流芯片企业及芯片工具企业,正式发布《人工智能端侧芯片基准测试评估方案Version 0.5》,并于2018年12月启动首轮评估工作。

1.jpg

图1:AIIA副秘书长王爱华介绍评估背景


首轮评估结果发布 

“AIIA DNN benchmark V0.5测试评估”主要面向端侧,旨在客观反映具有深度神经网络加速处理器在完成推断任务时的能力。AIIA总体组组长孙明俊向业界正式发布首轮评估结果。

2.jpg

图2:AIIA总体组组长孙明俊发布首轮评估结果

孙明俊表示,首轮评估包含四大典型场景(见图3),两大类评测指标,包含速度(fps)和算法性能指标,如top1 、top5、mAP、mIoU、PSNR等。值得一提的是,评测首次在基准测试中将整型和浮点模型分开评测。

3.jpg

图3:评测指标及应用场景

“AIIA DNN benchmark V0.5测试评估”首轮对麒麟980和瑞芯微RK3399开发板两款产品进行了评估。

海思麒麟980——适用于手机终端Mate20系列,工艺7nm。具体评测结果如图4和图5所示。

4.jpg

图4:场景1下海思麒麟980评测结果

5.jpg

图5:场景2/3/4下海思麒麟980评测结果

瑞芯微 RK3399开发板——该芯片在安防等领域有广泛应用,工艺28nm。结果显示,在浮点模型不需要定点化重新训练的情况下,int8计算以精度损失最大为1%的代价,达到了相对于浮点计算两倍的性能(见图6)。

6.jpg

图6:瑞芯微RK3399开发板评测结果

评估工具开源

“AIIA DNN benchmark V0.5测试评估”工具采用开源方式。开源的AIIA DNN benchmark项目支持安卓系统,易于推广到所有 POSIX 兼容系统中,且用户可以根据项目文档,自行添加一个框架或者一个新模型。面向未来,AIIA DNN benchmark项目将持续更新。

孙明俊表示,v0.5版本的benchmark工具可以对基于CPU/GPU/DSP/NPU的终端推断任务进行评测,支持评测的机器学习框架包括TensorFlow/Caffe。目前已经完成的移动端适配环境有:HiAI/MACE/ncnn/SNPE/TensorFlow Lite/arm NN等。

Github :https://github.com/AIIABenchmark/AIIABenchmark


v1.0 版评估方案即将发布

会上,西安交通大学任鹏举教授对AIIA DNN benchmark v0.5版本发布的评测结果进行了解读,并公布了评估方案的后续推进计划。

8.jpg

图7:西安交通大学任鹏举教授解读v0.5版本评估结果

9.jpg

图8:v0.5版本评测结果分析

9.jpg

图9:v0.5版本评测结果分析

最后,ARM中国AI技术市场经理分享了题为《ARM中国周易开放AIoT应用平台》的演讲。他表示,ARM人工智能周易平台已顺利对接AIIA DNN Benchmark项目,基于评测ARM芯片取得了客观公正的AI性能评估报告,方便应用算法公司芯片选型。

11.jpg

图10:ARM中国AI技术市场经理发表演讲

未来,AIIA将顺应行业发展需要,持续迭代评测标准。据了解,AIIA DNN benchmark项目v1.0 正式版将在今年上半年发布,评测对象将进一步丰富,如语音、自动驾驶、安防等场景下的AI芯片。可以预见,基于开放、共赢的产业生态,AIIA DNN benchmark项目将通过工具开源吸引更多企业与开发者加入。



关键词: AIIA DNN benchmark V0 5 评估

访问人数:4122
咨询电话
010-68094158
邮箱
jiahao@aiiaorg.cn
返回顶部