政策资讯

Policy & information

全球首个AI 芯片基准测试国际标准正式发布

Dec 31, 2020

ITU于2020年8月正式发布AI芯片基准测试标准:ITU-T F.748.11 “Metrics and evaluation methods for a deep neural network processor benchmark(深度学习处理器基准测试评测指标与方法)。

 

评测标准是AI芯片产业的基础和标尺

近年来,AI芯片发展呈现出百花齐放的态势,然而在产业成熟度、落地应用等方面仍存在诸多问题。其中,AI芯片的选型就是当前人工智能企业面临的一大难题,建立AI芯片测评标准已成为助力人工智能产业健康发展的一大诉求。基准测试是一种常用的性能指标测试方式,在计算架构演进中扮演着非常重要的角色,清晰的基准测试指标,不仅可以帮助技术供给企业快速进步,还可为需求方的选型提供参考。

目前,AI芯片的评测,国际上主流的有MLPerf,苏黎世理工的AI benchmark,国内有中国人工智能产业发展联盟(以下简称“AIIA”或“联盟”)的 AIIA DNN benchmark,小米的Mobile AI bench, 中科院计算所智能计算机研究中心的NPUBench等。这些评测多数属于基准测试的范畴,由于这些基准测试的出发点不同,设计的思路,基准测试的内容和评估指标也都不尽相同,业界尚未有公认的基准测试标准。权威基准测试标准的缺失,一定程度上导致了人工智能应用企业、集成商、开发者无法准确评价芯片在同行业的技术水平,也无法体现国际市场中的地位。

首个AI芯片基准测试国际标准

ITU发布的首个AI基准测试评测标准,ITU-T F.748.11 “Metrics and evaluation methods for a deep neural network processor benchmark(深度学习处理器基准测试评测指标与方法),提出了AI处理器/加速器在完成以深度学习为代表的人工智能任务时的基准测试框架,涵盖训练任务、推理任务的基准测试评估指标(Metrics),具体的评测方法和推荐评测场景下的工作负载(Workload)。基准测试指标包括时间、吞吐、能效比和准确率等,评测场景以视觉、语音、推荐三大类场景为主,具体包括图像分类、目标检测、语音识别、机器翻译等8大类AI应用。

1.png

该项国际标准由中国信息通信研究院牵头,于2019年7月在国际电信联盟第十六研究组(简称ITU-T SG16)Q5 报告人会议上提出立项,并担任编辑人(Editor),历时近1年,经过多轮讨论修订,于2020年6月22日-7月3日,举行的ITU-T SG16全体会议提交报批并通过全会审议进入公示阶段,于2020年8月正式发布。

其评测方法、评测指标及场景参考并采纳了联盟评估规范、AIIA DNN benchmark项目相关研究和中国通信化标准协会行业标准的相关内容,参与单位包括华为、腾讯、Arm中国、寒武纪、阿里巴巴、百度、Intel、赛灵思、Imagination、紫光展锐、鲲云科技、地平线、南京新一代、西安交通大学、清华大学等20余家企业、高校及科研机构。

AI 芯片基准测试国际标准的正式发布,标志着我国在AI芯片领域评测能力得到了国际认可,也是我国AI芯片科研人员对国际标准化研究的重要贡献,将为我国AI芯片技术、产品和评测走出国门开辟了道路。

关于ITU-T SG16

ITU(国际电信联盟)为三大国际标准化组织之一,ITU-T即国际电信联盟电信标准分局 (ITU-T for ITU Telecommunication Standardization Sector), 它是ITU管理下的专门制定电信标准的分支机构。ITU-T SG16是国际电信联盟标准化局非常活跃的研究组,主要研究领域为多媒体与e-Services。目前,SG16的研究范围覆盖了视频与音频处理与压缩编码、视频监控、内容分发、大数据、区块链、人工智能等众多热点标准化研究方向。

关于AIIA DNN benchmark

2017年起,中国信息通信研究院联合20余家国内外企业、高校及科研机构,在联盟下发起AI芯片基准测试评估项目AIIA DNN benchmark,目标是围绕人工智能芯片研究制定客观、可信及可复现的评估指标,为产业界提供专业评估评测服务。目前AIIA DNN benchmark已初步形成端+云全方位基准测试方案,来自华为、Arm中国、高通、赛灵思、Imagination、启英泰伦、鲲云科技、上海海思等企业的AI芯片参与了评估评测,项目受到了国内外产业界的广泛认可。

 2.png

(http://www.aiiaorg.cn/benchmark)

联系人

中国信通院云计算与大数据研究所

张蔚敏,邮箱:zhangweimin@caict.ac.cn 电话:010-62302490

张哲煜,邮箱:zhangzheyu@caict.ac.cn 电话:010-62302490


关键词:

访问人数:4122
咨询电话
13552233274
邮箱
wanghongjing@aiiaorg.cn
返回顶部