AIIA 发布AIIA DNN benchmark系列云侧推断评估方案V0.5

5月27日，中国人工智能产业发展联盟（以下简称“AIIA”或“联盟”）主导的“AIIA DNN benchmark系列云侧推断评估方案V0.5”在中国国际大数据产业博览会上正式发布。“AIIA DNN benchmark 云侧推断 V0.5评估方案”基于AIIA权威测试平台，在典型应用场景下，客观反映具有深度学习处理能力的处理器或加速器的性能水平。

国内权威AI芯片基准测试

为了切实反映当前AI芯片的能力，聚合更多AI芯片企业参与，推动市场的健康发展，2018年10月AIIA联合国内众多企业正式启动AIIA DNN benchmark工作。

经过半年多的工作，AIIA DNN benchmark已发布V0.5端侧推断芯片基准测试指标及评估方法，并于2019年3月发布首轮评估结果，4月启动第二轮评测，预计相关工作进展将会在由AIIA等联合主办的“2019中国人工智能峰会（CAIS 2019）”上发布相关结果。V0.5版本的云侧推断芯片基准测试工作经过半年的讨论修订，就评测指标场景等初步达成一致，依据评估方案将在下半年启动首轮评估工作。

图1 AIIA DNN benchmark系列工作进展

云侧推断任务评估方案发布 

AIIA组织华为、Intel、寒武纪、阿里巴巴、腾讯、赛灵思等企业经过多轮技术讨论确定评估方案。AIIA DNN benchmark V0.5云侧推断评估方案旨在客观反映部署在云端具有深度神经网络加速能力的处理器在完成推断任务时的性能。AIIA总体组组长孙明俊向业界正式发布评估方案。

图2：AIIA总体组组长孙明俊发布云侧推断评估方案

孙明俊表示，云侧推断芯片的评测对象拟涵盖芯片（加速卡）、一体机、云三种形态。v0.5版本的测试中主要针对芯片（加速卡）进行测试，考虑PCIe接口形态。方案包含两大典型场景和五类评测指标，具体地，评测指标包含推断时延、吞吐量、功耗、每瓦算力和指定应用场景下的算法性能指标，如top1 、top5、mAP等。

提供两种评测机制供企业选择

最新公布的云侧v0.5 版本提供了两种评测机制，以吸引更多的企业参与。当前评测机制拟包括「封闭机制」和「开放机制」两种。封闭机制下的限定较多，开放机制鼓励创新。「封闭机制」由评测工作组提供典型应用场景已训练好的模型及其FP32权重，经过参评厂商所提供的量化工具进行量化，其中要求量化后的模型推断准确度大于一定阈值（例如，全精度模型推断准确度-1%）。

「开放机制」允许量化后再训练，以及边量化边训练等方式。任务场景及数据集（训练集、验证集）公开，参评企业提供最终用于推断的模型，同样要求量化后的模型推断准确度大于一定阈值（例如，全精度模型推断准确度-1%）。测试集对参评厂商保密。

AIIA DNN benchmark下半年启动首轮云侧推断评估测试

AIIA DNN benchmarks 将以「版本迭代、不断丰富、不断完善」的工作方式，为更多评测应用场景、评测指标等提供评估方案，未来，AIIA将顺应行业发展需要，持续迭代评估规范。AIIA DNN benchmark云侧v0.5预计将于今年下半年启动首轮测试。

AIIA DNN benchmark V0.5测试评估工具将采用开源方式，面向未来的市场需求，AIIA DNN benchmark项目将持续更新。值得一提的是，前期开展的端侧v0.5项目代码已经开源到Github，链接为:https://github.com/AIIABenchmark/AIIABenchmark

对评测对象、评测场景、评测维度将进一步丰富，覆盖更多应用场景下的AI芯片。可以预见，基于开放、共赢的产业生态，AIIA DNN benchmark项目将吸引更多企业与开发者加入。

关键词： AIIA DNN benchmark 云侧