联盟服务

深度学习软件框架第一轮评估通知

Sep 18, 2019

深度学习软件框架是连接数据、算力和算法的关键枢纽,其工业性能直接影响人工智能服务及产品的核心质量。对于推动深度学习乃至人工智能的发展具有重要意义。针对中国人工智能产业发展联盟发布的深度学习框架评测规范,现拟开展第一轮深度学习软件框架评测。

测试将依据中国人工智能产业发展联盟评估规范《深度学习软件框架评估规范》,覆盖了正确性、高效性等测评指标和图像分类、目标检测及机器翻译等应用场景,以框架工业级性能评测为基础,启动相关测试工作。

欢迎各会员单位积极报名参与!

一、评估项目

深度学习软件框架评估第一轮

二、参考规范

《深度学习软件框架评估规范》

三、评估步骤

1、商务确认:请有意参评的企业于9月30日前确认商务内容,商务确认后,即可参与测试工作。

联系人:

刘  硕 13426019405  aiiabenchmark@163.com

2、材料审查和技术测试:9月20日至10月20日

3、测试评审:拟将邀请科研机构相关单位的专家,对此次评估测试进行评审,评审预计将于10月20日至30日期间进行。

4、结果公布:2019年11月初


附「深度学习软件框架评估」简介

一、评测环境

GPU硬件规模如下:GPU集群包含4个节点,每个节点8块GPU。

二、评测场景、数据集及网络简介:

测试场景、数据集和模型如表1所示。

表1评测场景列表

编号

应用场景

数据集

测试模型

1

图像分类

ImageNet

ResNet-50

VGG16

2

目标检测

COCO

Mask RCNN

YOLOv3

3

机器翻译等

Wikipedia + BookCorpus

Bert

三、其他说明:

深度学习软件框架评测秉持「版本迭代、不断丰富、不断完善」的原则开展,期待相关自研框架企业的加入。


资料下载

访问人数:4122
咨询电话
010-68094158
邮箱
jiahao@aiiaorg.cn
返回顶部