登录通行证
欢迎注册帐户
欢迎找回帐户

评测新闻

返回 新闻详情

评测新闻

2021年“智能语音”可信AI评测项目介绍

发布时间:2021-03-09

作者:中国信通院

2021年2月,中国信息通信研究院(以下简称“信通院”)发布了“可信AI评测”体系,共32个测试项目,其中智能语音包含语音识别基础服务、语音合成基础服务、声纹识别基础服务和车载语音交互产品四类。

图片

截至目前,智能语音规范已完成 4 篇,立项在研 6 篇,共有接近五十家企业参与规范制定和讨论,2019、2020年参与评测并获得证书的企业和产品如下:


  • 阿里云计算有限公司

  • 腾讯云计算(北京)有限责任公司

  • 腾讯科技(深圳)有限公司

  • 苏州思必驰信息科技有限公司

  • 同盾科技有限公司

  • 马上消费金融股份有限公司

图片

下面为具体测试项目介绍:

一、中文语音合成基础服务

参考标准:AIIA/PG 000009-2020《智能语音技术与产品评估方法 第1部分:中文语音合成基础服务》

起草单位:中国信息通信研究院、南京新一代人工智能研究院有限公司、中国科学院自动化研究所、科大讯飞股份有限公司、深圳市腾讯计算机系统有限公司、苏州思必驰信息科技有限公司、百度在线网络技术(北京)有限公司、北京搜狗科技发展有限公司。

评测内容:立足产品应用实际场景,从四个维度对中文语音合成基础服务进行综合评估:

Standard 质量基准度——发音准确度、音节清晰度和语音自然度;

Similarity 定制相似度——通过小样本、大样本和粗样本进行定制训练,比较原发音人和合成还原相似程度;

Scene 场景表现力——电信业务、车载驾驶、医疗健康、语言教育、新闻播报、文娱体育、金融服务、法律庭审、家居服务九大场景中场景贴合程度;

Sevice 服务能力——响应时间、服务可靠性、计量准确度、安全防护能力、个人信息保护能力。



二、中文语音识别基础服务


参考标准: AIIA/PG 000025-2020《智能语音技术与产品评估方法 第2部分:中文语音识别基础服务》

起草单位:中国信息通信研究院、南京新一代人工智能研究院有限公司、上海交通大学、科大讯飞股份有限公司、深圳市腾讯计算机系统有限公司、苏州思必驰信息科技有限公司、北京玛达科技有限公司。

评测内容:中文语音识别可信评测从四个方面进行综合评估:

通用识别能力——文字输入类、人机交互类;

基础识别能力——环境适应识别(远场拾音、噪音背景),特定发音识别(低幼、轻口音),不同语速识别(慢语速、正常语速、快语速),场景内容识别;

扩展识别能力——符号数字识别、采样率支持、快速定制功能、错误纠正功能。

服务能力——识别速度、多线程并发能力、服务可靠性、计量准确度、安全防护能力、个人信息保护能力。


三、声纹识别基础服务



参考标准:AIIA/PG 000005-2020《智能语音技术与产品评估方法 第3部分:声纹识别(说话人识别)基础服务》

起草单位:中国信息通信研究院、南京新一代人工智能研究院、北京得意音通技术有限责任公司、中国电信研究院、上海交通大学、苏州思必驰信息科技有限公司、广州国音智能科技有限公司、马上消费金融股份有限公司

评测内容:分别从功能验证、基础性能、应用性能、服务能力四个方面对声纹识别基础服务进行评估:


图片

四、车载语言助手

参考标准:AIIA/PG 000026-2020《人工智能产品智能化等级指标要求和评估方法 第3部分:车载语音助手》

起草单位:中国信息通信研究院、深圳市腾讯计算机系统有限公司、南京新一代人工智能研究院有限公司、苏州思必驰信息科技有限公司、华为技术有限公司

评测内容:从基本评估指标、安全评估指标、智能化评估指标这三个角度对产品能力进行智能化分级评估;

基础评估指标——产品名称、产品版本号、产品基本描述、产品功能、产品涉及的硬件、软件清单信息、保修信息、其他需要披露的信息;

安全评估指标——黄反测试、用户权益测试、安全性测试;

智能化评估指标——语音唤醒能力、语音识别能力、语义理解能力、数据丰富程度、语音播报能力、车机及车辆控制能力、响应速度及稳定性、弱网及离线能力、全双工交互拒识区分能力、个性化识别、多音区支持能力、多模态及情感交互能力。

评测咨询

张秋显  zhangqiuxian@ngai.ac.cn

李  荪  lisun@caict.ac.cn

报名方式

如有评测意愿的企业单位可填写报名表发送至咨询邮箱。


下载地址:

http://www.aiiaorg.cn/uploadfile/2021/0308/20210308034256304.xlsx