智能疫情防控机器人（外呼类）首轮试评估结果
-
评测产品：智能疫情防控机器人（外呼类）
评测类型：深度评测
涉及领域：
评测时间：2020-02-10
评测机构：中国信息通信研究院
参与人员：
发布时间：2020-03-18
-
-
1 背景意义
当前新型冠状病毒肆虐，随着返工潮的来临，疫情防控难度进一步加大，做好人员身体情况调查和活动轨迹记录是防控疫情的重要环节。为了提升防疫部门在疫情调研、电话通知、人员筛查等环节的效率，精准高效的完成信息收集，多家人工智能企业快速响应、主动出击，开发了各类智能外呼机器人，并已经在各地政府的疫情防控中取得了非常积极的成效。
为了打赢这场疫情防控阻击战，便于相关单位根据需求选择合适的产品，充分发挥人工智能技术在疫情防控中的应用，中国人工智能产业发展联盟（以下简称：联盟或AIIA）迅速开展了智能疫情防控机器人评估测试工作，对征集到的参测产品进行了系统地评测，现将评估分析结果公布如下。
2 参测情况
智能疫情防控机器人首轮试评估共有18家企业报名参加，联盟通过技术测试、材料审查和企业披露等方式对参测产品进行了评测。本次参与评测的企业与产品见下表，排名不分先后，按拼音排序。
3 结果与分析
1 功能评测结果与分析
本轮评测系统测试了方言支持、结果报表、异常上报等7项基础功能指标，测试了筛查、防控、回访等5项业务功能指标。下图给出了功能部分的评测结果，列出了参测产品对于各指标的支持情况：
图1基础功能测试结果
总体而言，参评产品在并发外呼、话术配置和结果报表等方面表现较好，主要有以下三个方面的特点：
o 系统对并发外呼的支持充分保证了呼叫效率，多数参评产品并发能力超过1000；
o 话术配置具备多样性，使得疫情防控机器人的使用场景更为丰富；
o 结果报表支持实时统计和展示关键信息；
图2 业务功能测试结果
针对疫情防控场景，参评产品设置了多种适配话术。在筛查、防控、回访三个话术上，全面支持的参评产品的占比分别达到89%、67%和89%。由于宣教话术通常应用于在线客服场景，因此参评产品中约有一半暂未集成。
2 性能评测结果与分析
本轮评测系统测试了语音识别、语义理解、结果分析等6项服务性能指标。下图（图中系统与上表参评企业排序无对应关系）给出了信息采集能力、统计分析能力、语音识别能力和语义理解能力等多个重要性能指标的准确率。
图3 服务性能测试结果
总体来看，参评产品在信息采集能力、语言识别能力和系统可靠性等方面较为出色，充分利用自身优势助力疫情防控。在信息采集能力方面，参评产品的准确率都超过了83%，可有效保证相关字段信息的获取，从而满足政府、机构等对关键信息的统计和分析需求；在语音识别能力方面，考虑到电话环境噪声嘈杂，参评产品的准确率主要分布在82%-96%之间，可以达到较好的使用效果；在语义理解能力上，各家准确率在80%上下浮动。
3 运营情况统计与分析
除上述功能和性能指标评测以外，在首轮疫情防控机器人评测中，还统计了截至2020年2月7日各参评产品的外呼系统的呼叫情况。下图给出了外呼系统的总呼叫量与日均呼叫量在各数量级上的企业分布情况。
图4 参评产品总呼叫量及日呼叫量规模情况
如图4所示，约有54%的企业呼叫总数为百万级，其余占比较多的总呼叫量分别处于十万级以下、十万级、五十万级和千万级。从日均呼叫量来看，约有85%的企业每天都有超过几万通外呼电话进行信息采集、防控回访。
4 建议与反馈
通过本轮智能疫情防控机器人的评估测试，联盟向各相关企业提出如下建议：
适度增强外呼系统方言支持能力：保证在服务特定地域人群时获得最佳的数据采集和沟通交互的效果；
加大异常样本的识别和上报能力：以更为快速、更加智能的方式帮助相关政府和机构及时发现和隔离疑似感染新型冠状病毒的人群，有效阻断疫情的传播；
可依据交互内容进行针对性宣教：针对近期驻留或途径病毒高发地区的人群、短期流动范围较大的人群进行科学疫情防控的宣传和教导，有针对性的传达相关信息。
4 下一步工作计划
感谢在疫情防控机器人首轮试评估中各相关单位对联盟工作的积极响应和鼎力支持。同时联盟也欢迎需求方联系我们，对各类外呼产品提出更多好的意见建议，联盟愿意做好沟通和交流的平台。在未来工作中，联盟将继续开展疫情防控相关产品评测，欢迎各界积极参与，如有应用或评测需求可与联盟工作人员联系：
董晓飞，13521850718，
dongxiaofei@caict.ac.cn；
张学强，15722924458，
zhangxueqiang@ngai.ac.cn。