中国信通院联合工作组全体成员单位，共同研制了《大规模预训练模型技术和应用评估方法》《面向行业的大规模预训练模型技术和应用评估方法》等系列标准。前者包含模型开发、模型能力、模型运营、模型应用和可信要求五个部分，后者覆盖金融、电信、教育、汽车、传媒、政务、家居、企服、招聘等行业。截至2024年3月，中国信通院人工智能研究中心已开展3轮大模型标准符合性验证工作，累计为30余家单位提供60余个模块的验证服务。

图 1 可信AI大模型标准符合性验证清单

2024年2月，新华三技术有限公司参与中国信通院组织的可信AI大模型标准符合性验证工作，顺利完成大语言模型专项验证并最终获得4+评级，是首批通过该项验证的国内面向行业场景的企业。此次验证，依据《大规模预训练模型技术和应用评估方法 第2部分：模型能力》标准开展，以多项语义类任务和文本类任务综合评估大语言模型在智能语义领域中的功能丰富度和性能优越度。

参与本次标准符合性验证的百业灵犀大模型在智能语义任务中的功能丰富度方面和性能优越度方面均表现较好，具备行业场景的智能语义能力。在功能丰富度方面，百业灵犀大模型支持词法分析、句法分析、文本生成、知识图谱等12项智能语义任务。性能优越度方面，该大模型在句法分析、语义分析、文本分类等低阶任务上具备较高的准确率、召回率和F1值，在机器翻译、对话系统、文本生成等高阶任务上具备较高的可接受度。