中国信通院联合工作组全体成员单位，共同研制了《大规模预训练模型技术和应用评估方法》《面向行业的大规模预训练模型技术和应用评估方法》等系列标准。前者包含模型开发、模型能力、模型运营、模型应用和可信要求五个部分，后者覆盖金融、电信、教育、汽车、传媒、政务、家居、企服、招聘等行业。截至2024年2月，中国信通院人工智能研究中心已开展3轮大模型标准符合性验证工作，累计为30余家单位提供60余个模块的验证服务。

图1 可信AI大模型标准符合性验证清单

2023年11月29日 - 2023年12月11日，智谱AI 参与中国信通院组织的可信AI大模型标准符合性验证工作，通过大语言模型专项验证并获得4+评级。此次验证，依据《大规模预训练模型技术和应用评估方法 第2部分：模型能力》标准开展，以多项语义理解和文本生成任务综合评估大语言模型在智能语义领域中的功能丰富度和性能优越度。

参与本次标准符合性验证的智谱AI ChatGLM3-130B V0.7在智能语义领域中的功能丰富度和性能优越度两方面均表现较好。在功能丰富度方面，该大模型支持词法分析、句法分析、语义分析、机器翻译、对话系统、情感分析、文本分类、文本生成、代码生成、知识图谱等15项语义任务。在性能优越度方面，该大模型在语义分析、语义消歧、文本分类等基础任务上具备较高的准确率、召回率和F1值，在机器翻译、对话系统、文本生成、代码生成、文本内容推荐等高阶任务上具备较高的可接受度。

图2 智谱AI ChatGLM认知智能大模型

智谱AI ChatGLM（包括 ChatGLM3-130B V0.7），是基于GLM预训练框架的双语对话模型，采用了独创的多阶段增强预训练方法，针对中文问答和对话进行了优化。结合量化技术，用户可以在消费级显卡上进行本地部署（INT4量化级别下最低只需6GB显存），并可以在笔记本电脑上运行自己的ChatGLM。目前，智谱AI 系列大语言模型、代码大模型及多模态模型等，已成功应用于多家智谱AI 合作客户旗下的多款智能设备，如智能汽车驾驶座舱、智能手机、智能音箱等，用户可以通过文字输入、语音输入甚至图片输入进行多模态信息的交互。

第四轮可信AI大模型标准符合性验证工作现已启动报名，欢迎各方单位参与。