2024年3月15日，中国人工智能产业发展联盟（AIIA）安全治理委员会工作会在海口顺利召开。本次会议旨在加强人工智能产业的安全治理，促进产业健康发展，来自中国信通院、百度、华为、vivo、蚂蚁、中兴、安远AI、中国移动、智用人工智能应用研究院等行业专家、企业代表以及高校学者参与本次会议。公安部信息安全等级保护评估中心原副主任、AIIA安全治理委员会专家委主任毕马宁发表了热情洋溢的致辞。他强调了人工智能产业安全治理的重要性，并指出随着技术的飞速发展，人工智能已经广泛应用于各行各业，安全问题也日益凸显。因此，加强安全治理，确保人工智能技术的安全可控，对于产业的可持续发展具有重要意义。AIIA安全治理委员会联络人、中国信通院人工智能研究中心安全与元宇宙部主任石霖向与会人员汇报了委员会近期的工作成果。在全体成员的共同努力下，委员会在人工智能安全治理方面取得了显著进展。委员会积极推动人工智能相关标准和规范的制定工作，以及人工智能风险管理体系建设工作，为产业发展提供了有力的保障。
中国信通院人工智能研究中心安全与元宇宙部工程师吴因佥汇报了AI原生安全工作组的工作进展。为了进一步推动大模型的安全部署应用，建立权威的中文大模型安全测试体系，中国信通院联合17家单位发起大模型安全基准测试（SafetyAI Bench），体系涵盖二十个维度的评测数据集，可以帮助企业提升内容、数据和科技伦理安全能力。此外，通过开展《大模型安全风险防范能力》、《代码大模型安全风险防范能力要求》等标准研制工作，工作组帮助大模型技术提供方进一步增强安全风险防范能力，保障大模型的安全应用。
AIIA安全治理委员会专家委委员、百度安全技术委员会主席、杰出架构师包沉浮带来了题为《AI安全下一阶段的挑战和展望》的演讲。他表示，AI的迅猛发展，在为我们带来一连串惊喜的同时，也孕育着前所未有的机遇与挑战。现有的安全评测手段对安全风险的揭示存在系统性不足，需要有系统化的多样性毒性数据生成手段以及基于毒性分级数据集的安全评测基准。未来的AI安全需要关注的问题将更加现实和严峻，包括大模型数据安全、RAG访问控制、工具供应链安全、AI Agent等多方面的挑战。
AIIA安全治理委员会治理工作组组长、中国信息通信研究院人工智能研究中心高级业务主管呼娜英介绍了ISO/IEC 42001《人工智能管理体系》要点。呼娜英将AIIA安全治理委员会前期《可信人工智能研发管理指南》、“人工智能风险管理体系”的相关工作成果与ISO/IEC 42001对于人工智能系统影响评估、负责任的开发设计人工智能系统的相关要求相融会贯通，在吸纳企业实践的基础上完善更新。AIIA安全治理委员会前期已开展ISO 42001重点问题研讨会，后续将继续联合产业力量形成标准落地规范化指引文件，助力企业负责任的开发、提供或使用人工智能系统，体系化、全流程落实标准规范，服务企业通过人工智能管理体系认证。
中国联通研究院首席研究员，ITU-T SG17 CG-AISEC主席、SG20 Q6报告人加雄伟对《ITU-T人工智能安全类标准与CG-AISEC标准化活动》进行了介绍。加雄伟介绍了ITU-T标准组织架构、AI标准化活动生命周期及AI安全标准的类别。同时，他介绍了AI安全对应关系组（CG-AISEC）的标准化活动，包括其工作范围、研究内容、预期输出等，并表达了对中国专家参与该组工作的期待和欢迎。
中国信通院人工智能研究中心安全与元宇宙部工程师陈杰对“信元令”-数字水印服务进行介绍和发布。“信元令”数字隐写标识平台，利用数字隐藏技术在各类数字媒体中嵌入一定量隐藏信息，可解决AIGC溯源和版权等复杂问题，帮助用户在使用AIGC内容的同时，保证合规和可追溯。
AIIA安全治理委员会专家委委员、安远AI资深研究经理方亮带来了《人工智能安全产业发展趋势和最佳实践》的主题分享。方亮深入探讨了前沿人工智能技术可能带来的极端风险，以及大型模型研发机构应该如何加大在安全和治理方面的投入。他强调了积极探索和实施人工智能的安全与治理方案的重要性，在减少人工智能安全风险的同时，可实现更高的效益。
会议最后，与会代表就当前人工智能产业面临的安全挑战进行了深入交流和探讨。大家一致认为，随着人工智能技术的广泛应用，数据隐私、算法安全、网络安全等问题日益突出，需要各方积极加强合作与交流，共同推动人工智能产业的安全治理工作取得新成效。
此次会议的成功举办，标志着我国人工智能安全治理工作迈出了坚实的一步，将为人工智能产业的安全治理注入了新动力，推动中国人工智能产业迎来更加美好的未来。
中国人工智能产业发展联盟（AIIA）安全治理委员会
AIIA安全治理委员会在人工智能安全治理工作方面，持续深化理论研究，完善人工智能风险治理的“路线图”，开展标准制定，形成安全防御的“坐标尺”，研发工具系统，建设安全防控的“工具箱”，实现推动我国人工智能产业生态建设，促进人工智能在各行业各场景的安全应用落地、提升我国人工智能企业的安全合规能力。
邮箱：chenwentao@caict.ac.cn
