登录通行证
欢迎注册帐户
欢迎找回帐户

联盟动态

返回 新闻详情

联盟动态

2023 AIIA先锋案例 | 对抗式生成方法在自动驾驶安全保障中的应用

发布时间:2024-03-25

作者:中国信通院



2023年12月7日,2023 AIIA人工智能十大先锋应用案例在中国人工智能产业发展联盟(AIIA)第十次全体会议上正式发布,由重庆长安汽车股份有限公司申报的案例对抗式生成方法在自动驾驶安全保障中的应用成功入选十大潜力应用案例。


案例简介


自动驾驶技术作为数字化转型的前沿领域,承载着提升交通安全、效率和智能化水平的重要使命。本案例聚焦于自动驾驶在极端和对抗性环境下的安全性能,特别是在感知鲁棒性和决策安全方面的深入研究和测试。通过建立模型鲁棒性评估平台和自然对抗仿真场景生成框架,该项目不仅推动了自动驾驶技术的安全性能提升,也为智能化交通系统的发展提供了重要支撑。

本案例将从感知安全和决策安全角度出发,验证自动驾驶在感知鲁棒性和自然对抗下场景的应急处置能力,全面测试自动驾驶安全技术。针对感知鲁棒性测试,项目建立了一个模型鲁棒性评估平台。该平台可以自动生成对抗样本,使用这些样本来测试各种车辆感知算法。通过持续的评估,可以跟踪模型性能的变化,识别其弱点。同时项目开发了一套对应的鲁棒性加固工具,使其能够抵御对抗样本攻击,提高其鲁棒性。针对决策层面的对抗场景测试,建立了一套自然对抗仿真场景生成框架,可生成包含不限于高速、城区、上下匝道等特殊场景下的自然对抗仿真驾驶场景,高效测试自动驾驶轨控算法在对抗场景下的应变能力,降低算法在真实世界中的事故发生率。


行业痛点


本案例针对的痛点在于自动驾驶技术中感知系统的鲁棒性和决策系统的应急处置能力。当前,自动驾驶技术面临的主要挑战之一是如何确保在复杂、变化多端的真实世界环境中,尤其是在自然对抗条件下,车辆的感知系统能够准确、可靠地工作。这涉及到的不仅仅是感知硬件的性能,更重要的是感知算法在面对不同、未知或故意干扰的情境下依然能保持高效和精准的处理能力。


此外,自动驾驶决策系统在紧急情况下的应对能力也是一个关键痛点。在复杂的道路环境,如高速公路、城市街区、匝道等,需要确保决策系统能够迅速、准确地做出响应,以应对突发情况,从而有效降低事故发生率。这要求决策系统不仅要有强大的数据处理能力,还要能够在多变的环境中做出合理的判断和决策。因此,针对这些痛点,本项目通过建立模型鲁棒性评估平台和自然对抗仿真场景生成框架,旨在全面提升自动驾驶技术的安全性能,确保其在现实世界中的可靠性和实用性。


成果亮点


在感知安全方面。为提升长安智驾感知系统的鲁棒性,构建了对抗样本攻防平台。平台采用一种综合性的闭环数据流转与模型进化机制,专注于提升人工智能系统的感知能力和鲁棒性,确保在面对多变的安全威胁时,智驾感知系统的应对策略是全面且有效的。平台从实际应用场景中收集数据,这些数据反映了现实世界中各种可能的情况,然后辅以先进的对抗样本生成技术,创造出各类模拟攻击场景的数据样本。这些样本旨在模拟现实环境中可能出现的各种攻击模式,如图像识别系统中的精细像素级变更,以此来提高智驾系统的预见性和应对复杂性。在感知模型的对抗性训练阶段,对抗样本被用于系统地训练和测试模型。此过程中,采用先进的攻防对抗算法,使攻击模型不断优化其生成的对抗样本,以尽可能地欺骗防御模型。同时,防御模型则通过学习这些样本,提升其识别和防御对抗攻击的能力。这种持续的攻防循环,促进了感知模型在各种复杂环境下的鲁棒性和适应性的提升。在模型评估阶段,利用独立的测试集和评估标准来全面审视模型的性能,以确保其在实际部署前能够抵御各种潜在的攻击手段。此外,平台还采用了动态迭代机制,基于实时反馈不断调整对抗样本生成策略和模型优化路径。这种闭环的数据流转和模型进化策略,不仅提高了模型在当前环境下的性能,而且保证了其对未来威胁的应对能力。长安对抗样本攻防平台通过这种全面、系统和动态的方法,确保了智驾感知系统在各种复杂环境中的安全性和可靠性,有效地应对了当前和未来的安全威胁。

4.png

图1 长安对抗样本攻防平台


在决策安全方面,由于真实世界中缺少真实车辆之间的对抗场景,自动驾驶算法在对抗场景中的应急处置能力,直接决定了是否有交通事故的发生,急需在仿真环境中,搭建各种场景下的对抗场景来验证自动驾驶车辆,提升轨控算法应变能力。使用自然对抗仿真驾驶场景生成技术,功能场景生成层面,基于自然驾驶数据集对IDM+MOBIL决策模型进行参数校准,使用贝叶斯优化方法,以最少的迭代步数搜索到使目标函数获得最大值的参数组合,并使用Flow-based的生成模型,使用深度模型拟合真实数据的分布。使用生成对抗模仿学习(GAIL)对人类驾驶行为策略进行建模。Reward设计主要通过危险性和自然性度量组成,TTC指标、是否碰撞等表达危险性,KL散度、遵守交通规则等度量自然性。并采用Adam优化器进行网络参数优化。基于本技术方案,实现在仿真环境中,特定场景下自然对抗场景的自动生成,测试涵盖诸如高速、城区、十字路口、上下匝道等超过5000+基础场景下的自然对抗场景,实现主车轨控算法全面测试,按Waymo自动驾驶测试每21万公里发生一次重大事故的报告测算,本研究技术提出的方法对碰撞效率平均提升约200万倍,高效验证自动驾驶在决策层面的应急处置能力,让自动驾驶安全事故止步于仿真环境。


5.png

图2 对抗场景生成方案及仿真集成效果


应用实效


通过对抗样本技术实现自动驾驶感知系统的安全性验证从数据层面项目需获取大量的真实世界驾驶数据,并通过对抗性攻击生成对抗性样本。这不仅提供了评估模型鲁棒性的基础,也为加固模型提供了训练资源。同时针对量产的自动驾驶感知算法经过对抗训练,可以有效地欺骗感知模型,项目针对性开发加固技术,可以增强车辆感知系统的稳定性。目前基于对抗样本攻击来测试自动驾驶感知鲁棒性已经被应用在长安自动驾驶系统的开发和维护中,能够识别和修复模型漏洞,提高自动驾驶系统的鲁棒性和安全性。测试平台可支持多方法和多攻击场景的模拟,这有助于提高自动驾驶系统的普适性和可靠性。同时平台可以帮助开发团队快速识别和修正系统中的漏洞,加速自动驾驶技术的迭代更新。量化指标可以是缩短的开发周期和提高的迭代次数。平台的设计应支持大规模并行测试,以满足不断增长的自动驾驶车辆测试需求。量化指标可以是同时处理的测试案例数量和平台的处理能力。


通过自然对抗仿真驾驶场景生成技术,生成不同场景下的自然对抗仿真驾驶场景,验证自动驾驶轨控算法在对抗场景下的能力。本项目采用了深度学习领域的生成对抗网络,通过训练生成器和判别器两个神经网络模型,实现了对真实驾驶场景的高度逼真模拟。目前对抗仿真实现在VTD仿真软件的集成,用于自动驾驶仿真环境测试,可自动在云仿真环境中,测试主车轨控算法在各种对抗场景下的处置能力,解决人为搭建对抗场景难,购买对抗场景成本高的问题。当前可实现平均1分钟生成一个对抗场景,提升仿真测试人员测试效率,且已在最新车型上测试验证。购买对抗场景,按照300元/个,人工搭建对抗场景,按5个对抗场景/人天计算,一个自动驾驶系统版本上车,至少要验证5万个以上不同的对抗场景,本案例可节约人工成本10000/人天,人力成本节约400万,若购买对抗场景,节约采购成本约1500万。本案例产生的两篇高价值专利均在实审中。社会效益层面,通过在仿真环境中充分验证各种对抗驾驶场景,大幅度降低量产的自动驾驶车辆在真实世界中发生事故的概率,最大限度让问题暴露在仿真环境中,保障自动驾驶安全。


创新突破


本案例的实施,在技术创新、模式创新、应用实效等方面都有突出亮点。


1.技术创新

模型鲁棒性评估平台:这一平台的创新之处在于其能够自动生成对抗样本,用于测试和评估车辆感知算法的鲁棒性。对抗样本是指经过特殊处理的输入数据,能够误导深度学习模型做出错误判断。该平台通过模拟各种现实场景下可能遇到的干扰,提供了一种全新的方式来测试和优化感知算法的鲁棒性。


鲁棒性加固工具:对于识别出的模型弱点,项目团队开发了一套对应的加固工具,提升模型对抗对抗样本攻击的能力。这些工具通过算法优化、数据增强等技术手段,增强模型的泛化能力和抗干扰性。


2.应用创新

自然对抗仿真场景生成框架:在决策层面的创新主要体现在仿真测试场景的生成。该框架能够创建包括高速公路、城市街区和匝道等在内的多种特殊自然对抗环境,为自动驾驶系统提供了更接近现实的测试条件。这些仿真场景不仅增加了测试的全面性,而且提高了自动驾驶系统在真实世界环境中应对突发情况的能力。


轨控算法的应急处置能力测试:在自然对抗环境中测试自动驾驶的轨控算法,是对自动驾驶决策层面的一大应用创新。通过这种方式,项目可以评估并提升自动驾驶系统在复杂环境中的应变能力,特别是在面对突发事件时的应急处理能力。


3.模式创新

持续的性能评估和优化:该项目采用了一种持续评估和优化的方法来跟踪自动驾驶模型的性能。通过持续收集数据,分析模型表现,并针对识别出的问题进行调整和优化,这种方法确保了自动驾驶技术能够持续进步,适应不断变化的环境和要求。


全面测试与安全保障机制:通过综合考虑感知安全和决策安全,该项目实施了一种全面的测试和安全保障机制。这不仅包括硬件和软件的测试,还包括整个自动驾驶系统的综合性能评估,确保了在各种复杂环境下的安全性和可靠性。

综上所述,该案例在自动驾驶技术领域展现了显著的创新性。技术创新通过提供先进的评估平台和加固工具来增强模型的鲁棒性;应用创新通过创造接近真实的测试环境来提升自动驾驶系统的应急处置能力;模式创新则体现在采用持续评估和全面测试的方法,确保技术的可持续发展和应对复杂环境的能力。这些创新在促进自动驾驶技术向前发展的同时,也为相关行业提供了宝贵的经验和参考。


中国人工智能产业发展联盟(AIIA)是在国家发改委、科技部、工信部、网信办指导下,由中国信息通信研究院等单位发起的行业组织,立足于搭建全球化的人工智能生态合作平台。


“2024 AIIA先锋案例”征集工作即将于3月15日在海口召开的AIIA第十一次全体会议(点击阅读原文报名)上启动,继续挖掘并培育更多的人工智能应用标杆案例,为数字经济高质量发展和赋能新型工业化提供更多助力。


联系人:黄老师13810072772