CN115526055B - 模型鲁棒性检测方法、相关装置及存储介质 - Google Patents
模型鲁棒性检测方法、相关装置及存储介质 Download PDFInfo
- Publication number
- CN115526055B CN115526055B CN202211230871.3A CN202211230871A CN115526055B CN 115526055 B CN115526055 B CN 115526055B CN 202211230871 A CN202211230871 A CN 202211230871A CN 115526055 B CN115526055 B CN 115526055B
- Authority
- CN
- China
- Prior art keywords
- target
- vehicle
- operation instruction
- countermeasure
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 102
- 238000003860 storage Methods 0.000 title claims abstract description 54
- 230000008447 perception Effects 0.000 claims abstract description 137
- 238000000034 method Methods 0.000 claims abstract description 65
- 230000004044 response Effects 0.000 claims abstract description 38
- 238000004088 simulation Methods 0.000 claims description 66
- 238000012545 processing Methods 0.000 claims description 64
- 241000283070 Equus zebra Species 0.000 claims description 30
- 230000008859 change Effects 0.000 claims description 28
- 230000000007 visual effect Effects 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 11
- 230000000694 effects Effects 0.000 abstract description 7
- 238000005516 engineering process Methods 0.000 description 36
- 238000010586 diagram Methods 0.000 description 29
- 230000006870 function Effects 0.000 description 24
- 230000008569 process Effects 0.000 description 16
- 238000013473 artificial intelligence Methods 0.000 description 15
- 238000004891 communication Methods 0.000 description 12
- 230000003993 interaction Effects 0.000 description 12
- 238000007726 management method Methods 0.000 description 7
- 230000008878 coupling Effects 0.000 description 6
- 238000010168 coupling process Methods 0.000 description 6
- 238000005859 coupling reaction Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 238000013461 design Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- -1 pedestrians Substances 0.000 description 2
- 239000011435 rock Substances 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Evolutionary Computation (AREA)
- Geometry (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请实施例公开了一种模型鲁棒性检测方法、相关装置及存储介质。所述方法包括：接收用户针对目标对象的第一操作指令，所述第一操作指令用于指示为所述目标对象添加目标对抗图案，所述目标对象为当前在所述第二区域中显示的待攻击对象，所述目标对抗图案为用户从多个所述候选对抗图案中选中的对抗图案；响应于所述第一操作指令，将所述目标对抗图案添加到所述目标对象的有效范围内，得到目标对抗样本；将所述目标对抗样本输入所述车辆感知模型，得到识别结果，所述识别结果用于控制所述虚拟控制器生成所述目标车辆的驾驶指令。通过实施本申请实施例的方法可提高对模型的攻击效果以及缩短模型的迭代周期。
Description
技术领域
本申请涉及人工智能技术领域，尤其涉及一种模型鲁棒性检测方法、相关装置及存储介质。
背景技术
随着计算机硬件水平的提升和大型自动驾驶数据集的创建，基于深度学习的感知技术在自主机器人、自动驾驶等领域应用越来越广泛。由于深度学习模型内部复杂的设计和基于数据驱动的原理，模型的可解释性较低且具有“黑盒”特性，因此模型容易受到难以察觉的攻击而出现与人的思维不符的结果，这可能在行车途中造成难以估量的损失。为验证检测模型的鲁棒性，需要设计多种测试场景，模拟对抗防御在不同场景的攻防的效果。
目前主要使用两种方法对模型进行模拟干扰，以检验模型的鲁棒性；第一种，在原有图像上直接添加扰动，然后将添加了扰动的数据输入到模型中；第二种，将在数字图像上做的攻击图像直接打印成实物，然后在现实场景通过相机将对抗攻击后的图像信息输入到模型。
然而，第一种现有技术在采集的图像上直接添加扰动得到的对抗样本，不能模拟车辆在运行过程中对车辆进行连续攻击的场景，攻击效果不好；第二种现有技术需要将对抗图案打印成实物，并且需要在现实场景中对对抗图案进行拍摄，会增加模型鲁棒性检测的时间成本，模型的迭代周期长。
发明内容
本申请实施例提供了一种模型鲁棒性检测方法、相关装置及存储介质，可以提高对模型的攻击效果以及缩短模型的迭代周期。
第一方面，本申请实施例提供了一种模型鲁棒性检测方法，所述方法应用于模型鲁棒性检测系统，所述模型鲁棒性检测系统包括驾驶场景仿真平台、车辆感知模型和虚拟控制器，所述驾驶场景仿真平台的显示界面包括第一区域和第二区域，所述第一区域显示有多个候选对抗图案，所述第二区域当前显示目标驾驶场景的画面，所述目标驾驶场景包括行驶中的目标车辆以及至少一个待攻击对象，且所述目标车辆在所述第二区域的图像和点云数据通过端口传输给所述车辆感知模型，所述方法包括：
接收用户针对目标对象的第一操作指令，所述第一操作指令用于指示为所述目标对象添加目标对抗图案，所述目标对象为当前在所述第二区域中显示的待攻击对象，所述目标对抗图案为用户从多个所述候选对抗图案中选中的对抗图案；
响应于所述第一操作指令，将所述目标对抗图案添加到所述目标对象的有效范围内，得到目标对抗样本；
将所述目标对抗样本输入所述车辆感知模型，得到识别结果，所述识别结果用于控制所述虚拟控制器生成所述目标车辆的驾驶指令，所述识别结果指示第一置信度高于第二置信度，所述第一置信度为所述车辆感知模型将所述目标对抗样本识别为非所述目标对象时的置信度，所述第二置信度为所述车辆感知模型将所述目标对抗样本识别为所述目标对象时的置信度。
在一些实施例中，所述第二区域中显示的驾驶场景为变道场景，所述目标车辆在第一车道，所述目标对象为在第二车道且与所述目标车辆同向行使的第一车辆，所述目标对抗样本为添加了所述目标对抗图案的所述第一车辆；所述接收用户针对目标对象的第一操作指令，包括：
接收用户针对所述第一车辆的第六操作指令，所述第六操作指令用于指示所述第一车辆添加分类标签为隐身的第二对抗图案；
所述响应于所述第一操作指令，将所述目标对抗图案添加到所述目标对象的有效范围内，得到目标对抗样本，包括：
响应于所述第六操作指令，对所述第一车辆添加用于对所述第一车辆隐身攻击的所述第二对抗图案，得到第二对抗样本；
将所述目标对抗样本输入所述车辆感知模型，得到识别结果，包括：
接收第三消息，所述第三消息用于指示所述目标车辆在第一预设时长内从所述第一车道变道至所述第二车道上；
将所述第二对抗样本输入所述车辆感知模型，得到所述第二车道的安全变道区域内无车辆行驶的识别结果。
在一些实施例中，所述第二区域中显示有与所述目标车辆保持相对速度的虚拟无人机，所述接收用户针对目标对象的第一操作指令，包括：
接收用户针对所述虚拟无人机的第七操作指令，所述第七操作指令用于指示所述虚拟无人机向所述目标对象的有效范围内投影所述目标对抗图案；
所述响应于所述第一操作指令，将所述目标对抗图案添加到所述目标对象的有效范围内，得到目标对抗样本，包括：
响应于所述第七操作指令，通过所述虚拟无人机将所述目标对抗图案投影至所述目标对象的有效范围内，得到所述目标对抗样本。
在一些实施例中，所述方法还包括：
接收用户针对所述目标车辆的第八操作指令，所述第八操作指令用于指示对所述目标车辆添加分类标签为隐身的第三对抗图案；
接收用户针对第二车辆的第九操作指令，所述第九操作指令用于指示所述第二车辆添加分类标签为隐身的第四对抗图案；
响应于所述第八操作指令，将所述第三对抗图案添加到所述目标车辆的有效范围内；
响应于所述第九操作指令，将所述第四对抗图案添加到所述第二车辆的有效范围内；
其中，所述第二车辆与所述目标车辆至少满足以下条件之一：
处于相同车道同向行驶，且所述第二车辆与所述目标车辆中的后车加速；
处于不同车道且会车；
处于不同车道同向行驶，且所述第二车辆或目标车辆变道。
第二方面，本申请实施例还提供了一种模型鲁棒性检测装置，所述模型鲁棒性检测装置被配置于模型鲁棒性检测系统中，所述模型鲁棒性检测系统包括驾驶场景仿真平台、车辆感知模型和虚拟控制器，所述驾驶场景仿真平台的显示界面包括第一区域和第二区域，所述第一区域显示有多个候选对抗图案，所述第二区域当前显示目标驾驶场景的画面，所述目标驾驶场景包括行驶中的目标车辆以及至少一个待攻击对象，且所述目标车辆在所述第二区域的图像和点云数据通过端口传输给所述车辆感知模型，所述装置包括：
收发模块，用于接收用户针对目标对象的第一操作指令，所述第一操作指令用于指示为所述目标对象添加目标对抗图案，所述目标对象为当前在所述第二区域中显示的待攻击对象，所述目标对抗图案为用户从多个所述候选对抗图案中选中的对抗图案；
处理模块，用于响应于所述第一操作指令，将所述目标对抗图案添加到所述目标对象的有效范围内，得到目标对抗样本；将所述目标对抗样本输入所述车辆感知模型，得到识别结果，所述识别结果用于控制所述虚拟控制器生成所述目标车辆的驾驶指令，所述识别结果指示第一置信度高于第二置信度，所述第一置信度为所述车辆感知模型将所述目标对抗样本识别为非所述目标对象时的置信度，所述第二置信度为所述车辆感知模型将所述目标对抗样本识别为所述目标对象时的置信度。
在一些实施例中，所述驾驶场景仿真平台预设有多种候选驾驶场景，所述显示界面还包括第三区域，所述第三区域中包括每种所述候选驾驶场景分别对应的场景图标；在所述收发模块执行所述接收用户针对目标对象的第一操作指令步骤之前，所述收发模块，还用于接收用户针对所述第三区域中目标场景图标的第二操作指令，所述目标场景图标为用户从多个所述场景图标中选中的场景图标；所述处理模块，还用于根据所述第二操作指令将所述第二区域中的驾驶场景设置为所述目标场景图标对应的目标驾驶场景。
在一些实施例中，所述驾驶场景仿真平台预设有多种天气参数，所述显示界面还包括第四区域，所述第四区域中包括每种所述天气参数分别对应的天气图标；在所述处理模块执行所述将所述目标对抗样本输入所述车辆感知模型步骤之前，所述收发模块，还用于接收用户针对所述第四区域中目标天气图标的第三操作指令，所述目标天气图标为用户从多个所述天气图标中选中的天气图标；此时，所述处理模块，还用于根据所述第三操作指令将所述第二区域的天气参数设置为所述目标天气图标对应的目标天气参数。
在一些实施例中，所述驾驶场景仿真平台还预设有多个待添加对象，所述待添加对象为未在所述驾驶场景中添加的待攻击对象，所述显示界面还包括第五区域，所述第五区域中包括多个所述待添加对象；在所述收发模块执行所述接收用户针对目标对象的第一操作指令步骤之前，所述收发模块，还用于接收用户针对所述第五区域中目标待添加对象的第四操作指令，所述目标待添加对象为用户从多个所述待添加对象中选中的对象；此时，所述处理模块，还用于根据所述第四操作指令将所述目标待添加对象添加至所述第四操作指令在第二区域中指定的位置，以在所述第二区域中显示所述目标待添加对象；将所述目标待添加对象确定为所述目标对象。
在一些实施例中，在所述处理模块执行所述将所述目标对抗样本输入所述车辆感知模型步骤之前，所述处理模块，还用于配置所述模型鲁棒性检测系统，使得所述模型鲁棒性检测系统将所述车辆感知模型的输出作为所述虚拟控制器的输入；
其中，所述车辆感知模型以所述目标车辆的第一人称视角获取所述目标车辆的视场范围内的第一人称视角画面，所述第一人称视角画面包括所述目标对抗样本，并基于所述目标对抗样本得到所述识别结果；所述第一人称视角的方位信息跟随所述目标车辆的位置变化而变化。
在一些实施例中，所述第二区域中显示的驾驶场景为过斑马线驾驶场景，所述目标对象为第一时段内斑马线上的至少一个行人，所述目标对抗样本为添加了所述目标对抗图案的至少一个所述行人，所述处理模块中执行所述将所述目标对抗样本输入所述车辆感知模型，得到识别结果步骤时，具体用于：通过所述收发模块接收第一消息，所述第一消息用于指示所述目标车辆在所述第一时段内开过斑马线；将所述目标对抗样本输入所述车辆感知模型，得到所述斑马线无行人通过的识别结果。
在一些实施例中，所述第二区域中显示的驾驶场景为过红绿灯路口驾驶场景，所述目标对象为第二时段内显示红灯标志的红绿灯装置，所述目标对抗样本为添加了所述目标对抗图案的所述红绿灯装置；所述收发模块执行所述接收用户针对目标对象的第一操作指令步骤时，具体用于：接收用户针对所述红绿灯装置的第五操作指令，所述第五操作指令用于指示对所述红绿灯装置添加分类标签为绿灯的第一对抗图案；此时，所述处理模块在执行所述响应于所述第一操作指令，将所述目标对抗图案添加到所述目标对象的有效范围内，得到目标对抗样本步骤时，具体用于：响应于所述第五操作指令，将所述第一对抗图案叠加至所述红绿灯装置的有效范围内，得到第一对抗样本；所述处理模块在执行所述将所述目标对抗样本输入所述车辆感知模型，得到识别结果步骤时，具体用于：通过所述收发模块接收第二消息，所述第二消息用于指示所述目标车辆在所述第二时段内开过红绿灯路口；将所述第一对抗样本输入所述车辆感知模型，得到所述红绿灯装置显示绿灯标志的识别结果。
在一些实施例中，所述第二区域中显示的驾驶场景为变道场景，所述目标车辆在第一车道，所述目标对象为在第二车道且与所述目标车辆同向行使的第一车辆，所述目标对抗样本为添加了所述目标对抗图案的所述第一车辆；所述收发模块执行所述接收用户针对目标对象的第一操作指令步骤时，具体用于：接收用户针对所述第一车辆的第六操作指令，所述第六操作指令用于指示所述第一车辆添加分类标签为隐身的第二对抗图案；此时，所述处理模块执行所述响应于所述第一操作指令，将所述目标对抗图案添加到所述目标对象的有效范围内，得到目标对抗样本步骤时，具体用于：响应于所述第六操作指令，对所述第一车辆添加用于对所述第一车辆隐身攻击的所述第二对抗图案，得到第二对抗样本；所述处理模块在执行将所述目标对抗样本输入所述车辆感知模型，得到识别结果步骤时，具体用于：通过所述收发模块接收第三消息，所述第三消息用于指示所述目标车辆在第一预设时长内从所述第一车道变道至所述第二车道上；将所述第二对抗样本输入所述车辆感知模型，得到所述第二车道的安全变道区域内无车辆行驶的识别结果。
在一些实施例中，所述第二区域中显示有与所述目标车辆保持相对速度的虚拟无人机，所述收发模块在执行所述接收用户针对目标对象的第一操作指令步骤时，具体用于：接收用户针对所述虚拟无人机的第七操作指令，所述第七操作指令用于指示所述虚拟无人机向所述目标对象的有效范围内投影所述目标对抗图案；此时，所述处理模块在执行所述响应于所述第一操作指令，将所述目标对抗图案添加到所述目标对象的有效范围内，得到目标对抗样本步骤时，具体用于：响应于所述第七操作指令，通过所述虚拟无人机将所述目标对抗图案投影至所述目标对象的有效范围内，得到所述目标对抗样本。
在一些实施例中，所述收发模块，还用于接收用户针对所述目标车辆的第八操作指令，所述第八操作指令用于指示对所述目标车辆添加分类标签为隐身的第三对抗图案；接收用户针对第二车辆的第九操作指令，所述第九操作指令用于指示所述第二车辆添加分类标签为隐身的第四对抗图案；
所述处理模块，还用于响应于所述第八操作指令，将所述第三对抗图案添加到所述目标车辆的有效范围内；响应于所述第九操作指令，将所述第四对抗图案添加到所述第二车辆的有效范围内；
其中，所述第二车辆与所述目标车辆至少满足以下条件之一：
处于相同车道同向行驶，且所述第二车辆与所述目标车辆中的后车加速；
处于不同车道且会车；
处于不同车道同向行驶，且所述第二车辆或目标车辆变道。
第三方面，本申请实施例还提供了一种计算机设备，其包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法。
第四方面，本申请实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时可实现上述方法。
相较于现有技术，本方案提供了一个模型鲁棒性检测系统，第一方面，用户通过与模型鲁棒性检测系统中的驾驶场景仿真平台进行交互，可以手动直观地在驾驶场景仿真平台中的对抗图案添加到待攻击对象的有效范围内，得到目标对抗样本，然后系统自动将得到的目标对抗样本输入车辆感知模型，对车辆感知模型进行鲁棒性检测，可见，本方案提供的模型鲁棒性检测系统通俗易懂，直观有效，并且用户和系统进行简单交互(例如在显示界面中选取目标对抗图案，并将目标对抗图案拖拽待攻击对象上)即可生成目标对抗样本，系统操作简单，并且趣味性高；第二方面，本申请实施例在模型鲁棒性检测系统中即可实现对模型进行鲁棒性检测，通过仿真场景来模拟物理世界的检测流程，不需要实地对模型进行鲁棒性检测，能够保障检测的安全性，并且由于本方案中的目标对抗样本基于驾驶场景仿真平台生成，不需要对对抗图案进行拍摄以及打印，通过用户交互即可以在车辆运行过程中不断生成对抗样本，所以本方案可以在车辆运行过程中对车辆感知模型进行连续攻击，可以在短时间内更多、更快、更全面的测试车辆感知模型，提高攻击效果，缩短模型的迭代周期。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a为本申请实施例提供的模型鲁棒性检测方法的应用场景示意图；
图1b为本申请实施例提供的车辆感知模型的主要感知任务的示意图；
图2为本申请实施例提供的模型鲁棒性检测方法的流程示意图；
图3a为本申请实施例提供的模型鲁棒性检测方法的另一应用场景示意图；
图3b为本申请实施例提供的模型鲁棒性检测方法的另一应用场景示意图；
图3c为本申请实施例提供的模型鲁棒性检测方法的另一应用场景示意图；
图4为本申请实施例提供的模型鲁棒性检测方法的另一应用场景示意图；
图5为本申请实施例提供的模型鲁棒性检测方法的另一应用场景示意图；
图6为本申请实施例提供的模型鲁棒性检测方法的另一应用场景示意图；
图7a为本申请实施例提供的模型鲁棒性检测方法的另一应用场景示意图；
图7b为本申请实施例提供的模型鲁棒性检测方法的另一应用场景示意图；
图7c为本申请实施例提供的模型鲁棒性检测方法的另一应用场景示意图；
图8为本申请实施例提供的模型鲁棒性检测方法的另一应用场景示意图；
图9为本申请实施例提供的模型鲁棒性检测方法的另一应用场景示意图；
图10a为本申请实施例提供的模型鲁棒性检测方法的另一应用场景示意图；
图10b为本申请实施例提供的模型鲁棒性检测方法的另一应用场景示意图；
图10c为本申请实施例提供的模型鲁棒性检测方法的另一应用场景示意图；
图11为本申请实施例提供的模型鲁棒性检测方法的另一应用场景示意图；
图12为本申请实施例提供的模型鲁棒性检测装置的示意性框图；
图13为本申请实施例中服务器的一种结构示意图；
图14为本申请实施例中终端的一种结构示意图；
图15为本申请实施例中服务器的一种结构示意图。
具体实施方式
本申请实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块，本申请实施例中所出现的模块的划分，仅仅是一种逻辑上的划分，实际应用中实现时可以有另外的划分方式，例如多个模块可以结合成或集成在另一个系统中，或一些特征可以忽略，或不执行，另外，所显示的或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，模块之间的间接耦合或通信连接可以是电性或其他类似的形式，本申请实施例中均不作限定。并且，作为分离部件说明的模块或子模块可以是也可以不是物理上的分离，可以是也可以不是物理模块，或者可以分布到多个电路模块中，可以根据实际的需要选择其中的部分或全部模块来实现本申请实施例方案的目的。
本申请实施例供了一种模型鲁棒性检测方法、相关装置及存储介质，该模型鲁棒性检测方法的执行主体可以是本申请实施例提供的模型鲁棒性检测装置，或配置有所述模型鲁棒性检测装置的模型鲁棒性检测系统，或集成有所述模型鲁棒性检测系统的计算机设备，其中，该模型鲁棒性检测装置或模型鲁棒性检测系统可以采用硬件或者软件的方式实现，该计算机设备可以为终端或服务器。
当该计算机设备为服务器时，该服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。
当该计算机设备为终端时，该终端可以包括：智能手机、平板电脑、笔记本电脑、桌上型电脑、智能电视、智能音箱、个人数字助理(英文全称：Personal Digital Assistant，英文简称：PDA)、台式计算机、智能手表等携带多媒体数据处理功能(例如，视频数据播放功能、音乐数据播放功能)的智能终端，但并不局限于此。
本申请实施例的方案可基于人工智能技术实现，具体来说涉及人工智能技术中的计算机视觉技术技术领域和云技术中的云计算、云存储和数据库等领域，下面将分别进行介绍。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、模型鲁棒性检测、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的模型鲁棒性检测、指纹识别等生物特征识别技术。
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
本申请实施例的方案可基于云技术实现，具体来说涉及云技术中的云计算、云存储和数据库等技术领域，下面将分别进行介绍。
云技术(Cloudtechnology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。云技术(Cloudtechnology)基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源，如视频网站、图像类网站和更多的门户网站。伴随着互联网行业的高度发展和应用，将来每个物品都有可能存在自己的识别标志，都需要传输到后台系统进行逻辑处理，不同程度级别的数据将会分开处理，各类行业数据皆需要强大的系统后盾支撑，只能通过云计算来实现。本申请实施例可通过云技术对识别结果进行保存。
云存储(cloud storage)是在云计算概念上延伸和发展出来的一个新的概念，分布式云存储系统(以下简称存储系统)是指通过集群应用、网格技术以及分布存储文件系统等功能，将网络中大量各种不同类型的存储设备(存储设备也称之为存储节点)通过应用软件或应用接口集合起来协同工作，共同对外提供数据存储和业务访问功能的一个存储系统。在本申请实施例中，可将网络配置等信息均保存在该存储系统中，便于服务器调取。
目前，存储系统的存储方法为：创建逻辑卷，在创建逻辑卷时，就为每个逻辑卷分配物理存储空间，该物理存储空间可能是某个存储设备或者某几个存储设备的磁盘组成。客户端在某一逻辑卷上存储数据，也就是将数据存储在文件系统上，文件系统将数据分成许多部分，每一部分是一个对象，对象不仅包含数据而且还包含数据标识(ID，ID entity)等额外的信息，文件系统将每个对象分别写入该逻辑卷的物理存储空间，且文件系统会记录每个对象的存储位置信息，从而当客户端请求访问数据时，文件系统能够根据每个对象的存储位置信息让客户端对数据进行访问。
存储系统为逻辑卷分配物理存储空间的过程，具体为：按照对存储于逻辑卷的对象的容量估量(该估量往往相对于实际要存储的对象的容量有很大余量)和独立冗余磁盘阵列(RAID，Redundant Array of Independent Disk)的组别，预先将物理存储空间划分成分条，一个逻辑卷可以理解为一个分条，从而为逻辑卷分配了物理存储空间。
数据库(Database)，简而言之可视为电子化的文件柜——存储电子文件的处所，用户可以对文件中的数据进行新增、查询、更新、删除等操作。所谓“数据库”是以一定方式储存在一起、能与多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合。
数据库管理系统(英语：Database Management System，简称DBMS)是为管理数据库而设计的电脑软件系统，一般具有存储、截取、安全保障、备份等基础功能。数据库管理系统可以依据它所支持的数据库模型来作分类，例如关系式、XML(Extensible MarkupLanguage,即可扩展标记语言)；或依据所支持的计算机类型来作分类，例如服务器群集、移动电话；或依据所用查询语言来作分类，例如SQL(结构化查询语言，Structured QueryLanguage)、XQuery；或依据性能冲量重点来作分类，例如最大规模、最高运行速度；亦或其他的分类方式。不论使用哪种分类方式，一些DBMS能够跨类别，例如，同时支持多种查询语言。在本申请实施例中，可将识别结果存储在该数据库管理系统中，便于服务器调取。
其中，需要特别说明的是，本申请实施例涉及的服务终端，可以是指向服务终端提供语音和/或数据连通性的设备，具有无线连接功能的手持式设备、或连接到无线调制解调器的其他处理设备。例如移动电话(或称为“蜂窝”电话)和具有移动终端的计算机，例如，可以是便携式、袖珍式、手持式、计算机内置的或者车载的移动装置，它们与无线接入网交换语音和/或数据。例如，个人通信业务(英文全称：Personal Communication Service，英文简称：PCS)电话、无绳电话、会话发起协议(SIP)话机、无线本地环路(Wireless LocalLoop，英文简称：WLL)站、个人数字助理(英文全称：Personal Digital Assistant，英文简称：PDA)等设备。
请参阅图1a，图1a为本申请实施例提供的模型鲁棒性检测方法的应用场景示意图。该模型鲁棒性检测方法应用于图1a中的模型鲁棒性检测系统中，该模型鲁棒性检测系统包括驾驶场景仿真平台、车辆感知模型和虚拟控制器，所述驾驶场景仿真平台的显示界面包括第一区域和第二区域，所述第一区域显示有多个候选对抗图案，所述第二区域当前显示目标驾驶场景的画面，所述目标驾驶场景包括行驶中的目标车辆以及至少一个待攻击对象，且所述目标车辆在所述第二区域的图像和点云数据通过端口传输给所述车辆感知模型。
具体地，在一些实施例中，当用户需要对在驾驶场景仿真平台中第二区域显示的目标驾驶场景画面中的待攻击对象上添加对抗图案时，用户可以通过鼠标或者触屏等方式从第一区域中显示的多个候选对抗图案中选取目标对抗图案，然后将选中的目标对抗图案拖拽至当前在第二区域中显示的目标对象(即当前在所述第二区域中显示的待攻击对象)的有效范围内，使得驾驶场景仿真平台根据与用户的交互动态生成目标对抗样本，然后系统自动将生成的目标对抗样本输入车辆感知模型，车辆感知模型获取到目标对抗样本之后，对目标对抗样本进行识别，得到识别结果，其中所述识别结果指示第一置信度高于第二置信度，所述第一置信度为所述车辆感知模型将所述目标对抗样本识别为非所述目标对象时的置信度，所述第二置信度为所述车辆感知模型将所述目标对抗样本识别为所述目标对象时的置信度，再将识别结果发送给虚拟控制器，虚拟控制器根据所述识别结果生成目标车辆的驾驶指令，并根据该驾驶指令控制在驾驶场景仿真平台中的目标车辆的行驶决策。
本实施例中，目标车辆通过车辆感知模型以及虚拟控制器在驾驶场景仿真平台中进行自动驾驶，车辆感知模型根据感知到的道路场景生成控制虚拟控制器生成目标车辆的驾驶指令，其中，本实施例中车辆感知模型的主要感知任务如图1b所示，车辆感知模型融合有视觉模型和点云模型，视觉模型能识别驾驶场景的2D信息，如驾驶场景中目标对象的颜色以及类型，点云模型主要识别3D的位置信息，例如距离目标对象的距离。其中，视觉模型能够识别的对象包括红绿灯、车道线、交通标志牌、落石、行人以及车辆等等；点云模型能够识别的对象包括落石、行人、车辆等，并提供对象的较为准确的空间信息。针对这些感知对象，本申请设计了对抗方法，例如，对路侧、道路场景的不同场景提出多种2D、3D对抗样本的攻击方法，在驾驶场景仿真平台中动态生成对抗样本，以欺骗车辆感知模型，使得车辆感知模型将对抗样本误识别为真实结果，导致驾驶决策失误或者失灵。
下面，将结合几个实施例对本申请技术方案进行详细的介绍说明。
参照图2，以下介绍本申请实施例所提供的一种模型鲁棒性检测方法，该模型鲁棒性检测方法应用于模型鲁棒性检测系统，该模型鲁棒性检测系统包括驾驶场景仿真平台、车辆感知模型和虚拟控制器，所述驾驶场景仿真平台的显示界面包括第一区域和第二区域，所述第一区域显示有多个候选对抗图案，所述第二区域当前显示目标驾驶场景的画面，所述目标驾驶场景包括行驶中的目标车辆以及至少一个待攻击对象，且所述目标车辆在所述第二区域的图像和点云数据通过端口传输给所述车辆感知模型。本申请实施例包括：
201、驾驶场景仿真平台接收用户针对目标对象的第一操作指令。
其中，所述第一操作指令用于指示为所述目标对象添加目标对抗图案，所述目标对象为当前在所述第二区域中显示的待攻击对象，所述目标对抗图案为用户从多个所述候选对抗图案中选中的对抗图案。
本实施例中，目标车辆在驾驶场景仿真平台第二区域中显示的目标驾驶场景中行驶，当用户想要利用目标驾驶场景中当前显示的目标对象对车辆感知模型进行攻击时，首先需要为该目标对象选取对抗图案，并将选中的对抗图案作为目标对抗图案，然后将目标对抗图案通过界面交互的方式添加到目标对象中。
其中，本实施例可以通过鼠标或者触屏(通过触屏笔或者使用手指直接与屏幕接触)等方式为目标对象添加目标对抗图案，本实施例对于用户以何种方式与界面进行交互的方式不作限定，以下以用户通过鼠标与界面进行交互为例进行说明。
其中，为了方便用户观察第二区域中显示的驾驶场景，本实施例中的第一区域中设有收起按钮以及展开按钮，当用户不需要使用第一区域时，可以点击该收起按钮收起第一区域(收起后只展示展开按钮)，此时，第二区域自适应屏幕放大，当需要使用第一区域中的内容时，再点击展开按钮展示该第一区域，此时第二区域自适应屏幕缩小。
在一些实施例中，请参阅图3a，该第一操作指令对应的是，用户通过鼠标点击第一区域中显示的目标对抗图案，然后通过鼠标将该目标对抗图案直接拖拽至在第二区域中显示的目标对象的有效范围内，其中，本实施例中图示的用户交互标识可以为鼠标标识，也可以为触屏标识等指示与用户进行交互的标识，本实施例以鼠标标识为例；另一些实施例中，请参阅图3b，该第一操作指令对应的是，用户在第一区域中选中目标对抗图案，然后通过右击展示对象菜单栏，该对象菜单栏中包含有当前目标驾驶场景的画面中显示的至少一个待攻击对象，然后从该至少一个待攻击对象中选取目标对象，点击确认，从而生成第一操作指令。在另一些实施例中，请参阅图3c，本申请还可以通过虚拟无人机空投目标对抗图案至目标对象的有效范围内，具体地，此时第二区域中显示有与所述目标车辆保持相对速度的虚拟无人机，所述接收用户针对目标对象的第一操作指令，包括：接收用户针对所述虚拟无人机的第七操作指令，所述第七操作指令用于指示所述虚拟无人机向所述目标对象的有效范围内投影所述目标对抗图案；后续驾驶场景仿真平台将响应于所述第七操作指令，通过所述虚拟无人机将所述目标对抗图案投影至所述目标对象的有效范围内，得到所述目标对抗样本，具体地，用户可以首先设置虚拟无人机对应的目标对象，然后从第一区域中拖拽目标对抗图案至虚拟无人机中，通过虚拟无人机投影目标对抗图案至目标对象的有效范围内。
其中，在一些实施例中，显示界面中包含暂停按钮以及播放按钮，为了避免错过攻击时机，在对目标对象添加目标对抗图案之前，首先点击暂停按钮暂停播放目标驾驶场景的当前显示的画面，再触发第一操作指令，当得到所需的目标对抗样本之后，再点击播放按钮，继续播放目标驾驶场景的画面。
在一些实施例中，考虑到所述驾驶场景仿真平台模拟的驾驶场景很多，不同的车辆感知模型的鲁棒性存在区别，或者检测指标不同，为了对不同的车辆感知模型进行更全面、更快捷、随意切换、有选择性的攻击，还可以有针对性地选择需要检测的驾驶场景。例如，可在所述驾驶场景仿真平台中的行驶路段中选择多种或多个驾驶场景，针对这些驾驶场景来模拟实时的驾驶场景检测攻击。具体来说，可在所述所述驾驶场景仿真平台的显示界面设置第三区域，此时，所述驾驶场景仿真平台预设有多种候选驾驶场景，所述显示界面还包括第三区域，所述第三区域中包括每种所述候选驾驶场景分别对应的场景图标；此时，在执行所述接收用户针对目标对象的第一操作指令步骤之前，首先需要确定当前驾驶场景仿真平台的显示界面要播放的驾驶场景，具体包括：接收用户针对所述第三区域中目标场景图标的第二操作指令，所述目标场景图标为用户从多个所述场景图标中选中的场景图标；根据所述第二操作指令将所述第二区域中的驾驶场景设置为所述目标场景图标对应的目标驾驶场景。
具体地，如图4所示，用户从第三区域的多个候选驾驶场景中勾选目标驾驶场景，点击确认按钮，此时驾驶场景仿真平台收到用户的选择指令(即第二操作指令)，然后根据用户的选择将第二区域中显示的驾驶场景设置为用户当前选择的驾驶场景。
其中，本实施例中驾驶场景仿真平台预设的驾驶场景包括过斑马线、过红绿灯、变道、超车以及会车等驾驶场景，各驾驶场景的背景包括高速公路、乡村道路、城市道路、商业街以及盘山公路等，本实施例中的驾驶场景仿真平台可以根据用户的选择显示不同背景下的驾驶场景。
其中，为了方便用户观察第二区域中显示的驾驶场景，本实施例中的第三区域中设有收起按钮以及展开按钮，当用户不需要使用第三区域时，可以点击该收起按钮收起第三区域(收起后只展示展开按钮)，此时，第二区域自适应屏幕放大，当需要使用第三区域中的内容时，再点击展开按钮展示该第三区域，此时第二区域自适应屏幕缩小。
在一些实施例中，为了使得驾驶场景仿真平台更加贴合用户的需求，更加灵活，所述驾驶场景仿真平台还预设有多个待添加对象，所述待添加对象为未在所述驾驶场景中添加的待攻击对象，所述显示界面还包括第五区域，所述第五区域中包括多个所述待添加对象；所述接收用户针对目标对象的第一操作指令之前，所述方法还包括：接收用户针对所述第五区域中目标待添加对象的第四操作指令，所述目标待添加对象为用户从多个所述待添加对象中选中的对象；根据所述第四操作指令将所述目标待添加对象添加至所述第四操作指令在第二区域中指定的位置，以在所述第二区域中显示所述目标待添加对象；将所述目标待添加对象确定为所述目标对象。
具体地，如图5所示，用户从第五区域的多个待添加对象中点击目标待添加对象，然后将目标待添加对象拖拽至第二区域中需要添加目标对象的位置。
添加完目标对象之后，后续再为该目标对象添加目标对抗图案。
其中，为了方便用户观察第二区域中显示的驾驶场景，本实施例中的第五区域中设有收起按钮以及展开按钮，当用户不需要使用第五区域时，可以点击该收起按钮收起第五区域(收起后只展示展开按钮)，此时，第二区域自适应屏幕放大，当需要使用第五区域中的内容时，再点击展开按钮展示该第五区域，此时第二区域自适应屏幕缩小。
202、驾驶场景仿真平台响应于所述第一操作指令，将所述目标对抗图案添加到所述目标对象的有效范围内，得到目标对抗样本。
当用户在驾驶场景仿真平台的显示界面中触发了第一操作指令之后，驾驶场景仿真平台响应于所述第一操作指令，将所述目标对抗图案添加到所述目标对象的有效范围内，其中，当目标对抗图案处于目标对象的有效范围内时，目标对抗图案可以与目标对象构成目标对抗样本，本申请实施例中提及的有效范围可以为预设的对应待攻击对象的有效范围，也可以为根据用户指令指示。
需要说明的时，本实施例中的目标对抗样本包括图像对抗样本以及点云对抗样本。
203、驾驶场景仿真平台将所述目标对抗样本输入所述车辆感知模型。
本实施例中，当驾驶场景仿真平台生成目标对抗样本之后，将生成的目标对抗样本发送给车辆感知模型。
具体地，目标对抗样本显示驾驶场景仿真平台的显示界面的第二区域中，当目标车辆驾驶在第二区域时，所述目标车辆在所述第二区域的图像和点云数据通过端口传输给所述车辆感知模型，使得车辆感知模型获取到目标对抗样本。
为了进一步为车辆感知模型的自然鲁棒性提供测试的环境基础，对模型实现更全面的鲁棒性检测，在一些实施例中，本实施例中的驾驶场景仿真平台可以模拟多种天气环境，此时，所述驾驶场景仿真平台预设有多种天气参数，不同的天气参数可以渲染不同的天气环境，所述显示界面还包括第四区域，所述第四区域中包括每种所述天气参数分别对应的天气图标；所述将所述目标对抗样本输入所述车辆感知模型之前，所述方法还包括：接收用户针对所述第四区域中目标天气图标的第三操作指令，所述目标天气图标为用户从多个所述天气图标中选中的天气图标；根据所述第三操作指令将所述第二区域的天气参数设置为所述目标天气图标对应的目标天气参数。
具体地，如图6所示，用户从第四区域中多个候选驾驶场景中勾选目标天气图标，点击确认按钮，此时驾驶场景仿真平台收到用户的选择指令(即第二操作指令)，然后根据用户的选择指令将第二区域的天气参数设置为所述目标天气图标对应的目标天气参数，根据该目标天气参数渲染当前驾驶场景。
在一些实施例中，本实施例中的天气参数包括亮度参数以及纹理参数。
其中，多种天气参数包括晴天天气参数(包括晴天、多云以及少云天气参数)、阴天天气参数、雾天天气参数(包括大雾以及小雾天气参数)、雨天天气参数(包括大雨、小雨以及雷雨天气参数)以及雪天天气参数(包括大雪、小雪以及暴雪天气参数)等。
其中，将第二区域的天气参数设置为目标天气参数之后，后续车辆感知模型获取到的目标对抗样本也带有该目标天气参数相应的特征，故通过本系统可以在多种天气场景下对车辆感知模型进行鲁棒性的测试，对模型实现更全面的鲁棒性检测。
其中，为了方便用户观察第二区域中显示的驾驶场景，本实施例中的第四区域中设有收起按钮以及展开按钮，当用户不需要使用第四区域时，可以点击该收起按钮收起第四区域(收起后只展示展开按钮)，此时，第二区域自适应屏幕放大，当需要使用第四区域中的内容时，再点击展开按钮展示该第四区域，此时第二区域自适应屏幕缩小。
其中，在一些实施例中，为了使目标车辆在驾驶场景仿真平台中实现自动驾驶，将所述目标对抗样本输入所述车辆感知模型之前，所述方法还包括：配置所述模型鲁棒性检测系统，使得所述模型鲁棒性检测系统将所述车辆感知模型的输出作为所述虚拟控制器的输入；具体的配置方式为，接收用户的配置指令，根据用户的配置指令进行系统配置。
其中，所述车辆感知模型以所述目标车辆的第一人称视角获取所述目标车辆的视场范围内的第一人称视角画面，所述第一人称视角画面包括所述目标对抗样本，并基于所述目标对抗样本得到所述识别结果；所述第一人称视角的方位信息跟随所述目标车辆的位置变化而变化。
具体地，本申请只需要保证所述目标对抗样本可以输入所述车辆感知模型，得到识别结果即可，系统的具体设置方式本实施例不作限定。
204、车辆感知模型对所述目标对抗样本进行识别，得到识别结果，并将所述识别结果发送至所述虚拟控制器。
其中，所述识别结果指示第一置信度高于第二置信度，所述第一置信度为所述车辆感知模型将所述目标对抗样本识别为非所述目标对象时的置信度，所述第二置信度为所述车辆感知模型将所述目标对抗样本识别为所述目标对象时的置信度。
根据所述车辆感知模型的识别可知，非所示目标对象对应的置信度高于目标对象的置信度，所以此时的识别结果为非所示目标对象的识别结果，得到为非所述目标对象的识别结果之后，所述方法还包括：将为非所述目标对象对应的第一对抗样本作为有效对抗样本。
205、虚拟控制器根据所述识别结果生成所述目标车辆的驾驶指令，并根据所述驾驶指令控制驾驶场景仿真平台中的目标车辆。
本实施例中，当车辆感知模型得到目标对抗样本的识别结果之后，将该识别结果传输至虚拟控制器，虚拟控制器根据该识别结果作出目标车辆的驾驶指令，并通过该驾驶指令控制目标车辆在第二区域中显示的驾驶场景中实现自动驾驶。
为了进一步理解本申请实施例提供的模型鲁棒性检测方法，请参阅以下实施例。
在一些实施例中，所述第二区域中显示的驾驶场景为过斑马线驾驶场景，所述目标对象为第一时段内斑马线上的至少一个行人，所述目标对抗样本为添加了所述目标对抗图案的至少一个所述行人，此时，所述将所述目标对抗样本输入所述车辆感知模型，得到识别结果，包括：接收第一消息，所述第一消息用于指示所述目标车辆在所述第一时段内开过斑马线；将所述目标对抗样本输入所述车辆感知模型，得到所述斑马线无行人通过的识别结果，其中，该第以消息可以为用户输入的，也可以为系统预设的，具体此处不做限定。具体地，当目标车辆响应第一消息准备在第一时段内开过斑马线时，首先目标车辆会通过车辆感知模型判断斑马线上是否有行人，若有行人，则在斑马线前停车等待行人，若无行人，则正常减速通过斑马线，由于识别得到斑马线上无行人通过，此时，目标车辆将存在以下情况：
第一种，如图7a所示，目标车辆按照没有行人的情况正常减速通过斑马线，行人被车辆撞倒，发生车祸；第二种，如图7b所示，目标车辆按照没有行人的情况正常减速通过斑马线，差点撞到行人，没有礼让行人，违反交规。第三种，如图7c所示，此时第一时段内的斑马线上有多个行人，多个行人都分别添加了目标对抗图案，此时，目标车辆按照没有行人的情况正常减速行驶通过斑马线，导致部分行人被撞倒，发生车祸。
在一些实施例中，所述第二区域中显示的驾驶场景为过红绿灯路口驾驶场景，所述目标对象为第二时段内显示红灯标志的红绿灯装置，所述目标对抗样本为添加了所述目标对抗图案的所述红绿灯装置；所述接收用户针对目标对象的第一操作指令，包括：接收用户针对所述红绿灯装置的第五操作指令，所述第五操作指令用于指示对所述红绿灯装置添加分类标签为绿灯的第一对抗图案；此时，所述响应于所述第一操作指令，将所述目标对抗图案添加到所述目标对象的有效范围内，得到目标对抗样本，包括：响应于所述第五操作指令，将所述第一对抗图案叠加至所述红绿灯装置的有效范围内，得到第一对抗样本；此时，将所述目标对抗样本输入所述车辆感知模型，得到识别结果，包括：接收第二消息，所述第二消息用于指示所述目标车辆在所述第二时段内开过红绿灯路口；将所述第一对抗样本输入所述车辆感知模型，得到所述红绿灯装置显示绿灯标志的识别结果。其中，该第二消息可以为用户输入的，也可以为系统预设的，具体此处不做限定。具体地，当目标车辆响应第二消息准备在第二时段内开过开过红绿灯路口，此时，首先目标车辆会通过车辆感知模型判断红绿灯当前的亮灯的颜色，如果亮绿灯，则不需进行等待，正常驶过红绿灯路口，如果亮红灯，则需要在红绿灯前停车等待。
具体地，如图8所示，用户在第一区域中选择分类标签为绿灯的第一对抗图案，然后将第一对抗图案拖拽至需要添加对抗图案的红绿灯装置的有效范围内，得到第一对抗样本，然后将该第一对抗样本输入车辆感知模型，车辆感知模型识别该第一对抗样本在的红绿灯装置显示绿灯的识别结果，车辆感知模型将该识别结果传输至虚拟控制器，虚拟控制器根据该识别结果生成不需要等待红绿灯，继续行驶的驾驶指令，如图8所示，目标车辆减速通过十字路口，与横向来车发生碰撞。
在一些实施例中，所述第二区域中显示的驾驶场景为变道场景，所述目标车辆在第一车道，所述目标对象为在第二车道且与所述目标车辆同向行使的第一车辆，所述目标对抗样本为添加了所述目标对抗图案的所述第一车辆；所述接收用户针对目标对象的第一操作指令，包括：接收用户针对所述第一车辆的第六操作指令，所述第六操作指令用于指示所述第一车辆添加分类标签为隐身的第二对抗图案；此时，所述响应于所述第一操作指令，将所述目标对抗图案添加到所述目标对象的有效范围内，得到目标对抗样本，包括：响应于所述第六操作指令，对所述第一车辆添加用于对所述第一车辆隐身攻击的所述第二对抗图案，得到第二对抗样本；此时，将所述目标对抗样本输入所述车辆感知模型，得到识别结果，包括：接收第三消息，所述第三消息用于指示所述目标车辆在第一预设时长内从所述第一车道变道至所述第二车道上；将所述第二对抗样本输入所述车辆感知模型，得到所述第二车道的安全变道区域内无车辆行驶的识别结果。其中，该第三消息可以为用户输入的，也可以为系统预设的，具体此处不做限定。具体地，当目标车辆响应第三消息准备在第一预设时长内从第一车道变道至第二车道上，此时，首先目标车辆会通过车辆感知模型判断第二车道的安全变道区域内是否有车，如果有车，则继续在第一车道上行驶，如果无车，则进行变道操作。
具体地，如图9中的上图所示，用户在第一区域中选择分类标签为隐身的第二对抗图案，然后将该第二对抗图案拖拽至需要添加对抗图案的第一车辆的有效范围内，得到第二对抗样本，然后将该第二对抗样本输入车辆感知模型，车辆感知模型得到第二车道的安全变道区域内无车辆行驶的识别结果，如图9中的下图所示，目标车辆变道至第二车道，导致与第一车辆发生碰撞。
在一些实施例中，本实施例除了可以为待攻击对象添加对抗图案之外，还可以为目标车辆添加对抗图案，例如，为目标车辆和第二车辆都贴上分类标签为隐身的对抗图案，使得目标车辆和第二车辆彼此隐身。
此时，接收用户针对所述目标车辆的第八操作指令，所述第八操作指令用于指示对所述目标车辆添加分类标签为隐身的第三对抗图案；并接收用户针对第二车辆的第九操作指令，所述第九操作指令用于指示所述第二车辆添加分类标签为隐身的第四对抗图案；然后响应于所述第八操作指令，将所述第三对抗图案添加到所述目标车辆的有效范围内；响应于所述第九操作指令，将所述第四对抗图案添加到所述第二车辆的有效范围内；其中，所述第二车辆与所述目标车辆至少满足以下条件之一：
处于相同车道同向行驶，且所述第二车辆与所述目标车辆中的后车加速；
处于不同车道且会车；
处于不同车道同向行驶，且所述第二车辆或目标车辆变道。
如图10a所示，当第二车辆和目标车辆处于相同车道同向行驶时，由于第二车辆与目标车辆中的后车加速，但是由于前车对后车隐身，此时后车识别不到前车，后车加速撞上前车，此时目标车辆撞上第二车辆，或者第二车辆撞上目标车辆，导致车祸。
如图10b所示，当第二车辆和目标车辆处于不同车道且会车时，由于两车相互隐身，会车时都没躲让，导致相撞。
如图10c所示，当第二车辆和目标车辆处于不同车道且同向行驶，此时第二车辆变道，由于位于第二车辆安全变道区域内的目标车辆对第二车辆隐身，此时第二车辆识别不到第二车辆，第二车辆进行变道，此时由于目标车联也没有识别到变道过来的第二车辆，没有对第二车辆进行躲让，导致目标车辆被第二车辆撞上。
在一些实施例中，如图11中的上图所示，所述第二区域中显示的驾驶场景为会车场景，该场景中的目标对象为大卡车，用户为该大卡车添加了分类标签为小轿车的对抗图案，得到目标对抗样本，驾驶场景仿真平台将目标对抗样本输入车辆感知模型，将大卡车识别成了小轿车，此时，如图11中的下图所示，目标车辆与大卡车进行会车，由于避让距离不够，发生剐蹭。
综上所述，本方案提供了一个模型鲁棒性检测系统，第一方面，用户通过与模型鲁棒性检测系统中的驾驶场景仿真平台进行交互，可以手动直观地在驾驶场景仿真平台中的对抗图案添加到待攻击对象的有效范围内，得到目标对抗样本，然后系统自动将得到的目标对抗样本输入车辆感知模型，对车辆感知模型进行鲁棒性检测，可见，本方案提供的模型鲁棒性检测系统通俗易懂，直观有效，并且用户和系统进行简单交互(例如在显示界面中选取目标对抗图案，并将目标对抗图案拖拽待攻击对象上)即可生成目标对抗样本，系统操作简单，并且趣味性高；第二方面，本申请实施例在模型鲁棒性检测系统中即可实现对模型进行鲁棒性检测，通过仿真场景来模拟物理世界的检测流程，不需要实地对模型进行鲁棒性检测，能够保障检测的安全性，并且由于本方案中的目标对抗样本基于驾驶场景仿真平台生成，不需要对对抗图案进行拍摄以及打印，通过用户交互即可以在车辆运行过程中不断生成对抗样本，所以本方案可以在车辆运行过程中对车辆感知模型进行连续攻击，可以在短时间内更多、更快、更全面的测试车辆感知模型，提高攻击效果，缩短模型的迭代周期。
图12是本申请实施例提供的一种模型鲁棒性检测装置的示意性框图。如图12所示，对应于以上模型鲁棒性检测方法，本申请还提供一种模型鲁棒性检测装置1200。该模型鲁棒性检测装置1200包括用于执行上述模型鲁棒性检测方法的单元，该模型鲁棒性检测装置1200可以被配置于模型鲁棒性检测系统中，所述模型鲁棒性检测系统可被安装于计算机设备中，该计算机设备为终端或服务器，并且，所述模型鲁棒性检测系统包括驾驶场景仿真平台、车辆感知模型和虚拟控制器，所述驾驶场景仿真平台的显示界面包括第一区域和第二区域，所述第一区域显示有多个候选对抗图案，所述第二区域当前显示目标驾驶场景的画面，所述目标驾驶场景包括行驶中的目标车辆以及至少一个待攻击对象，且所述目标车辆在所述第二区域的图像和点云数据通过端口传输给所述车辆感知模型，所述模型鲁棒性检测装置1200包括收发模块1201以及处理模块1202，其中：
收发模块1201，用于接收用户针对目标对象的第一操作指令，所述第一操作指令用于指示为所述目标对象添加目标对抗图案，所述目标对象为当前在所述第二区域中显示的待攻击对象，所述目标对抗图案为用户从多个所述候选对抗图案中选中的对抗图案；
处理模块1202，用于响应于所述第一操作指令，将所述目标对抗图案添加到所述目标对象的有效范围内，得到目标对抗样本；将所述目标对抗样本输入所述车辆感知模型，得到识别结果，所述识别结果用于控制所述虚拟控制器生成所述目标车辆的驾驶指令，所述识别结果指示第一置信度高于第二置信度，所述第一置信度为所述车辆感知模型将所述目标对抗样本识别为非所述目标对象时的置信度，所述第二置信度为所述车辆感知模型将所述目标对抗样本识别为所述目标对象时的置信度。
在一些实施例中，所述驾驶场景仿真平台预设有多种候选驾驶场景，所述显示界面还包括第三区域，所述第三区域中包括每种所述候选驾驶场景分别对应的场景图标；在所述收发模块1201执行所述接收用户针对目标对象的第一操作指令步骤之前，所述收发模块1201，还用于接收用户针对所述第三区域中目标场景图标的第二操作指令，所述目标场景图标为用户从多个所述场景图标中选中的场景图标；所述处理模块1202，还用于根据所述第二操作指令将所述第二区域中的驾驶场景设置为所述目标场景图标对应的目标驾驶场景。
在一些实施例中，所述驾驶场景仿真平台预设有多种天气参数，所述显示界面还包括第四区域，所述第四区域中包括每种所述天气参数分别对应的天气图标；在所述处理模块1202执行所述将所述目标对抗样本输入所述车辆感知模型步骤之前，所述收发模块1201，还用于接收用户针对所述第四区域中目标天气图标的第三操作指令，所述目标天气图标为用户从多个所述天气图标中选中的天气图标；此时，所述处理模块1202，还用于根据所述第三操作指令将所述第二区域的天气参数设置为所述目标天气图标对应的目标天气参数。
在一些实施例中，所述驾驶场景仿真平台还预设有多个待添加对象，所述待添加对象为未在所述驾驶场景中添加的待攻击对象，所述显示界面还包括第五区域，所述第五区域中包括多个所述待添加对象；在所述收发模块1201执行所述接收用户针对目标对象的第一操作指令步骤之前，所述收发模块1201，还用于接收用户针对所述第五区域中目标待添加对象的第四操作指令，所述目标待添加对象为用户从多个所述待添加对象中选中的对象；此时，所述处理模块1202，还用于根据所述第四操作指令将所述目标待添加对象添加至所述第四操作指令在第二区域中指定的位置，以在所述第二区域中显示所述目标待添加对象；将所述目标待添加对象确定为所述目标对象。
在一些实施例中，在所述处理模块1202执行所述将所述目标对抗样本输入所述车辆感知模型步骤之前，所述处理模块1202，还用于配置所述模型鲁棒性检测系统，使得所述模型鲁棒性检测系统将所述车辆感知模型的输出作为所述虚拟控制器的输入；
其中，所述车辆感知模型以所述目标车辆的第一人称视角获取所述目标车辆的视场范围内的第一人称视角画面，所述第一人称视角画面包括所述目标对抗样本，并基于所述目标对抗样本得到所述识别结果；所述第一人称视角的方位信息跟随所述目标车辆的位置变化而变化。
在一些实施例中，所述第二区域中显示的驾驶场景为过斑马线驾驶场景，所述目标对象为第一时段内斑马线上的至少一个行人，所述目标对抗样本为添加了所述目标对抗图案的至少一个所述行人，所述处理模块1202中执行所述将所述目标对抗样本输入所述车辆感知模型，得到识别结果步骤时，具体用于：通过所述收发模块1201接收第一消息，所述第一消息用于指示所述目标车辆在所述第一时段内开过斑马线；将所述目标对抗样本输入所述车辆感知模型，得到所述斑马线无行人通过的识别结果。
在一些实施例中，所述第二区域中显示的驾驶场景为过红绿灯路口驾驶场景，所述目标对象为第二时段内显示红灯标志的红绿灯装置，所述目标对抗样本为添加了所述目标对抗图案的所述红绿灯装置；所述收发模块1201执行所述接收用户针对目标对象的第一操作指令步骤时，具体用于：接收用户针对所述红绿灯装置的第五操作指令，所述第五操作指令用于指示对所述红绿灯装置添加分类标签为绿灯的第一对抗图案；此时，所述处理模块1202在执行所述响应于所述第一操作指令，将所述目标对抗图案添加到所述目标对象的有效范围内，得到目标对抗样本步骤时，具体用于：响应于所述第五操作指令，将所述第一对抗图案叠加至所述红绿灯装置的有效范围内，得到第一对抗样本；所述处理模块1202在执行所述将所述目标对抗样本输入所述车辆感知模型，得到识别结果步骤时，具体用于：通过所述收发模块1201接收第二消息，所述第二消息用于指示所述目标车辆在所述第二时段内开过红绿灯路口；将所述第一对抗样本输入所述车辆感知模型，得到所述红绿灯装置显示绿灯标志的识别结果。
在一些实施例中，所述第二区域中显示的驾驶场景为变道场景，所述目标车辆在第一车道，所述目标对象为在第二车道且与所述目标车辆同向行使的第一车辆，所述目标对抗样本为添加了所述目标对抗图案的所述第一车辆；所述收发模块1201执行所述接收用户针对目标对象的第一操作指令步骤时，具体用于：接收用户针对所述第一车辆的第六操作指令，所述第六操作指令用于指示所述第一车辆添加分类标签为隐身的第二对抗图案；此时，所述处理模块1202执行所述响应于所述第一操作指令，将所述目标对抗图案添加到所述目标对象的有效范围内，得到目标对抗样本步骤时，具体用于：响应于所述第六操作指令，对所述第一车辆添加用于对所述第一车辆隐身攻击的所述第二对抗图案，得到第二对抗样本；所述处理模块1202在执行将所述目标对抗样本输入所述车辆感知模型，得到识别结果步骤时，具体用于：通过所述收发模块1201接收第三消息，所述第三消息用于指示所述目标车辆在第一预设时长内从所述第一车道变道至所述第二车道上；将所述第二对抗样本输入所述车辆感知模型，得到所述第二车道的安全变道区域内无车辆行驶的识别结果。
在一些实施例中，所述第二区域中显示有与所述目标车辆保持相对速度的虚拟无人机，所述收发模块1201在执行所述接收用户针对目标对象的第一操作指令步骤时，具体用于：接收用户针对所述虚拟无人机的第七操作指令，所述第七操作指令用于指示所述虚拟无人机向所述目标对象的有效范围内投影所述目标对抗图案；此时，所述处理模块1202在执行所述响应于所述第一操作指令，将所述目标对抗图案添加到所述目标对象的有效范围内，得到目标对抗样本步骤时，具体用于：响应于所述第七操作指令，通过所述虚拟无人机将所述目标对抗图案投影至所述目标对象的有效范围内，得到所述目标对抗样本。
在一些实施例中，所述收发模块1201，还用于接收用户针对所述目标车辆的第八操作指令，所述第八操作指令用于指示对所述目标车辆添加分类标签为隐身的第三对抗图案；接收用户针对第二车辆的第九操作指令，所述第九操作指令用于指示所述第二车辆添加分类标签为隐身的第四对抗图案；
所述处理模块1202，还用于响应于所述第八操作指令，将所述第三对抗图案添加到所述目标车辆的有效范围内；响应于所述第九操作指令，将所述第四对抗图案添加到所述第二车辆的有效范围内；
其中，所述第二车辆与所述目标车辆至少满足以下条件之一：
处于相同车道同向行驶，且所述第二车辆与所述目标车辆中的后车加速；
处于不同车道且会车；
处于不同车道同向行驶，且所述第二车辆或目标车辆变道。
综上所述，本方案提供了一个模型鲁棒性检测装置1200，模型鲁棒性检测装置1200被配置于模型鲁棒性检测系统中，第一方面，用户通过与模型鲁棒性检测系统中的驾驶场景仿真平台进行交互，可以手动直观地在驾驶场景仿真平台中的对抗图案添加到待攻击对象的有效范围内，得到目标对抗样本，然后系统自动将得到的目标对抗样本输入车辆感知模型，对车辆感知模型进行鲁棒性检测，可见，本方案提供的模型鲁棒性检测系统通俗易懂，直观有效，并且用户和系统进行简单交互(例如在显示界面中选取目标对抗图案，并将目标对抗图案拖拽待攻击对象上)即可生成目标对抗样本，系统操作简单，并且趣味性高；第二方面，本申请实施例在模型鲁棒性检测系统中即可实现对模型进行鲁棒性检测，通过仿真场景来模拟物理世界的检测流程，不需要实地对模型进行鲁棒性检测，能够保障检测的安全性，并且由于本方案中的目标对抗样本基于驾驶场景仿真平台生成，不需要对对抗图案进行拍摄以及打印，通过用户交互即可以在车辆运行过程中不断生成对抗样本，所以本方案可以在车辆运行过程中对车辆感知模型进行连续攻击，可以在短时间内更多、更快、更全面的测试车辆感知模型，提高攻击效果，缩短模型的迭代周期。
需要说明的是，所属领域的技术人员可以清楚地了解到，上述模型鲁棒性检测系统和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
上面从模块化功能实体的角度对本申请实施例中的模型鲁棒性检测装置进行了描述，下面从硬件处理的角度分别对本申请实施例中的模型鲁棒性检测装置进行描述。
需要说明的是，在本申请实施例各实施例(包括图12所示的各实施例)中所有的收发模块对应的实体设备可以为收发器，所有的处理模块对应的实体设备可以为处理器。当其中一种装置具有如图12所示的结构时，处理器、收发器和存储器实现前述对应该装置的装置实施例提供的所述收发模块和所述处理模块相同或相似的功能，图13中的存储器存储处理器执行上述模型鲁棒性检测方法时需要调用的计算机程序。
图12所示的系统可以具有如图13所示的结构，当图12所示的装置具有如图13所示的结构时，图13中的处理器能够实现前述对应该装置的装置实施例提供的所述处理模块相同或相似的功能，图13中的收发器能够实现前述对应该装置的装置实施例提供的所述收发模块相同或相似的功能，图13中的存储器存储处理器执行上述模型鲁棒性检测方法时需要调用的计算机程序。在本申请实施例图12所示的实施例中的所述收发模块所对应的实体设备可以为输入输出接口，所述处理模块对应的实体设备可以为处理器。
本申请实施例还提供了另一种终端设备，如图14所示，为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。该终端设备可以为包括手机、平板电脑、个人数字助理(英文全称：Personal Digital Assistant，英文简称：PDA)、销售终端(英文全称：Point of Sales，英文简称：POS)、车载电脑等任意终端设备，以终端为手机为例：
图14示出的是与本申请实施例提供的终端设备相关的手机的部分结构的框图。参考图14，手机包括：射频(英文全称：Radio Frequency，英文简称：RF)电路1410、存储器1420、输入单元1430、显示单元1440、传感器1450、音频电路1460、无线保真(英文全称：wireless fidelity，英文简称：Wi-Fi)模块1470、处理器1480、以及电源1490等部件。本领域技术人员可以理解，图14中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
下面结合图14对手机的各个构成部件进行具体的介绍：
RF电路1410可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器1480处理；另外，将设计上行的数据发送给基站。通常，RF电路1410包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(英文全称：LowNoise Amplifier，英文简称：LNA)、双工器等。此外，RF电路1410还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(英文全称：Global System of Mobile communication，英文简称：GSM)、通用分组无线服务(英文全称：General Packet Radio Service，英文简称：GPRS)、码分多址(英文全称：Code Division Multiple Access，英文简称：CDMA)、宽带码分多址(英文全称：Wideband Code Division Multiple Access,英文简称：WCDMA)、长期演进(英文全称：LongTerm Evolution，英文简称：LTE)、电子邮件、短消息服务(英文全称：Short MessagingService，英文简称：SMS)等。
存储器1420可用于存储软件程序以及模块，处理器1480通过运行存储在存储器1420的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器1420可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器1420可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元1430可用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地，输入单元1430可包括触控面板1431以及其他输入设备1432。触控面板1431，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1431上或在触控面板1431附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板1431可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器1480，并能接收处理器1480发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1431。除了触控面板1431，输入单元1430还可以包括其他输入设备1432。具体地，其他输入设备1432可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元1440可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元1440可包括显示面板1441，可选的，可以采用液晶显示器(英文全称：Liquid Crystal Display，英文简称：LCD)、有机发光二极管(英文全称：Organic Light-Emitting Diode,英文简称：OLED)等形式来配置显示面板1441。进一步的，触控面板1431可覆盖显示面板1441，当触控面板1431检测到在其上或附近的触摸操作后，传送给处理器1480以确定触摸事件的类型，随后处理器1480根据触摸事件的类型在显示面板1441上提供相应的视觉输出。虽然在图14中，触控面板1431与显示面板1441是作为两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以将触控面板1431与显示面板1441集成而实现手机的输入和输出功能。
手机还可包括至少一种传感器1450，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板1441的亮度，接近传感器可在手机移动到耳边时，关闭显示面板1441和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路1460、扬声器1461，传声器1462可提供用户与手机之间的音频接口。音频电路1460可将接收到的音频数据转换后的电信号，传输到扬声器1461，由扬声器1461转换为声音信号输出；另一方面，传声器1462将收集的声音信号转换为电信号，由音频电路1460接收后转换为音频数据，再将音频数据输出处理器1480处理后，经RF电路1410以发送给比如另一手机，或者将音频数据输出至存储器1420以便进一步处理。
Wi-Fi属于短距离无线传输技术，手机通过Wi-Fi模块1470可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图14示出了Wi-Fi模块1470，但是可以理解的是，其并不属于手机的必须构成，完全可以根据需要在不改变申请的本质的范围内而省略。
处理器1480是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器1420内的软件程序和/或模块，以及调用存储在存储器1420内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器1480可包括一个或多个处理单元；优选的，处理器1480可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1480中。
手机还包括给各个部件供电的电源1490(比如电池)，电源可以通过电源管理系统与处理器1480逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管未示出，手机还可以包括摄像头、蓝牙模块等，在此不再赘述。
在本申请实施例中，该手机所包括的处理器1480还具有控制执行以上由图2所示的模型鲁棒性检测方法的流程图。
图15是本申请实施例提供的一种服务器结构示意图，该服务器1520可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(英文全称：centralprocessing units，英文简称：CPU)1522(例如，一个或一个以上处理器)和存储器1532，一个或一个以上存储应用程序1542或数据1544的存储介质1530(例如一个或一个以上海量存储设备)。其中，存储器1532和存储介质1530可以是短暂存储或持久存储。存储在存储介质1530的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1522可以设置为与存储介质1530通信，在服务器1520上执行存储介质1530中的一系列指令操作。
服务器1520还可以包括一个或一个以上电源1526，一个或一个以上有线或无线网络接口1550，一个或一个以上输入输出接口1558，和/或，一个或一个以上操作系统1541，例如Windows Server，Mac OS X，Unix,Linux，FreeBSD等等。
上述实施例中由服务器所执行的步骤可以基于该图15所示的服务器1520的结构。例如上述实施例中由图2所示的服务器的步骤可以基于该图15所示的服务器结构。例如，所述处理器1522通过调用存储器1532中的指令，执行以下操作：
接收用户针对目标对象的第一操作指令，所述第一操作指令用于指示为所述目标对象添加目标对抗图案，所述目标对象为当前在所述第二区域中显示的待攻击对象，所述目标对抗图案为用户从多个所述候选对抗图案中选中的对抗图案；
响应于所述第一操作指令，将所述目标对抗图案添加到所述目标对象的有效范围内，得到目标对抗样本；
将所述目标对抗样本输入所述车辆感知模型，得到识别结果，所述识别结果用于控制所述虚拟控制器生成所述目标车辆的驾驶指令，所述识别结果指示第一置信度高于第二置信度，所述第一置信度为所述车辆感知模型将所述目标对抗样本识别为非所述目标对象时的置信度，所述第二置信度为所述车辆感知模型将所述目标对抗样本识别为所述目标对象时的置信度。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请实施例所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本申请实施例各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机计算机程序时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
以上对本申请实施例所提供的技术方案进行了详细介绍，本申请实施例中应用了具体个例对本申请实施例的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请实施例的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请实施例的限制。
Claims (22)
1.一种模型鲁棒性检测方法，其特征在于，所述方法应用于模型鲁棒性检测系统，所述模型鲁棒性检测系统包括驾驶场景仿真平台、车辆感知模型和虚拟控制器，所述驾驶场景仿真平台的显示界面包括第一区域和第二区域，所述第一区域显示有多个候选对抗图案，所述第二区域当前显示目标驾驶场景的画面，所述目标驾驶场景包括行驶中的目标车辆以及至少一个待攻击对象，且所述目标车辆在所述第二区域的图像和点云数据通过端口传输给所述车辆感知模型，所述方法包括：
接收用户针对目标对象的第一操作指令，所述第一操作指令用于指示为所述目标对象添加目标对抗图案，所述目标对象为当前在所述第二区域中显示的待攻击对象，所述目标对抗图案为用户从多个所述候选对抗图案中选中的对抗图案；
响应于所述第一操作指令，将所述目标对抗图案添加到所述目标对象的有效范围内，得到目标对抗样本；
将所述目标对抗样本输入所述车辆感知模型，得到识别结果，所述识别结果用于控制所述虚拟控制器生成所述目标车辆的驾驶指令，所述识别结果指示第一置信度高于第二置信度，所述第一置信度为所述车辆感知模型将所述目标对抗样本识别为非所述目标对象时的置信度，所述第二置信度为所述车辆感知模型将所述目标对抗样本识别为所述目标对象时的置信度。
2.根据权利要求1所述的方法，其特征在于，所述驾驶场景仿真平台预设有多种候选驾驶场景，所述显示界面还包括第三区域，所述第三区域中包括每种所述候选驾驶场景分别对应的场景图标；所述接收用户针对目标对象的第一操作指令之前，所述方法还包括：
接收用户针对所述第三区域中目标场景图标的第二操作指令，所述目标场景图标为用户从多个所述场景图标中选中的场景图标；
根据所述第二操作指令将所述第二区域中的驾驶场景设置为所述目标场景图标对应的目标驾驶场景。
3.根据权利要求1所述的方法，其特征在于，所述驾驶场景仿真平台预设有多种天气参数，所述显示界面还包括第四区域，所述第四区域中包括每种所述天气参数分别对应的天气图标；所述将所述目标对抗样本输入所述车辆感知模型之前，所述方法还包括：
接收用户针对所述第四区域中目标天气图标的第三操作指令，所述目标天气图标为用户从多个所述天气图标中选中的天气图标；
根据所述第三操作指令将所述第二区域的天气参数设置为所述目标天气图标对应的目标天气参数。
4.根据权利要求1所述的方法，其特征在于，所述驾驶场景仿真平台还预设有多个待添加对象，所述待添加对象为未在所述驾驶场景中添加的待攻击对象，所述显示界面还包括第五区域，所述第五区域中包括多个所述待添加对象；所述接收用户针对目标对象的第一操作指令之前，所述方法还包括：
接收用户针对所述第五区域中目标待添加对象的第四操作指令，所述目标待添加对象为用户从多个所述待添加对象中选中的对象；
根据所述第四操作指令将所述目标待添加对象添加至所述第四操作指令在第二区域中指定的位置，以在所述第二区域中显示所述目标待添加对象；
将所述目标待添加对象确定为所述目标对象。
5.根据权利要求1所述的方法，其特征在于，所述将所述目标对抗样本输入所述车辆感知模型之前，所述方法还包括：
配置所述模型鲁棒性检测系统，使得所述模型鲁棒性检测系统将所述车辆感知模型的输出作为所述虚拟控制器的输入；
其中，所述车辆感知模型以所述目标车辆的第一人称视角获取所述目标车辆的视场范围内的第一人称视角画面，所述第一人称视角画面包括所述目标对抗样本，并基于所述目标对抗样本得到所述识别结果；所述第一人称视角的方位信息跟随所述目标车辆的位置变化而变化。
6.根据权利要求1至5中任一项所述的方法，其特征在于，所述第二区域中显示的驾驶场景为过斑马线驾驶场景，所述目标对象为第一时段内斑马线上的至少一个行人，所述目标对抗样本为添加了所述目标对抗图案的至少一个所述行人；所述将所述目标对抗样本输入所述车辆感知模型，得到识别结果，包括：
接收第一消息，所述第一消息用于指示所述目标车辆在所述第一时段内开过斑马线；
将所述目标对抗样本输入所述车辆感知模型，得到所述斑马线无行人通过的识别结果。
7.根据权利要求1至5中任一项所述的方法，其特征在于，所述第二区域中显示的驾驶场景为过红绿灯路口驾驶场景，所述目标对象为第二时段内显示红灯标志的红绿灯装置，所述目标对抗样本为添加了所述目标对抗图案的所述红绿灯装置；所述接收用户针对目标对象的第一操作指令，包括：
接收用户针对所述红绿灯装置的第五操作指令，所述第五操作指令用于指示对所述红绿灯装置添加分类标签为绿灯的第一对抗图案；
所述响应于所述第一操作指令，将所述目标对抗图案添加到所述目标对象的有效范围内，得到目标对抗样本，包括：
响应于所述第五操作指令，将所述第一对抗图案叠加至所述红绿灯装置的有效范围内，得到第一对抗样本；
将所述目标对抗样本输入所述车辆感知模型，得到识别结果，包括：
接收第二消息，所述第二消息用于指示所述目标车辆在所述第二时段内开过红绿灯路口；
将所述第一对抗样本输入所述车辆感知模型，得到所述红绿灯装置显示绿灯标志的识别结果。
8.根据权利要求1至5中任一项所述的方法，其特征在于，所述第二区域中显示的驾驶场景为变道场景，所述目标车辆在第一车道，所述目标对象为在第二车道且与所述目标车辆同向行使的第一车辆，所述目标对抗样本为添加了所述目标对抗图案的所述第一车辆；所述接收用户针对目标对象的第一操作指令，包括：
接收用户针对所述第一车辆的第六操作指令，所述第六操作指令用于指示所述第一车辆添加分类标签为隐身的第二对抗图案；
所述响应于所述第一操作指令，将所述目标对抗图案添加到所述目标对象的有效范围内，得到目标对抗样本，包括：
响应于所述第六操作指令，对所述第一车辆添加用于对所述第一车辆隐身攻击的所述第二对抗图案，得到第二对抗样本；
将所述目标对抗样本输入所述车辆感知模型，得到识别结果，包括：
接收第三消息，所述第三消息用于指示所述目标车辆在第一预设时长内从所述第一车道变道至所述第二车道上；
将所述第二对抗样本输入所述车辆感知模型，得到所述第二车道的安全变道区域内无车辆行驶的识别结果。
9.根据权利要求1至5中任一项所述的方法，其特征在于，所述第二区域中显示有与所述目标车辆保持相对速度的虚拟无人机，所述接收用户针对目标对象的第一操作指令，包括：
接收用户针对所述虚拟无人机的第七操作指令，所述第七操作指令用于指示所述虚拟无人机向所述目标对象的有效范围内投影所述目标对抗图案；
所述响应于所述第一操作指令，将所述目标对抗图案添加到所述目标对象的有效范围内，得到目标对抗样本，包括：
响应于所述第七操作指令，通过所述虚拟无人机将所述目标对抗图案投影至所述目标对象的有效范围内，得到所述目标对抗样本。
10.根据权利要求1至5中任一项所述的方法，其特征在于，所述方法还包括：
接收用户针对所述目标车辆的第八操作指令，所述第八操作指令用于指示对所述目标车辆添加分类标签为隐身的第三对抗图案；
接收用户针对第二车辆的第九操作指令，所述第九操作指令用于指示所述第二车辆添加分类标签为隐身的第四对抗图案；
响应于所述第八操作指令，将所述第三对抗图案添加到所述目标车辆的有效范围内；
响应于所述第九操作指令，将所述第四对抗图案添加到所述第二车辆的有效范围内；
其中，所述第二车辆与所述目标车辆至少满足以下条件之一：
处于相同车道同向行驶，且所述第二车辆与所述目标车辆中的后车加速；
处于不同车道且会车；
处于不同车道同向行驶，且所述第二车辆或目标车辆变道。
11.一种模型鲁棒性检测装置，其特征在于，所述模型鲁棒性检测装置被配置于模型鲁棒性检测系统中，所述模型鲁棒性检测系统包括驾驶场景仿真平台、车辆感知模型和虚拟控制器，所述驾驶场景仿真平台的显示界面包括第一区域和第二区域，所述第一区域显示有多个候选对抗图案，所述第二区域当前显示目标驾驶场景的画面，所述目标驾驶场景包括行驶中的目标车辆以及至少一个待攻击对象，且所述目标车辆在所述第二区域的图像和点云数据通过端口传输给所述车辆感知模型，所述装置包括：
收发模块，用于接收用户针对目标对象的第一操作指令，所述第一操作指令用于指示为所述目标对象添加目标对抗图案，所述目标对象为当前在所述第二区域中显示的待攻击对象，所述目标对抗图案为用户从多个所述候选对抗图案中选中的对抗图案；
处理模块，用于响应于所述第一操作指令，将所述目标对抗图案添加到所述目标对象的有效范围内，得到目标对抗样本；将所述目标对抗样本输入所述车辆感知模型，得到识别结果，所述识别结果用于控制所述虚拟控制器生成所述目标车辆的驾驶指令，所述识别结果指示第一置信度高于第二置信度，所述第一置信度为所述车辆感知模型将所述目标对抗样本识别为非所述目标对象时的置信度，所述第二置信度为所述车辆感知模型将所述目标对抗样本识别为所述目标对象时的置信度。
12.根据权利要求11所述的模型鲁棒性检测装置，其特征在于，所述驾驶场景仿真平台预设有多种候选驾驶场景，所述显示界面还包括第三区域，所述第三区域中包括每种所述候选驾驶场景分别对应的场景图标；在所述收发模块执行所述接收用户针对目标对象的第一操作指令步骤之前：
所述收发模块，还用于接收用户针对所述第三区域中目标场景图标的第二操作指令，所述目标场景图标为用户从多个所述场景图标中选中的场景图标；所述处理模块，还用于根据所述第二操作指令将所述第二区域中的驾驶场景设置为所述目标场景图标对应的目标驾驶场景。
13.根据权利要求11所述的模型鲁棒性检测装置，其特征在于，所述驾驶场景仿真平台预设有多种天气参数，所述显示界面还包括第四区域，所述第四区域中包括每种所述天气参数分别对应的天气图标；在所述处理模块执行所述将所述目标对抗样本输入所述车辆感知模型步骤之前：
所述收发模块，还用于接收用户针对所述第四区域中目标天气图标的第三操作指令，所述目标天气图标为用户从多个所述天气图标中选中的天气图标；
所述处理模块，还用于根据所述第三操作指令将所述第二区域的天气参数设置为所述目标天气图标对应的目标天气参数。
14.根据权利要求11所述的模型鲁棒性检测装置，其特征在于，所述驾驶场景仿真平台还预设有多个待添加对象，所述待添加对象为未在所述驾驶场景中添加的待攻击对象，所述显示界面还包括第五区域，所述第五区域中包括多个所述待添加对象；在所述收发模块执行所述接收用户针对目标对象的第一操作指令步骤之前：
所述收发模块，还用于接收用户针对所述第五区域中目标待添加对象的第四操作指令，所述目标待添加对象为用户从多个所述待添加对象中选中的对象；
所述处理模块，还用于根据所述第四操作指令将所述目标待添加对象添加至所述第四操作指令在第二区域中指定的位置，以在所述第二区域中显示所述目标待添加对象；将所述目标待添加对象确定为所述目标对象。
15.根据权利要求11所述的模型鲁棒性检测装置，其特征在于，在所述处理模块执行所述将所述目标对抗样本输入所述车辆感知模型步骤之前：
所述处理模块，还用于配置所述模型鲁棒性检测系统，使得所述模型鲁棒性检测系统将所述车辆感知模型的输出作为所述虚拟控制器的输入；
其中，所述车辆感知模型以所述目标车辆的第一人称视角获取所述目标车辆的视场范围内的第一人称视角画面，所述第一人称视角画面包括所述目标对抗样本，并基于所述目标对抗样本得到所述识别结果；所述第一人称视角的方位信息跟随所述目标车辆的位置变化而变化。
16.根据权利要求11至15中任一项所述的模型鲁棒性检测装置，其特征在于，所述第二区域中显示的驾驶场景为过斑马线驾驶场景，所述目标对象为第一时段内斑马线上的至少一个行人，所述目标对抗样本为添加了所述目标对抗图案的至少一个所述行人，所述处理模块在执行所述将所述目标对抗样本输入所述车辆感知模型，得到识别结果步骤时，具体用于：
通过所述收发模块接收第一消息，所述第一消息用于指示所述目标车辆在所述第一时段内开过斑马线；将所述目标对抗样本输入所述车辆感知模型，得到所述斑马线无行人通过的识别结果。
17.根据权利要求11至15中任一项所述的模型鲁棒性检测装置，其特征在于，所述第二区域中显示的驾驶场景为过红绿灯路口驾驶场景，所述目标对象为第二时段内显示红灯标志的红绿灯装置，所述目标对抗样本为添加了所述目标对抗图案的所述红绿灯装置；所述收发模块执行所述接收用户针对目标对象的第一操作指令步骤时，具体用于：
接收用户针对所述红绿灯装置的第五操作指令，所述第五操作指令用于指示对所述红绿灯装置添加分类标签为绿灯的第一对抗图案；
所述处理模块在执行所述响应于所述第一操作指令，将所述目标对抗图案添加到所述目标对象的有效范围内，得到目标对抗样本步骤时，具体用于：
响应于所述第五操作指令，将所述第一对抗图案叠加至所述红绿灯装置的有效范围内，得到第一对抗样本；
所述处理模块在执行所述将所述目标对抗样本输入所述车辆感知模型，得到识别结果步骤时，具体用于：
通过所述收发模块接收第二消息，所述第二消息用于指示所述目标车辆在所述第二时段内开过红绿灯路口；将所述第一对抗样本输入所述车辆感知模型，得到所述红绿灯装置显示绿灯标志的识别结果。
18.根据权利要求11至15中任一项所述的模型鲁棒性检测装置，其特征在于，所述第二区域中显示的驾驶场景为变道场景，所述目标车辆在第一车道，所述目标对象为在第二车道且与所述目标车辆同向行使的第一车辆，所述目标对抗样本为添加了所述目标对抗图案的所述第一车辆；所述收发模块执行所述接收用户针对目标对象的第一操作指令步骤时，具体用于：
接收用户针对所述第一车辆的第六操作指令，所述第六操作指令用于指示所述第一车辆添加分类标签为隐身的第二对抗图案；
所述处理模块执行所述响应于所述第一操作指令，将所述目标对抗图案添加到所述目标对象的有效范围内，得到目标对抗样本步骤时，具体用于：
响应于所述第六操作指令，对所述第一车辆添加用于对所述第一车辆隐身攻击的所述第二对抗图案，得到第二对抗样本；
所述处理模块在执行将所述目标对抗样本输入所述车辆感知模型，得到识别结果步骤时，具体用于：
通过所述收发模块接收第三消息，所述第三消息用于指示所述目标车辆在第一预设时长内从所述第一车道变道至所述第二车道上；将所述第二对抗样本输入所述车辆感知模型，得到所述第二车道的安全变道区域内无车辆行驶的识别结果。
19.根据权利要求11至15中任一项所述的模型鲁棒性检测装置，其特征在于，所述第二区域中显示有与所述目标车辆保持相对速度的虚拟无人机，所述收发模块在执行所述接收用户针对目标对象的第一操作指令步骤时，具体用于接收用户针对所述虚拟无人机的第七操作指令，所述第七操作指令用于指示所述虚拟无人机向所述目标对象的有效范围内投影所述目标对抗图案；
所述处理模块在执行所述响应于所述第一操作指令，将所述目标对抗图案添加到所述目标对象的有效范围内，得到目标对抗样本步骤时，具体用于：
响应于所述第七操作指令，通过所述虚拟无人机将所述目标对抗图案投影至所述目标对象的有效范围内，得到所述目标对抗样本。
20.根据权利要求11至15中任一项所述的模型鲁棒性检测装置，其特征在于，所述收发模块还用于：
接收用户针对所述目标车辆的第八操作指令，所述第八操作指令用于指示对所述目标车辆添加分类标签为隐身的第三对抗图案；
接收用户针对第二车辆的第九操作指令，所述第九操作指令用于指示所述第二车辆添加分类标签为隐身的第四对抗图案；
所述处理模块，还用于响应于所述第八操作指令，将所述第三对抗图案添加到所述目标车辆的有效范围内；响应于所述第九操作指令，将所述第四对抗图案添加到所述第二车辆的有效范围内；
其中，所述第二车辆与所述目标车辆至少满足以下条件之一：
处于相同车道同向行驶，且所述第二车辆与所述目标车辆中的后车加速；
处于不同车道且会车；
处于不同车道同向行驶，且所述第二车辆或目标车辆变道。
21.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-10中任一项所述的方法。
22.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时可实现如权利要求1-10中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211230871.3A CN115526055B (zh) | 2022-09-30 | 2022-09-30 | 模型鲁棒性检测方法、相关装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211230871.3A CN115526055B (zh) | 2022-09-30 | 2022-09-30 | 模型鲁棒性检测方法、相关装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115526055A CN115526055A (zh) | 2022-12-27 |
| CN115526055B true CN115526055B (zh) | 2024-02-13 |
Family
ID=84701256
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211230871.3A Active CN115526055B (zh) | 2022-09-30 | 2022-09-30 | 模型鲁棒性检测方法、相关装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115526055B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115909020B (zh) * | 2022-09-30 | 2024-01-09 | 北京瑞莱智慧科技有限公司 | 模型鲁棒性检测方法、相关装置及存储介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109190648A (zh) * | 2018-06-26 | 2019-01-11 | Oppo（重庆）智能科技有限公司 | 模拟环境生成方法、装置、移动终端及计算机可读取存储介质 |
| CN109643125A (zh) * | 2016-06-28 | 2019-04-16 | 柯尼亚塔有限公司 | 用于训练自动驾驶系统的逼真的3d虚拟世界创造与模拟 |
| CN111923928A (zh) * | 2019-05-13 | 2020-11-13 | 长城汽车股份有限公司 | 用于自动车辆的决策制定方法和系统 |
| CN113326786A (zh) * | 2021-06-01 | 2021-08-31 | 百度在线网络技术（北京）有限公司 | 数据处理方法、装置、设备、车辆和存储介质 |
| CN113792791A (zh) * | 2021-09-14 | 2021-12-14 | 百度在线网络技术（北京）有限公司 | 针对视觉模型的处理方法及装置 |
| CN114299161A (zh) * | 2021-12-29 | 2022-04-08 | 赛可智能科技(上海)有限公司 | 数据处理方法、装置、设备及计算机存储介质 |
| CN114331829A (zh) * | 2021-09-03 | 2022-04-12 | 腾讯科技（深圳）有限公司 | 一种对抗样本生成方法、装置、设备以及可读存储介质 |
| WO2022078289A1 (zh) * | 2020-10-14 | 2022-04-21 | 广州小鹏自动驾驶科技有限公司 | 一种自动驾驶的仿真测试系统和方法 |
| CN114419346A (zh) * | 2021-12-31 | 2022-04-29 | 北京瑞莱智慧科技有限公司 | 一种模型的鲁棒性检测方法、装置、设备及介质 |
| WO2022141506A1 (zh) * | 2020-12-31 | 2022-07-07 | 华为技术有限公司 | 一种仿真场景的构建方法、仿真方法以及设备 |
| CN114997393A (zh) * | 2021-03-01 | 2022-09-02 | 罗伯特·博世有限公司 | 利用空间表示学习和对抗生成的对可移动对象的功能测试 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020172842A1 (zh) * | 2019-02-28 | 2020-09-03 | 深圳市商汤科技有限公司 | 车辆智能驾驶控制方法及装置、电子设备和存储介质 |
| US10990855B2 (en) * | 2019-06-13 | 2021-04-27 | Baidu Usa Llc | Detecting adversarial samples by a vision based perception system |
| US11801861B2 (en) * | 2020-04-01 | 2023-10-31 | Nvidia Corporation | Using image augmentation with simulated objects for training machine learning models in autonomous driving applications |
| US20220289253A1 (en) * | 2022-05-25 | 2022-09-15 | Baidu Usa Llc | Method for evaluating autonomous driving system, apparatus and storage medium |
-
2022
- 2022-09-30 CN CN202211230871.3A patent/CN115526055B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109643125A (zh) * | 2016-06-28 | 2019-04-16 | 柯尼亚塔有限公司 | 用于训练自动驾驶系统的逼真的3d虚拟世界创造与模拟 |
| CN109190648A (zh) * | 2018-06-26 | 2019-01-11 | Oppo（重庆）智能科技有限公司 | 模拟环境生成方法、装置、移动终端及计算机可读取存储介质 |
| CN111923928A (zh) * | 2019-05-13 | 2020-11-13 | 长城汽车股份有限公司 | 用于自动车辆的决策制定方法和系统 |
| WO2022078289A1 (zh) * | 2020-10-14 | 2022-04-21 | 广州小鹏自动驾驶科技有限公司 | 一种自动驾驶的仿真测试系统和方法 |
| WO2022141506A1 (zh) * | 2020-12-31 | 2022-07-07 | 华为技术有限公司 | 一种仿真场景的构建方法、仿真方法以及设备 |
| CN114997393A (zh) * | 2021-03-01 | 2022-09-02 | 罗伯特·博世有限公司 | 利用空间表示学习和对抗生成的对可移动对象的功能测试 |
| CN113326786A (zh) * | 2021-06-01 | 2021-08-31 | 百度在线网络技术（北京）有限公司 | 数据处理方法、装置、设备、车辆和存储介质 |
| CN114331829A (zh) * | 2021-09-03 | 2022-04-12 | 腾讯科技（深圳）有限公司 | 一种对抗样本生成方法、装置、设备以及可读存储介质 |
| CN113792791A (zh) * | 2021-09-14 | 2021-12-14 | 百度在线网络技术（北京）有限公司 | 针对视觉模型的处理方法及装置 |
| CN114299161A (zh) * | 2021-12-29 | 2022-04-08 | 赛可智能科技(上海)有限公司 | 数据处理方法、装置、设备及计算机存储介质 |
| CN114419346A (zh) * | 2021-12-31 | 2022-04-29 | 北京瑞莱智慧科技有限公司 | 一种模型的鲁棒性检测方法、装置、设备及介质 |
Non-Patent Citations (3)
| Title |
|---|
| Towards Robust Sensing for Autonomous Vehicles:An adversarial perspective;Apostolo Modas;IEEE Signal Processing Magazine;1-9 * |
| 多车协同超视距认知方法的研究与仿真;许凡奇;中国优秀硕士论文电子期刊;全文 * |
| 面向智能驾驶视觉感知的对抗样本攻击与防御方法综述;杨弋;邵文泽;王力谦;葛琦;鲍秉坤;邓海松;李海波;;南京信息工程大学学报(自然科学版)(第06期);31-39 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115526055A (zh) | 2022-12-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112802111B (zh) | 一种物体模型构建方法及装置 | |
| CN110443190A (zh) | 一种对象识别方法和装置 | |
| CN113220848B (zh) | 用于人机交互的自动问答方法、装置和智能设备 | |
| CN115588131B (zh) | 模型鲁棒性检测方法、相关装置及存储介质 | |
| CN108151716A (zh) | 飞行装置测绘作业区域规划方法、装置和终端 | |
| CN116310745B (zh) | 图像处理方法、数据处理方法、相关装置及存储介质 | |
| CN112163280B (zh) | 一种自动驾驶场景的模拟方法、装置、设备以及存储介质 | |
| CN115526055B (zh) | 模型鲁棒性检测方法、相关装置及存储介质 | |
| CN115081643B (zh) | 对抗样本生成方法、相关装置及存储介质 | |
| CN115239941B (zh) | 对抗图像生成方法、相关装置及存储介质 | |
| CN115471495B (zh) | 模型鲁棒性检测方法、相关装置及存储介质 | |
| CN115937638A (zh) | 模型训练方法、图像处理方法、相关装置及存储介质 | |
| CN116071614A (zh) | 样本数据处理方法、相关设备及存储介质 | |
| CN115412726B (zh) | 视频真伪检测方法、装置及存储介质 | |
| CN117743170A (zh) | 测试用例生成方法、装置、存储介质及终端设备 | |
| CN115984792B (zh) | 一种对抗测试方法、系统及存储介质 | |
| CN115984643A (zh) | 模型训练方法、相关设备及存储介质 | |
| CN115909020B (zh) | 模型鲁棒性检测方法、相关装置及存储介质 | |
| CN115623271A (zh) | 待注入视频的处理方法及电子设备 | |
| CN110750193A (zh) | 一种基于人工智能的场景拓扑确定方法和装置 | |
| CN117853859B (zh) | 图像处理方法、相关装置及存储介质 | |
| CN115909186B (zh) | 图像信息识别方法、装置、计算机设备及存储介质 | |
| CN111681255B (zh) | 一种对象识别方法和相关装置 | |
| CN116167274A (zh) | 仿真作战攻防训练方法、相关装置及存储介质 | |
| CN117765349A (zh) | 对抗样本的生成方法、相关装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |