CN117373285A - 风险预警模型训练方法、风险预警方法及自动驾驶车辆 - Google Patents
风险预警模型训练方法、风险预警方法及自动驾驶车辆 Download PDFInfo
- Publication number
- CN117373285A CN117373285A CN202311348313.1A CN202311348313A CN117373285A CN 117373285 A CN117373285 A CN 117373285A CN 202311348313 A CN202311348313 A CN 202311348313A CN 117373285 A CN117373285 A CN 117373285A
- Authority
- CN
- China
- Prior art keywords
- risk
- vehicle
- information
- obstacle
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 95
- 238000012549 training Methods 0.000 title claims abstract description 92
- 230000003993 interaction Effects 0.000 claims abstract description 120
- 230000004888 barrier function Effects 0.000 claims abstract description 22
- 238000002372 labelling Methods 0.000 claims abstract description 20
- 230000033001 locomotion Effects 0.000 claims description 29
- 238000004590 computer program Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 14
- 230000000977 initiatory effect Effects 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 11
- 230000000007 visual effect Effects 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 5
- 238000012217 deletion Methods 0.000 claims description 4
- 230000037430 deletion Effects 0.000 claims description 4
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 238000013135 deep learning Methods 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 15
- 238000004891 communication Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 239000003795 chemical substances by application Substances 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012502 risk assessment Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000002955 isolation Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000004821 distillation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Traffic Control Systems (AREA)
Abstract
本公开提供了风险预警模型训练方法、风险预警方法及自动驾驶车辆,涉及深度学习、模型训练、自动驾驶等人工智能技术领域。该方法包括:获取车辆的风险图像、对其所属场景类型和所包含风险障碍物的标注信息;将风险图像中的障碍物和车辆在风险发生前的特征信息,通过历史信息编码网络进行特征编码,得到与风险发生时刻对应的障碍物信息编码和车辆信息编码;将路网信息编码和车辆信息编码通过第一相互作用网络进行特征交互,得到车路交互特征;将车路交互特征和障碍物信息编码通过第二相互作用网络进行特征交互,得到风险场景预测概率和风险障碍物预测概率;基于历史信息编码网络、第一相互作用网络和第二相互作用网络,构建得到目标风险预警模型。
Description
技术领域
本公开涉及数据处理领域,具体涉及深度学习、模型训练、自动驾驶、智能车辆等人工智能技术领域,可应用于智慧交通、智慧城市等场景,尤其涉及一种风险预警模型训练方法和风险预警方法,以及以对应的装置、电子设备、计算机可读存储介质、计算机程序产品,以及设置有该电子设备的自动驾驶车辆。
背景技术
现有的自动驾驶系统在实际路跑过程中,经常会经过事故高发路段,遇到切车风险,追尾风险,变道风险的情况,需要对自动驾驶过程中出现避让风险的场景进行预测。
因此,面临复杂、多变的交通情况,如何控制设置有自动驾驶系统的自动驾驶车辆能够准确进行风险预警,是本领域技术人员亟待解决的技术问题。
发明内容
本公开实施例提出了一种风险预警模型训练、风险预警方法、装置、电子设备、计算机可读存储介质、计算机程序产品及自动驾驶车辆。
第一方面,本公开实施例提出了一种风险预警模型训练方法,包括:获取车辆在发生风险时的风险图像、并获取对风险图像所属的场景类型和所包含的风险障碍物的标注信息;将风险图像中的障碍物和车辆在风险发生前的特征信息,通过预设的历史信息编码网络进行特征编码,得到与风险发生时刻对应的障碍物信息编码和车辆信息编码;其中,特征信息基于障碍物和车辆的运动状态和标注信息确定得到;将对路网信息进行特征编码得到的路网信息编码和车辆信息编码通过预设的第一相互作用网络进行特征交互,得到车路交互特征;将车路交互特征和障碍物信息编码通过预设的第二相互作用网络进行特征交互,得到同时输出的风险场景预测概率和风险障碍物预测概率;基于满足预设训练目标的历史信息编码网络、第一相互作用网络和第二相互作用网络,构建得到目标风险预警模型。
第二方面,本公开实施例提出了一种风险预警模型训练装置,包括:风险图像及标注信息获取单元,被配置成获取车辆在发生风险时的风险图像、并获取对风险图像所属的场景类型和所包含的风险障碍物的标注信息;特征编码单元,被配置成将风险图像中的障碍物和车辆在风险发生前的特征信息,通过预设的历史信息编码网络进行特征编码,得到与风险发生时刻对应的障碍物信息编码和车辆信息编码;其中,特征信息基于障碍物和车辆的运动状态和标注信息确定得到;第一交互作用单元,被配置成将对路网信息进行特征编码得到的路网信息编码和车辆信息编码通过预设的第一相互作用网络进行特征交互,得到车路交互特征;第二交互作用单元,被配置成将车路交互特征和障碍物信息编码通过预设的第二相互作用网络进行特征交互,得到同时输出的风险场景预测概率和风险障碍物预测概率;目标风险预警模型构建单元,被配置成基于满足预设训练目标的历史信息编码网络、第一相互作用网络和第二相互作用网络,构建得到目标风险预警模型。
第三方面,本公开实施例提出了一种风险预警方法,包括:获取出现在车辆行驶视野中的障碍物图像信息流和车辆行驶信息流;将障碍物图像信息流和车辆行驶信息流持续输入预设的目标风险预警模型,得到持续输出的当前时刻对应场景属于风险场景的第一预测概率和各障碍物属于风险障碍物的第二预测概率;其中,目标风险预警模型基于第一方面所描述的风险预警模型训练方法得到;生成与第一预测概率和第二预测概率对应的风险预警信息。
第四方面,本公开实施例提出了一种风险预警装置,包括:实时信息流获取单元,被配置成获取出现在车辆行驶视野中的障碍物图像信息流和车辆行驶信息流;风险预警模型调用单元,被配置成将障碍物图像信息流和车辆行驶信息流持续输入预设的目标风险预警模型,得到持续输出的当前时刻对应场景属于风险场景的第一预测概率和各障碍物属于风险障碍物的第二预测概率;其中,目标风险预警模型基于第二方面描述的风险预警模型训练装置得到;风险预警信息生成单元,被配置成生成与第一预测概率和第二预测概率对应的风险预警信息。
第五方面,本公开实施例提供了一种电子设备,该电子设备包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,该指令被至少一个处理器执行,以使至少一个处理器执行时能够实现如第一方面描述的风险预警模型训练方法或如第三方面描述的风险预警方法。
第六方面,本公开实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质,该计算机指令用于使计算机执行时能够实现如第一方面描述的风险预警模型训练方法或如第三方面描述的风险预警方法。
第七方面,本公开实施例提供了一种包括计算机程序的计算机程序产品,该计算机程序在被处理器执行时能够实现如第一方面描述的风险预警模型训练方法或如第三方面描述的风险预警方法。
第八方面,本公开实施例提供了一种自动驾驶车辆,其中设置有如第五方面描述的电子设备。
本公开实施例提供的风险预警模型训练方案和风险预警方案,首先通过获取车辆发生风险时的风险图像、对风险图像所属场景类型和所包含风险障碍物的标注信息,然后通过使用障碍物和车辆在发生风险前的特征信息进行将风险发生时刻的特征信息作为编码结果的特征编码,接着通过使路网信息编码和车辆信息编码进行特征交互得到车路交互特征,再通过车路交互特征与障碍物信息编码进行特征交互得到最终输出的风险场景预测概率和风险障碍物预测概率,最终得到由满足预设训练目标的各网络构建得到的目标风险预警模型,以在具体应用该目标风险预警模型时,可借助该模型对持续输入的障碍物图像信息流和车辆行驶信息流进行分析处理,进而同时输出对当前场景是否属于风险场景以及在属于风险场景下对风险障碍物的预测概率,已生成相应的风险预警信息,以便于按照风险预警信息进行风险规避。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本公开的其它特征、目的和优点将会变得更明显:
图1是本公开可以应用于其中的示例性系统架构;
图2为本公开实施例提供的一种风险预警模型训练方法的流程图;
图3为本公开实施例提供的一种获取风险图像及进行特征编码的方法的流程图;
图4为本公开实施例提供的一种与图2所示对应的风险预警模型的结构示意图;
图5为本公开实施例提供的一种风险预警方法的流程图;
图6为本公开实施例提供的一种风险预警信息生成方法及风险接管请求处理方法的流程图;
图7为本公开实施例提供的一种风险预警模型训练装置的结构框图;
图8为本公开实施例提供的一种风险预警装置的结构框图;
图9为本公开实施例提供的一种适用于执行风险预警模型训练方法和/或风险预警方法的电子设备的结构示意图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。需要说明的是,在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互组合。
本公开的技术方案中,所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理,均符合相关法律法规的规定,且不违背公序良俗。
图1示出了可以应用本申请的用于训练风险预警模型以及风险预警的方法、装置、电子设备、计算机可读存储介质、自动驾驶车辆的实施例的示例性系统架构100。
如图1所示,系统架构100可以包括自动驾驶车辆101、车载终端102以及云端服务器103。网络用以在自动驾驶车辆101、车载终端102以及云端服务器103之间提供通信链路的介质。网络可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
载有乘客的自动驾驶车辆101可以通过部署在车载终端102或云端服务器103上的目标风险预警模型,对行驶过程中的行驶行管信息进行收集,并借助该目标风险预警模型进行风险分析和风险预警。这一功能可以通过安装在上述设备上的风险分析应用得以实现。
具体的,独立使用的车载终端102或搭配云端服务器103一并使用的车载终端102可在运行风险分析应用时可实现如下效果:首先,借助车载传感器获取出现在车辆行驶视野中的障碍物图像信息流和车辆行驶信息流;然后,将该障碍物图像信息流和车辆行驶信息流持续输入预设的目标风险预警模型,得到持续输出的当前时刻对应场景属于风险场景的第一预测概率和各障碍物属于风险障碍物的第二预测概率;最后,生成与该第一预测概率和该第二预测概率对应的风险预警信息。以便车载终端102根据该风险预警信息控制自动驾驶系统进行相应的风险规避。
其中,目标风险预警模型可由云端服务器103上内置的模型训练类应用按如下步骤训练得到:首先,获取车辆在发生风险时的风险图像、并获取对风险图像所属的场景类型和所包含的风险障碍物的标注信息;然后,将该风险图像中的障碍物和车辆在风险发生前的特征信息,通过预设的历史信息编码网络进行特征编码,得到与风险发生时刻对应的障碍物信息编码和车辆信息编码;其中,该特征信息基于障碍物和车辆的运动状态和标注信息确定得到;接着,将对路网信息进行特征编码得到的路网信息编码和车辆信息编码通过预设的第一相互作用网络进行特征交互,得到车路交互特征;下一步,将该车路交互特征和障碍物信息编码通过预设的第二相互作用网络进行特征交互,得到同时输出的风险场景预测概率和风险障碍物预测概率;最后,基于满足预设训练目标的历史信息编码网络、第一相互作用网络和第二相互作用网络,构建得到目标风险预警模型。
由于为训练得到目标风险预警模型需要占用较多的运算资源和较强的运算能力,因此本申请后续各实施例所提供的风险预警模型训练方法一般由拥有较强运算能力、较多运算资源的车载终端102或者云端服务器103来执行,相应地,风险预警模型训练装置一般也设置于车载终端102或云端服务器103中。
当然,用于训练得到目标风险预警模型的服务器可以不同于调用训练好的目标风险预警模型来使用的服务器。特殊的,经由云端服务器103训练得到的目标风险预警模型也可以通过模型蒸馏的方式得到适合置入车载终端102的轻量级的目标风险预警模型,即可以根据实际需求的识别准确度灵活选择使用车载终端102中的轻量级的目标风险预警模型,还是选择使用云端服务器103中的较复杂的目标风险预警模型。
应该理解,图1中的车辆、车载终端和云端服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的车辆、车载终端和云端服务器。
请参考图2,图2为本公开实施例提供的一种风险预警模型训练方法的流程图,其中流程200包括以下步骤:
步骤201:获取车辆在发生风险时的风险图像、并获取对风险图像所属的场景类型和所包含的风险障碍物的标注信息;
本步骤旨在由风险预警模型训练方法的执行主体(例如图1所示的云端服务器103)获取三类信息,即车辆在发生风险时的风险图像、对风险图像所属的场景类型的标注和对风险场景下所包含的风险障碍物的标注。
其中,风险图像是指车辆在道路上行驶时遇到风险时对风险情况的图像表现,通常通过车载摄像头或车载传感器系统(例如车载毫米波雷达,车载定位器、车载激光雷达等)获取,这些设备能够实时捕捉车辆周围的视觉信息。这些图像包含了道路交通和环境的信息,以及可能存在的潜在危险情况。
场景类型的标注则主要按照是否存在风险,将其简单划分为风险场景和普通场景两类,而具体通过风险图像判断所属的场景类型,则主要是对车辆当前所处交通环境的识别和分类,这涉及到使用计算机视觉和深度学习技术,对风险图像进行分析,以确定车辆所在当前场景的风险类别,而标注信息也可以通过具有风险识别能力的标注对象标注得到。
风险障碍物标注则是指在风险图像中标识和分类可能对车辆构成威胁或障碍的对象。这包括诸如交通标志、固定建筑物等静态障碍物,以及诸如其他车辆、行人、临时出现的道路障碍物等动态障碍物。通过对这些障碍物是否属于对当前车辆存在风险的风险障碍物标注,系统可以识别潜在的危险情况,例如与其他车辆的接近、行人穿越道路、交通标志的状态等。这有助于车辆的安全感知和自动化驾驶决策。
本步骤通过获取这三个方面的信息,车辆的风险感知和安全系统能够实时监测道路情况,以便于后续从中学习到隐藏的风险信息,便于后续采取必要的措施,如发出警告、制动或调整驾驶策略,以确保车辆的安全行驶。
步骤202:将风险图像中的障碍物和车辆在风险发生前的特征信息,通过预设的历史信息编码网络进行特征编码,得到与风险发生时刻对应的障碍物信息编码和车辆信息编码;
在步骤201的基础上,本步骤旨在将风险图像中的障碍物和车辆在风险发生前的特征信息,通过预设的历史信息编码网络进行特征编码,得到与风险发生时刻对应的障碍物信息编码和车辆信息编码。
其中,特征信息基于从风险图像中提取出的障碍物和车辆的运动状态和标注信息对其进行的而风险标注确定得到,例如输入障碍物和主车特征在发生风险时刻之前一定时长的图像数据,每一帧图像均有各障碍物距离主车的位置、速度、加速度、方向、长宽以及实时作为风险障碍物的概率。
其中,该历史信息编码网络用于将发生风险时刻之前的特征信息昨日输入、以发生风险时刻的特征信息作为输出的方式,进行特征编码,以在特征编码的过程中学习风险发生之前与风险发生之时的图像数据之间潜在的信息关联,以便于后续使用。同时,由于该历史信息编码网络在当前步骤主要用于处理同一模态的数据,因此该历史信息编码网络可采用自注意力结构(Self Attention)。
步骤203:将对路网信息进行特征编码得到的路网信息编码和车辆信息编码通过预设的第一相互作用网络进行特征交互,得到车路交互特征;
在步骤202的基础上,本步骤旨在由上述执行主体首先对路网信息进行特征编码以得到路网信息编码,再将路网信息编码与车辆信息编码通过预设的第一相互作用网络进行特征交互,以充分关联、交融车辆与路网信息之间的特征,进而得到车路交互特征。同时,由于该第一相互作用网络在当前步骤主要用于将不同模态的地图信息编码和车辆信息编码进行特征交互,因此该第一相互作用网络可采用交叉注意力结构(Cross Attention)。
其中,路网信息(可以称为地图信息)的特征编码过程和特征交互过程,则可以实现例如将主车附近的车道中心线信息、硬隔离、路肩、人行横道等道路设施之间的特征编码和特征交互,以得到包含更全面信息的车路交互特征。
具体的,可将路网信息通过预设的多层感知机(Multilayer Perceptron,MLP)进行特征编码,得到所期望的路网信息编码。具体的处理过程可以包括:
输入层:将预处理后的地图信息传递给MLP的输入层;
隐藏层:使用一个或多个隐藏层,这些隐藏层可以学习地图信息中的复杂特征,这些特征可能包括地物的形状、颜色、纹理等;
激活函数:每个神经元上使用适当的激活函数来引入非线性,以更好地捕捉地图信息中的复杂关系;
输出层:输出层可以根据任务的需求进行设计。例如,对于地图分类,可以使用多类别分类,而对于地图目标检测,可以采用回归模型;
训练与优化:训练MLP需要使用合适的地图数据集,以监督或无监督的方式进行训练。通过反向传播和梯度下降等优化算法,网络将逐渐学习地图信息的有用特征;
应用领域:利用MLP进行地图信息特征编码的应用广泛,包括地图分类、地理空间分析、地图中的物体检测和跟踪、地图生成等。例如,可以使用MLP对卫星图像进行土地覆盖分类,识别道路和建筑物,或者分析城市交通流量。
步骤204:将车路交互特征和障碍物信息编码通过预设的第二相互作用网络进行特征交互,得到同时输出的风险场景预测概率和风险障碍物预测概率;
在步骤203的基础上,本步骤旨在由上述执行主体将车路交互特征和障碍物信息编码通过该第二相互作用网络进行特征交互,以借助完成车、地图、障碍物三者相互交互完成的综合特征完成对风险场景概率的预测和风险障碍物概率的预测。同时,由于该第二相互作用网络在当前步骤主要用于处理同一模态的车路交互特征和障碍物信息编码,因此该第二相互作用网络可采用自注意力结构(Self Attention)。
步骤205:基于满足预设训练目标的历史信息编码网络、第一相互作用网络和第二相互作用网络,构建得到目标风险预警模型。
在步骤204的基础上,本步骤旨在由上述执行主体基于满足预设训练目标的历史信息编码网络、第一相互作用网络和第二相互作用网络,构建得到目标风险预警模型。
其中,该预设训练目标被满足的条件包括以下至少一项:
构成目标风险预警模型的各网络输出结果的精度高于预设精度、迭代训练次数超过预设次数、训练时长超过预设时长。
另外需要说明的是,在对风险预警模型进行训练时,可采取均衡采样训练方法,即每此训练时其中50%的训练样本使用风险场景下的样本数据,剩余50%的训练样本则采用非风险场景下的常规样本数据。
本公开实施例提供的风险预警模型训练方法,首先通过获取车辆发生风险时的风险图像、对风险图像所属场景类型和所包含风险障碍物的标注信息,然后通过使用障碍物和车辆在发生风险前的特征信息进行将风险发生时刻的特征信息作为编码结果的特征编码,接着通过使路网信息编码和车辆信息编码进行特征交互得到车路交互特征,再通过车路交互特征与障碍物信息编码进行特征交互得到最终输出的风险场景预测概率和风险障碍物预测概率,最终得到由满足预设训练目标的各网络构建得到的目标风险预警模型。
请参考图3,图3为本公开实施例提供的一种获取风险图像及进行特征编码的方法的流程图,即针对图2所示的流程200中的步骤201中获取风险图像的部分和完整的步骤202内容提供了一种具体的实现方式,流程200中的其它步骤并不做调整,也将本实施例所提供的具体实现方式以替换步骤201中获取风险图像的部分和完整的步骤202的方式得到一个新的完整实施例。其中流程300包括以下步骤:
步骤301:获取向云端安全平台发起风险接管请求的历史车辆在接管时刻及前后预设时长内的历史风险图像集;
自动驾驶车辆在遇到自动驾驶系统无法解决的风险时,自动驾驶车辆往往会向云端安全平台发起风险接管请求,即请求云端安全平台能够提供具有足够的风险解决能力的远程驾驶员来远程接管该车辆的后续驾驶以解决所遇到的风险。
本实施例正是针对这一实际情况,旨在将向云端安全平台发起风险接管请求的车辆在被接管时刻及前后预设时长内的图像集作为该风险图像集。具体的,可选择将在接管时刻前后1.5秒内的所有图像(例如每0.1秒取一帧图像,共计得31帧图像)构建为该风险图像集。
步骤302:从历史风险图像集中提取历史障碍物和历史车辆在接管时刻前预设时长内的接管前图像;
在步骤301的基础上,本步骤旨在由上述执行主体从历史风险图像集中提取历史障碍物和历史车辆在接管时刻前预设时长内的接管前图像。例如在接管时刻前1.5秒的15帧风险图像。
步骤303:根据接管前图像确定历史障碍物运动状态和历史车辆运动状态;
在步骤302的基础上,本步骤旨在由上述执行主体根据接管前图像确定历史障碍物运动状态和历史车辆运动状态。运动状态可以通过对前15帧风险图像中分析得到,例如运动速度、位置、方向、加速度、转向角等。
步骤304:将历史障碍物运动状态、历史车辆运动状态和与接管时刻前预设时长对应的部分标注信息,通过历史信息编码网络进行特征编码,得到与接管时刻对应的历史障碍物信息编码和历史车辆信息编码。
在步骤302和步骤303的基础上,本步骤旨在由上述执行主体将历史障碍物运动状态、历史车辆运动状态和与接管时刻前预设时长对应的部分标注信息,通过历史信息编码网络进行由接管时刻的特征信息作为期望结果的特征编码,得到与接管时刻对应的历史障碍物信息编码和历史车辆信息编码。
本实施例通过步骤301-步骤304提供了一种以云端安全平台接管发起请求的车辆的时刻来确定风险时刻、并围绕风险时刻收集风险图像以及完成特征编码的具体实现方案,以尽可能的获取到了包含全面信息的风险图像,进而也使得据此进行特征编码得到的编码结果更能够体现实际情况。
进一步的,还可以从历史风险图像集中删去以下至少一项低质量图像帧,以进一步提升历史风险图像集中有效图像的占比、避免低质无效图像对模型训练过程造成的不良影响:
未记录有任意风险障碍物的图像帧、历史车辆速度低于预设速度(例如低于0.5米/秒)的图像帧、风险障碍物距离历史车辆超过预设距离(例如超过100米)的图像帧。
为加深对上述各实施例所描述的风险模型训练过程的理解,本实施例还通过图4示出了一种具体的模型训练过程的流程示意图,本实施例内容主要包括:风险场景数据标注,风险场景和风险障碍物预测统一建模三部分,下述将一一展开说明:
风险场景数据标注:
1)路上收集风险场景(存在碰撞风险的司机接管),记录接管时间,对于每个接管时间对应场景,人工标注风险障碍物;
2)取接管时间前后1.5s(10Hz,即每0.1秒取1帧)的数据作为风险场景,每个路跑样本共收集31帧的候选训练数据;
3)对风险障碍物没有跟踪的帧,主车速度小于0.5m/s的帧,以及风险障碍物在100m之外的帧进行过滤构建高质量风险场景数据集。
风险场景和风险障碍物预测统一建模:
建模采用多任务学习方法同时学习风险场景预测和风险障碍物预测,模型结构说明:
输入障碍物(Obstacle)和主车(Agent)特征包括过去1.6s的数据,共16帧,每一帧有距离主车的位置、速度、加速度、方向、长宽。地图信息包括Agent附近200m的车道中心线信息、硬隔离、路肩、人行横道。
History Encoder(即历史信息编码网络):采用Self Attention(自注意力)结构对障碍物和主车历史信息进行建模,使用当前时刻的输出作为整个历史的编码结果;
Agent-Map Interaction:采用Cross Attention(交叉注意力)的结构,query=Agent Embedding,Key,Value=Map Embedding。建模主车和周围地图元素的交互信息;
Agent-Obstacle Interaction:将Agent-Map Interaction输出结果与ObstacleEmbedding拼接在一起,采用Self Attention(自注意力)结构对主车和周围动态障碍物进行交互建模,并取Agent位置(红色token)对应的输出风险场景预测概率,Obstacle位置(黄色token)输出该障碍物是风险障碍物的概率。
风险场景任务训练:上述损失函数中N即为batch(一次训练样本数量),yi为场景风险标签,0表示安全,1表示风险。
风险障碍物任务训练:No为一个训练样本中障碍物的数量。yij为场景i中第j个障碍物的标签,0表示该障碍物是非风险障碍物,1表示该障碍物是风险障碍物。
多任务联合训练:Loss=LR+λLA。
上述各实施例从各个方面阐述了如何训练得到目标风险预警模型,为了尽可能的从实际使用场景突出训练出的目标风险预警模型所起到的效果,本公开还具体提供了一种使用训练好的目标风险预警模型来解决实际问题的方案,一种风险预警方法包括如下步骤:
步骤501:获取出现在车辆行驶视野中的障碍物图像信息流和车辆行驶信息流;
即本实施例旨在由适用于执行风险预警方法的执行主体(例如图1所示的车载终端102)通过车载摄像头和车载传感器系统持续获取出现在车辆行驶视野中的障碍物图像信息流和车辆行驶信息流。
步骤502:将障碍物图像信息流和车辆行驶信息流持续输入预设的目标风险预警模型,得到持续输出的当前时刻对应场景属于风险场景的第一预测概率和各障碍物属于风险障碍物的第二预测概率;
在步骤501的基础上,本步骤旨在由上述执行主体将障碍物图像信息流和车辆行驶信息流持续输入通过上述实施例训练好的目标风险预警模型,进而得到该模型持续输出的当前时刻对应场景属于风险场景的第一预测概率和各障碍物属于风险障碍物的第二预测概率。
步骤503:生成与第一预测概率和第二预测概率对应的风险预警信息。
在步骤502的基础上,本步骤旨在由上述执行主体生成与第一预测概率和第二预测概率对应的风险预警信息。
本实施例所提供的风险预警方案,在具体应用该目标风险预警模型时,可借助该模型对持续输入的障碍物图像信息流和车辆行驶信息流进行分析处理,进而同时输出对当前场景是否属于风险场景以及在属于风险场景下对风险障碍物的预测概率,已生成相应的风险预警信息,以便于按照风险预警信息进行风险规避。
请参考图6,图6为本公开实施例提供的一种风险预警信息生成方法及风险接管请求处理方法的流程图,即针对图5所示的流程500中的步骤503和可能存在的后续处理方式提供了一种具体的实现方式,流程500中的其它步骤并不做调整,也将本实施例所提供的具体实现方式以替换步骤503的方式得到一个新的完整实施例。其中流程600包括以下步骤:
步骤601:根据第一预测概率和第二预测概率,确定所属的目标风险等级;
步骤602:生成与目标风险等级对应的风险预警信息;
步骤601-步骤602旨在由上述执行主体首先根据第一预测概率和第二预测概率来确定对应所属的目标风险等级,即可以预先根据不同的第一预测概率和第二预测概率设置与不同风险等级之间的对应关系,例如将其整理为对应表,以便于步骤601直接通过查表的方式确定目标风险等级,再由上述执行主体生成与该目标风险等级对应的风险预警信息,以使得生成的风险预警信息与实际风险程度相匹配。
步骤603:响应于目标风险等级高于预设风险等级,向云端安全平台发起风险接管请求;
在步骤601的基础上,本步骤旨在由上述执行主体确定目标风险等级高于预设风险等级时,向云端安全平台发起风险接管请求,即当前车辆实际上已经无法良好应当所遇到的高危风险,因此请求云端安全平台接入和接管。
步骤604:响应于风险接管请求得到云端安全平台的有效回应,屏蔽车辆的手动驾驶功能,并按照云端安全平台传入的远程控制参数控制车辆进行相应的行驶。
在步骤603的基础上,本步骤旨在由上述执行主体风险接管请求得到云端安全平台的有效回应,屏蔽车辆的手动驾驶功能以避免乘客因错误的手动操作影响远程控制,并按照云端安全平台传入的远程控制参数控制车辆进行相应的行驶。
进一步的,若发起风险接管请求的车辆为全自动无人驾驶车辆,还可以由上述执行主体向全自动无人驾驶车辆预设范围内的其它车辆发出躲避行驶广播,以使得其它接收到该广播的车辆尽可能的躲避当前车辆,以尽可能的降低产生连锁风险的概率。
进一步参考图7和图8,作为对上述各图所示方法的实现,本公开分别提供了一种风险预警模型训练装置实施例和一种风险预警装置的实施例,风险预警模型训练装置实施例与图2所示的风险预警模型训练方法实施例相对应,风险预警装置实施例与图5所示的风险预警方法实施例相对应。上述装置具体可以应用于各种电子设备中。
如图7所示,本实施例的风险预警模型训练装置700可以包括:风险图像及标注信息获取单元701、特征编码单元702、第一交互作用单元703、第二交互作用单元704、目标风险预警模型构建单元705。其中,风险图像及标注信息获取单元701,被配置成获取车辆在发生风险时的风险图像、并获取对风险图像所属的场景类型和所包含的风险障碍物的标注信息;特征编码单元702,被配置成将风险图像中的障碍物和车辆在风险发生前的特征信息,通过预设的历史信息编码网络进行特征编码,得到与风险发生时刻对应的障碍物信息编码和车辆信息编码;其中,特征信息基于障碍物和车辆的运动状态和标注信息确定得到;第一交互作用单元703,被配置成将对路网信息进行特征编码得到的路网信息编码和车辆信息编码通过预设的第一相互作用网络进行特征交互,得到车路交互特征;第二交互作用单元704,被配置成将车路交互特征和障碍物信息编码通过预设的第二相互作用网络进行特征交互,得到同时输出的风险场景预测概率和风险障碍物预测概率;目标风险预警模型构建单元705,被配置成基于满足预设训练目标的历史信息编码网络、第一相互作用网络和第二相互作用网络,构建得到目标风险预警模型。
在本实施例中,风险预警模型训练装置700中:风险图像及标注信息获取单元701、特征编码单元702、第一交互作用单元703、第二交互作用单元704、目标风险预警模型构建单元705的具体处理及其所带来的技术效果可分别参考图2对应实施例中的步骤201-205的相关说明,在此不再赘述。
在本实施例的一些可选的实现方式中,风险图像及标注信息获取单元701可以包括被配置成获取车辆在发生风险时的风险图像的风险图像获取子单元,风险图像获取子单元可以被进一步配置成:
获取向云端安全平台发起风险接管请求的历史车辆在接管时刻及前后预设时长内的历史风险图像集;
对应的,特征编码单元702可以被进一步配置成:
从历史风险图像集中提取历史障碍物和历史车辆在接管时刻前预设时长内的接管前图像;
根据接管前图像确定历史障碍物运动状态和历史车辆运动状态;
将历史障碍物运动状态、历史车辆运动状态和与接管时刻前预设时长对应的部分标注信息,通过历史信息编码网络进行特征编码,得到与接管时刻对应的历史障碍物信息编码和历史车辆信息编码。
在本实施例的一些可选的实现方式中,风险预警模型训练装置700中还可以包括:低质量图像帧删去单元,该低质量图像帧删去单元被进一步配置成:
从历史风险图像集中删去以下至少一项低质量图像帧:
未记录有任意风险障碍物的图像帧、历史车辆速度低于预设速度的图像帧、风险障碍物距离历史车辆超过预设距离的图像帧。
在本实施例的一些可选的实现方式中,风险预警模型训练装置700中还可以包括:路网信息编码单元,路网信息编码单元可以被进一步配置成:
将路网信息通过预设的多层感知机进行特征编码,得到路网信息编码。
在本实施例的一些可选的实现方式中,历史信息编码网络和第二相互作用网络均采用自注意力结构构建得到、第一相互作用网络采用交叉注意力结构构建得到。
在本实施例的一些可选的实现方式中,预设训练目标被满足的条件包括以下至少一项:
构成目标风险预警模型的各网络输出结果的精度高于预设精度、迭代训练次数超过预设次数、训练时长超过预设时长。
如图8所示,本实施例的风险预警装置800可以包括:实时信息流获取单元801、风险预警模型调用单元802、风险预警信息生成单元803。其中,实时信息流获取单元801,被配置成获取出现在车辆行驶视野中的障碍物图像信息流和车辆行驶信息流;风险预警模型调用单元802,被配置成将障碍物图像信息流和车辆行驶信息流持续输入预设的目标风险预警模型,得到持续输出的当前时刻对应场景属于风险场景的第一预测概率和各障碍物属于风险障碍物的第二预测概率;其中,目标风险预警模型基于图7所示的风险预警模型训练装置700得到;风险预警信息生成单元803,被配置成生成与第一预测概率和第二预测概率对应的风险预警信息。
在本实施例中,风险预警装置800中:实时信息流获取单元801、风险预警模型调用单元802、风险预警信息生成单元803的具体处理及其所带来的技术效果可分别对应图5所示的方法实施例中的相关说明,在此不再赘述。
在本实施例的一些可选的实现方式中,风险预警信息生成单元803可以被进一步配置成:
根据第一预测概率和第二预测概率,确定所属的目标风险等级;
生成与目标风险等级对应的风险预警信息。
在本实施例的一些可选的实现方式中,风险预警装置800中还可以包括:
风险接管请求发起单元,被配置成响应于目标风险等级高于预设风险等级,向云端安全平台发起风险接管请求;
风险接管处理单元,被配置成响应于风险接管请求得到云端安全平台的有效回应,屏蔽车辆的手动驾驶功能,并按照云端安全平台传入的远程控制参数控制车辆进行相应的行驶。
在本实施例的一些可选的实现方式中,风险预警装置800中还可以包括:
躲避行驶广播单元,被配置成响应于发起风险接管请求的车辆为全自动无人驾驶车辆,向全自动无人驾驶车辆预设范围内的其它车辆发出躲避行驶广播。
上述实施例作为对应于上述方法实施例的装置实施例存在,本实施例提供的风险预警模型训练装置以及风险预警装置,首先通过获取车辆发生风险时的风险图像、对风险图像所属场景类型和所包含风险障碍物的标注信息,然后通过使用障碍物和车辆在发生风险前的特征信息进行将风险发生时刻的特征信息作为编码结果的特征编码,接着通过使路网信息编码和车辆信息编码进行特征交互得到车路交互特征,再通过车路交互特征与障碍物信息编码进行特征交互得到最终输出的风险场景预测概率和风险障碍物预测概率,最终得到由满足预设训练目标的各网络构建得到的目标风险预警模型,以在具体应用该目标风险预警模型时,可借助该模型对持续输入的障碍物图像信息流和车辆行驶信息流进行分析处理,进而同时输出对当前场景是否属于风险场景以及在属于风险场景下对风险障碍物的预测概率,已生成相应的风险预警信息,以便于按照风险预警信息进行风险规避。
根据本公开的实施例,本公开还提供了一种电子设备,该电子设备包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,该指令被至少一个处理器执行,以使至少一个处理器执行时能够实现上述任一实施例描述的风险预警模型训练方法和/或风险预警方法。
根据本公开的实施例,本公开还提供了一种可读存储介质,该可读存储介质存储有计算机指令,该计算机指令用于使计算机执行时能够实现上述任一实施例描述的风险预警模型训练方法和/或风险预警方法。
本公开实施例提供了一种计算机程序产品,该计算机程序在被处理器执行时能够实现上述任一实施例描述的风险预警模型训练方法和/或风险预警方法。
本公开实施例提供了一种自动驾驶车辆,该自动驾驶车辆上设置有能够执行风险预警模型训练方法和/或风险预警方法的电子设备。
图9示出了可以用来实施本公开的实施例的示例电子设备900的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图9所示,设备900包括计算单元901,其可以根据存储在只读存储器(ROM)902中的计算机程序或者从存储单元908加载到随机访问存储器(RAM)903中的计算机程序,来执行各种适当的动作和处理。在RAM 903中,还可存储设备900操作所需的各种程序和数据。计算单元901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
设备900中的多个部件连接至I/O接口905,包括:输入单元906,例如键盘、鼠标等;输出单元907,例如各种类型的显示器、扬声器等;存储单元908,例如磁盘、光盘等;以及通信单元909,例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理,例如风险预警模型训练方法和/或风险预警方法。例如,在一些实施例中,风险预警模型训练方法和/或风险预警方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元908。在一些实施例中,计算机程序的部分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到RAM 903并由计算单元901执行时,可以执行上文描述的风险预警模型训练方法和/或风险预警方法的一个或多个步骤。备选地,在其他实施例中,计算单元901可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行风险预警模型训练方法和/或风险预警方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决传统物理主机与虚拟专用服务器(VPS,Virtual Private Server)服务中存在的管理难度大,业务扩展性弱的缺陷。
本公开实施例的技术方案,首先通过获取车辆发生风险时的风险图像、对风险图像所属场景类型和所包含风险障碍物的标注信息,然后通过使用障碍物和车辆在发生风险前的特征信息进行将风险发生时刻的特征信息作为编码结果的特征编码,接着通过使路网信息编码和车辆信息编码进行特征交互得到车路交互特征,再通过车路交互特征与障碍物信息编码进行特征交互得到最终输出的风险场景预测概率和风险障碍物预测概率,最终得到由满足预设训练目标的各网络构建得到的目标风险预警模型,以在具体应用该目标风险预警模型时,可借助该模型对持续输入的障碍物图像信息流和车辆行驶信息流进行分析处理,进而同时输出对当前场景是否属于风险场景以及在属于风险场景下对风险障碍物的预测概率,已生成相应的风险预警信息,以便于按照风险预警信息进行风险规避。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
Claims (24)
1.一种风险预警模型训练方法,包括:
获取车辆在发生风险时的风险图像、并获取对所述风险图像所属的场景类型和所包含的风险障碍物的标注信息;
将所述风险图像中的障碍物和车辆在风险发生前的特征信息,通过预设的历史信息编码网络进行特征编码,得到与风险发生时刻对应的障碍物信息编码和车辆信息编码;其中,所述特征信息基于所述障碍物和所述车辆的运动状态和所述标注信息确定得到;
将对路网信息进行特征编码得到的路网信息编码和所述车辆信息编码通过预设的第一相互作用网络进行特征交互,得到车路交互特征;
将所述车路交互特征和所述障碍物信息编码通过预设的第二相互作用网络进行特征交互,得到同时输出的风险场景预测概率和风险障碍物预测概率;
基于满足预设训练目标的历史信息编码网络、所述第一相互作用网络和所述第二相互作用网络,构建得到目标风险预警模型。
2.根据权利要求1所述的方法,其中,所述获取车辆在发生风险时的风险图像,包括:
获取向云端安全平台发起风险接管请求的历史车辆在接管时刻及前后预设时长内的历史风险图像集;
对应的,所述将所述风险图像中的障碍物和车辆在风险发生前的特征信息,通过预设的历史信息编码网络进行特征编码,得到与风险发生时刻对应的障碍物信息编码和车辆信息编码,包括:
从所述历史风险图像集中提取历史障碍物和历史车辆在接管时刻前所述预设时长内的接管前图像;
根据所述接管前图像确定历史障碍物运动状态和历史车辆运动状态;
将所述历史障碍物运动状态、所述历史车辆运动状态和与所述接管时刻前预设时长对应的部分标注信息,通过所述历史信息编码网络进行特征编码,得到与所述接管时刻对应的历史障碍物信息编码和历史车辆信息编码。
3.根据权利要求2所述的方法,还包括:从所述历史风险图像集中删去以下至少一项低质量图像帧:
未记录有任意所述风险障碍物的图像帧、所述历史车辆速度低于预设速度的图像帧、所述风险障碍物距离所述历史车辆超过预设距离的图像帧。
4.根据权利要求1所述的方法,其中,对路网信息进行特征编码得到的路网信息编码的过程包括:
将所述路网信息通过预设的多层感知机进行特征编码,得到所述路网信息编码。
5.根据权利要求1所述的方法,其中,所述历史信息编码网络和所述第二相互作用网络均采用自注意力结构构建得到、所述第一相互作用网络采用交叉注意力结构构建得到。
6.根据权利要求1-5任一项所述的方法,其中,所述预设训练目标被满足的条件包括以下至少一项:
构成所述目标风险预警模型的各网络输出结果的精度高于预设精度、迭代训练次数超过预设次数、训练时长超过预设时长。
7.一种风险预警方法,包括:
获取出现在车辆行驶视野中的障碍物图像信息流和车辆行驶信息流;
将所述障碍物图像信息流和所述车辆行驶信息流持续输入预设的目标风险预警模型,得到持续输出的当前时刻对应场景属于风险场景的第一预测概率和各障碍物属于风险障碍物的第二预测概率;其中,所述目标风险预警模型基于权利要求1-6任一项所述的风险预警模型训练方法得到;
生成与所述第一预测概率和所述第二预测概率对应的风险预警信息。
8.根据权利要求7所述的方法,其中,所述生成与所述第一预测概率和所述第二预测概率对应的风险预警信息,包括:
根据所述第一预测概率和所述第二预测概率,确定所属的目标风险等级;
生成与所述目标风险等级对应的风险预警信息。
9.根据权利要求8所述的方法,还包括:
响应于所述目标风险等级高于预设风险等级,向云端安全平台发起风险接管请求;
响应于所述风险接管请求得到所述云端安全平台的有效回应,屏蔽所述车辆的手动驾驶功能,并按照所述云端安全平台传入的远程控制参数控制所述车辆进行相应的行驶。
10.根据权利要求7-9任一项所述的方法,还包括:
响应于发起所述风险接管请求的车辆为全自动无人驾驶车辆,向所述全自动无人驾驶车辆预设范围内的其它车辆发出躲避行驶广播。
11.一种风险预警模型训练装置,包括:
风险图像及标注信息获取单元,被配置成获取车辆在发生风险时的风险图像、并获取对所述风险图像所属的场景类型和所包含的风险障碍物的标注信息;
特征编码单元,被配置成将所述风险图像中的障碍物和车辆在风险发生前的特征信息,通过预设的历史信息编码网络进行特征编码,得到与风险发生时刻对应的障碍物信息编码和车辆信息编码;其中,所述特征信息基于所述障碍物和所述车辆的运动状态和所述标注信息确定得到;
第一交互作用单元,被配置成将对路网信息进行特征编码得到的路网信息编码和所述车辆信息编码通过预设的第一相互作用网络进行特征交互,得到车路交互特征;
第二交互作用单元,被配置成将所述车路交互特征和所述障碍物信息编码通过预设的第二相互作用网络进行特征交互,得到同时输出的风险场景预测概率和风险障碍物预测概率;
目标风险预警模型构建单元,被配置成基于满足预设训练目标的历史信息编码网络、所述第一相互作用网络和所述第二相互作用网络,构建得到目标风险预警模型。
12.根据权利要求11所述的装置,其中,所述风险图像及标注信息获取单元包括被配置成获取车辆在发生风险时的风险图像的风险图像获取子单元,所述风险图像获取子单元被进一步配置成:
获取向云端安全平台发起风险接管请求的历史车辆在接管时刻及前后预设时长内的历史风险图像集;
对应的,所述特征编码单元被进一步配置成:
从所述历史风险图像集中提取历史障碍物和历史车辆在接管时刻前所述预设时长内的接管前图像;
根据所述接管前图像确定历史障碍物运动状态和历史车辆运动状态;
将所述历史障碍物运动状态、所述历史车辆运动状态和与所述接管时刻前预设时长对应的部分标注信息,通过所述历史信息编码网络进行特征编码,得到与所述接管时刻对应的历史障碍物信息编码和历史车辆信息编码。
13.根据权利要求12所述的装置,还包括:低质量图像帧删去单元,所述低质量图像帧删去单元被进一步配置成:
从所述历史风险图像集中删去以下至少一项低质量图像帧:
未记录有任意所述风险障碍物的图像帧、所述历史车辆速度低于预设速度的图像帧、所述风险障碍物距离所述历史车辆超过预设距离的图像帧。
14.根据权利要求11所述的装置,还包括:路网信息编码单元,所述路网信息编码单元被进一步配置成:
将所述路网信息通过预设的多层感知机进行特征编码,得到所述路网信息编码。
15.根据权利要求11所述的装置,其中,所述历史信息编码网络和所述第二相互作用网络均采用自注意力结构构建得到、所述第一相互作用网络采用交叉注意力结构构建得到。
16.根据权利要求11-15任一项所述的装置,其中,所述预设训练目标被满足的条件包括以下至少一项:
构成所述目标风险预警模型的各网络输出结果的精度高于预设精度、迭代训练次数超过预设次数、训练时长超过预设时长。
17.一种风险预警装置,包括:
实时信息流获取单元,被配置成获取出现在车辆行驶视野中的障碍物图像信息流和车辆行驶信息流;
风险预警模型调用单元,被配置成将所述障碍物图像信息流和所述车辆行驶信息流持续输入预设的目标风险预警模型,得到持续输出的当前时刻对应场景属于风险场景的第一预测概率和各障碍物属于风险障碍物的第二预测概率;其中,所述目标风险预警模型基于权利要求11-16任一项所述的风险预警模型训练装置得到;
风险预警信息生成单元,被配置成生成与所述第一预测概率和所述第二预测概率对应的风险预警信息。
18.根据权利要求17所述的装置,其中,所述风险预警信息生成单元被进一步配置成:
根据所述第一预测概率和所述第二预测概率,确定所属的目标风险等级;
生成与所述目标风险等级对应的风险预警信息。
19.根据权利要求18所述的装置,还包括:
风险接管请求发起单元,被配置成响应于所述目标风险等级高于预设风险等级,向云端安全平台发起风险接管请求;
风险接管处理单元,被配置成响应于所述风险接管请求得到所述云端安全平台的有效回应,屏蔽所述车辆的手动驾驶功能,并按照所述云端安全平台传入的远程控制参数控制所述车辆进行相应的行驶。
20.根据权利要求17-19任一项所述的装置,还包括:
躲避行驶广播单元,被配置成响应于发起所述风险接管请求的车辆为全自动无人驾驶车辆,向所述全自动无人驾驶车辆预设范围内的其它车辆发出躲避行驶广播。
21.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-6中任一项所述的风险预警模型训练方法和/或权利要求7-10任一项所述的风险预警方法。
22.一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行权利要求1-6中任一项所述的风险预警模型训练方法和/或权利要求7-10任一项所述的风险预警方法。
23.一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现根据权利要求1-6中任一项所述风险预警模型训练方法的步骤和/或权利要求7-10任一项所述风险预警方法的步骤。
24.一种自动驾驶车辆,包括如权利要求21所述的电子设备。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311348313.1A CN117373285A (zh) | 2023-10-18 | 2023-10-18 | 风险预警模型训练方法、风险预警方法及自动驾驶车辆 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311348313.1A CN117373285A (zh) | 2023-10-18 | 2023-10-18 | 风险预警模型训练方法、风险预警方法及自动驾驶车辆 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117373285A true CN117373285A (zh) | 2024-01-09 |
Family
ID=89396044
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311348313.1A Pending CN117373285A (zh) | 2023-10-18 | 2023-10-18 | 风险预警模型训练方法、风险预警方法及自动驾驶车辆 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117373285A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118514685A (zh) * | 2024-07-22 | 2024-08-20 | 安徽蔚来智驾科技有限公司 | 车辆的主动安全控制方法、智能设备及存储介质 |
CN118968770A (zh) * | 2024-10-16 | 2024-11-15 | 清华大学 | 通过隐式地理信息和知识蒸馏模型来提高交通预测性能的方法及产品 |
-
2023
- 2023-10-18 CN CN202311348313.1A patent/CN117373285A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118514685A (zh) * | 2024-07-22 | 2024-08-20 | 安徽蔚来智驾科技有限公司 | 车辆的主动安全控制方法、智能设备及存储介质 |
CN118968770A (zh) * | 2024-10-16 | 2024-11-15 | 清华大学 | 通过隐式地理信息和知识蒸馏模型来提高交通预测性能的方法及产品 |
CN118968770B (zh) * | 2024-10-16 | 2024-12-31 | 清华大学 | 通过隐式地理信息和知识蒸馏模型来提高交通预测性能的方法及产品 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7557433B2 (ja) | 道路状況予測方法、道路状況予測モデルを確立する方法及びその対応装置、電子機器、記録媒体並びにコンピュータプログラム | |
CN113240909B (zh) | 车辆监测方法、设备、云控平台和车路协同系统 | |
CN116880462B (zh) | 自动驾驶模型、训练方法和自动驾驶方法和车辆 | |
CN117373285A (zh) | 风险预警模型训练方法、风险预警方法及自动驾驶车辆 | |
CN112579464A (zh) | 自动驾驶算法的校验方法、装置、设备以及存储介质 | |
CN112330915B (zh) | 无人机森林防火预警方法、系统、电子设备和存储介质 | |
CN116881707B (zh) | 自动驾驶模型、训练方法、装置和车辆 | |
CN117809275B (zh) | 一种基于民航车辆360度环视系统的环境感知方法及系统 | |
CN114103994B (zh) | 基于车辆自动清扫路面的控制方法、装置、设备及车辆 | |
CN113392793A (zh) | 用于识别车道线的方法、装置、设备、存储介质以及无人车 | |
CN116776151A (zh) | 可与车外人员进行自主交互的自动驾驶模型和训练方法 | |
CN117591847B (zh) | 基于车况数据的模型指向评测方法和装置 | |
CN113792106A (zh) | 道路的状态更新方法、装置、电子设备及存储介质 | |
CN117416349A (zh) | V2X环境下基于改进YOLOV7-Tiny和SS-LSTM的自动驾驶风险预判系统及方法 | |
CN117585015A (zh) | 自动驾驶优化方法、控制方法、装置、电子设备及介质 | |
CN113591569A (zh) | 障碍物检测方法、装置、电子设备以及存储介质 | |
CN112861701A (zh) | 违章停车识别方法、装置、电子设备以及计算机可读介质 | |
CN114998863B (zh) | 目标道路识别方法、装置、电子设备以及存储介质 | |
Grigioni et al. | Safe road-crossing by autonomous wheelchairs: a novel dataset and its experimental evaluation | |
CN117818659A (zh) | 车辆安全决策方法、装置、电子设备、存储介质及车辆 | |
CN113298044B (zh) | 基于定位补偿的障碍物检测方法、系统、设备及存储介质 | |
CN115995075A (zh) | 一种车辆自适应导航方法、装置、电子设备及存储介质 | |
CN116279589A (zh) | 自动驾驶决策模型的训练方法、车辆控制方法和装置 | |
CN114407916B (zh) | 车辆控制及模型训练方法、装置、车辆、设备和存储介质 | |
US11697435B1 (en) | Hierarchical vehicle action prediction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |