CN106428000B - 一种车辆速度控制装置和方法 - Google Patents
一种车辆速度控制装置和方法 Download PDFInfo
- Publication number
- CN106428000B CN106428000B CN201610806022.6A CN201610806022A CN106428000B CN 106428000 B CN106428000 B CN 106428000B CN 201610806022 A CN201610806022 A CN 201610806022A CN 106428000 B CN106428000 B CN 106428000B
- Authority
- CN
- China
- Prior art keywords
- pedestrian
- behavior
- vehicle
- information
- jaywalks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000019771 cognition Effects 0.000 claims abstract description 102
- 230000001149 cognitive effect Effects 0.000 claims abstract description 35
- 230000004927 fusion Effects 0.000 claims abstract description 30
- 230000007613 environmental effect Effects 0.000 claims abstract description 18
- 230000000694 effects Effects 0.000 claims abstract description 4
- 230000006399 behavior Effects 0.000 claims description 197
- 238000009826 distribution Methods 0.000 claims description 27
- 230000004888 barrier function Effects 0.000 claims description 26
- 238000001514 detection method Methods 0.000 claims description 16
- 230000000007 visual effect Effects 0.000 claims description 15
- 230000001360 synchronised effect Effects 0.000 claims description 10
- 238000010276 construction Methods 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 9
- 230000003542 behavioural effect Effects 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 238000003860 storage Methods 0.000 claims description 5
- 238000005315 distribution function Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 238000012546 transfer Methods 0.000 claims description 4
- 125000002015 acyclic group Chemical group 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 9
- 238000011160 research Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 230000000875 corresponding effect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000003064 k means clustering Methods 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000002301 combined effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000005498 polishing Methods 0.000 description 1
- 230000036632 reaction speed Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000014616 translation Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/095—Predicting travel path or likelihood of collision
- B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/04—Traffic conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/408—Radar; Laser, e.g. lidar
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种车辆速度控制装置和方法,所述车辆速度控制装置包括:环境感知及融合模块,用于检测车辆行驶前方时横穿马路的行人信息,输出横穿马路的行人信息;行人横穿马路行为认知模块,用于接收横穿马路的行人信息,再根据接收到的横穿马路的行人信息结合动态时间序列信息以及车辆与行人的相互影响作用,输出行人行为认知信息;自动驾驶决策模块,用于接收环境信息、行人行为认知参数,并给出车辆当前通行速度,输出车辆当前通行速度。本发明能够在车辆行驶过程中准确识别车辆前方行人目标,预测行人意图,实时判断并做出合理的决策,实现自动驾驶车辆在行人横穿马路时的自主识别及决策,使得车辆安全、通畅地避让横穿马路的行人。
Description
技术领域
本发明涉及自动驾驶领域,特别是涉及一种车辆速度控制装置和方法。
背景技术
自动驾驶车辆通过环境感知、认知、决策以及整车控制等技术来实现自动驾驶。自动驾驶车辆对交通安全、交通效率以及环保节能等有着积极的作用。世界各国政府和交通道路相关的运营商等对自动驾驶汽车越来越感兴趣,希望自动驾驶汽车能够让道路交通更安全、更高效及更环保。自动驾驶车辆通过自主感知环境、认知、决策和控制,提高对交通环境的反应速度,在不同的场景包括危险场景下快速地进行相应的操作,比如制动和转向,进而提高交通安全。自动驾驶技术的研究有助于提高汽车智能化水平,对汽车智能化产业发展具有重要意义。行人作为道路的主要使用者和易受伤害者,识别行人以及行人行为认知和避让行人是自动驾驶车辆不可或缺的关键技术。行人识别作为自动驾驶环境感知技术的重要组成部分,是前方碰撞预警系统或行人安全保护系统的研究重点。行人行为认知有助于提高系统的智能化水平,对自动驾驶系统的决策具有重要的指导意义。行人避让作为自动驾驶车辆决策的关键技术,对行驶过程中避让其他目标具有参考意义。随着汽车工业和道路交通的发展,交通事故发生的概率和危害性越来越大。因此,行人识别和行为认知方法的研究,可为自动驾驶车辆提供预警信息,让自动驾驶车辆采用相应的避让措施,进而预防行人碰撞事故的发生。
目前,针对行人识别和行人行为认知方法的研究较多。行人识别主要采用单目或者双目摄像头、多线激光雷达等传感器,通过特征提取,将特征作为分类的输入,利用监督学习算法进行分类学习,其分类能力较好,但运动参数辨识能力较差。而行人行为认知方法主要通过马尔科夫理论构建认知模型,主要是针对行人本身而言,没有考虑车辆和行人间的相互影响。针对行人保护系统的研究,主要是针对行人识别方法的研究,缺少对行人行为认知方法的研究,综合考虑行人识别及行为认知方法的研究,没有进一步考虑行人识别和行为认知结果对车辆决策的影响。
现阶段针对自动驾驶技术,行人识别及行为认知具有以下几个方面的问题:1)不能自主认知学习以及预测行人横穿马路的行为,决策系统智能化水平较低。2)没有考虑在行驶道路环境下行人与车辆间的相互影响和作用。3)在行人横穿马路或者有横穿马路意图的时候,简单地通过设置距离阈值进行决策不能满足复杂交通环境下的需求。4)单一借助相机难在准确检测行人的同时给出相应的位置以及运动等信息。其中,双目视觉虽然能识别目标类别,给出目标深度信息,但计算复杂度较高,不能满足自动驾驶对识别实时性的要求。而单目视觉不能输出目标深度信息,不利于自动驾驶的决策。5)借助多线激光雷达等传感器进行行人识别和判断,成本高,难以实现产业化以及自动驾驶的推广应用。
因此,希望有一种技术方案来克服或至少减轻现有技术的上述缺陷中的至少一个。
发明内容
本发明的目的在于提供一种车辆速度控制装置和方法来克服或至少减轻现有技术的上述缺陷中的至少一个。
为实现上述目的,本发明提供一种车辆速度控制装置,所述车辆速度控制装置包括:环境感知及融合模块,用于检测车辆行驶前方时横穿马路的行人信息,并输出横穿马路的行人信息;行人横穿马路行为认知模块,用于接收横穿马路的行人信息,再根据接收到的横穿马路的行人信息,以及结合动态时间序列信息以及车辆与行人的相互影响作用,对行人行为进行认知,并输出行人行为认知信息;和自动驾驶决策模块,用于接收环境信息、行人行为认知参数,并根据所述横穿马路的行人信息和所述行人行为认知信息,预测和判定行人的意图,并给出车辆当前通行速度,输出车辆当前通行速度。
进一步地,所述环境感知及融合模块包括:信息采集单元,用于采集到的车辆行驶前方相关数据;数据预处理单元,用于对所述信息采集单元采集到的车辆行驶前方相关数据进行过滤处理;数据融合单元,用于对经由所述数据预处理单元预处理后的车辆行驶前方相关数据进行联合标定、数据同步、K-means聚类,以获得局部障碍物区域分布;行人检测单元,用于在所述数据融合单元建立的障碍物的局部区域分布图中检测出行人目标;和行人跟踪单元,用于建立行人目标的线性运动模型,并利用线性目标跟踪算法对所述行人检测单元检测出来的行人目标进行连续帧目标跟踪,得到稳定的横穿马路的行人信息。
进一步地,所述信息采集单元包括单线激光雷达和单目摄像头,所述单线激光雷达用于采集车辆行驶前方障碍物的雷达信息,所述单目摄像头用于采集车辆行驶前方的行人视频信息;
所述数据融合单元的工作过程具体如下:
31)联合标定:利用透视变换将雷达坐标系[Xlidar,Ylidar,1]和图像坐标系[Xcamera,Ycamera,1]转换到以车辆前方保险杆为中心的车辆坐标系[Xvehicle,Yvehicle,1],透视变换模型如下:
使用十二对激光雷达、图像和车辆三个坐标系下的局部坐标,获得透视变换模型(2)和(3)的变换矩阵参数;
32)数据同步:设置所述单目摄像头和所述单线激光雷达的采集频率,以所述单目摄像头的采集频率为基准,对所述单线激光雷达采集的数据进行实时抽样,实现所述单目摄像头和所述单线激光雷达的数据同步;
33)K-means聚类以获得局部障碍物区域分布,具体包括:
331)利用几何约束规则限定聚类的区域,该区域为所述单线激光雷达的视角View(Lidar)和单目摄像头的视角View(Camera)交集区域{View(Lidar)∩View(Camera)}:
所述几何约束规则为:障碍物目标需在单线激光雷达的视角View(Lidar)和单目摄像头的视角View(Camera)交集区域:
LΔT,i∈{View(Lidar)∩View(Camera)} (4)
332)利用聚类算法在331)限定的交集区域建立局部障碍物区域分布。
进一步地,所述行人横穿马路行为认知模块包括:行人横穿马路的行为数据库构建单元,用于在所述环境感知及融合模块输出的横穿马路的行人信息的基础上,采集行人横穿马路的真实道路数据,定义行人横穿马路的行为,并通过标定的方法将每次行人横穿马路的行为进行标定,并将其存储为行人横穿马路的事例,作为行人横穿马路的行为数据库;和行人横穿马路的行为认知网络模型构建单元,用于定义行人横穿马路行为认知网络的参数以及行人横穿马路行为认知网络的结构,并基于所述行人横穿马路的行为数据库构建单元给出的行人横穿马路行为数据库,优化和学习网络参数,得到行人行为认知信息。
进一步地,所述自动驾驶决策模块包括:环境信息及认知参数单元,用于输入环境信息及认知参数;模糊操作单元,用于通过模糊化操作环境信息及认知参数,构建专家决策规则,获得模糊结果;和反模糊操作单元,用于采用加权法将所述模糊操作单元输出的模糊结果进行反模糊化,得到实际车辆通行速度,通过输出车辆通行速度子模块发送给自动驾驶车辆底层执行机构。
本发明提供一种车辆速度控制方法,所述车辆速度控制方法包括如下步骤:
S100:检测车辆行驶前方时横穿马路的行人信息,并输出横穿马路的行人信息;S200:根据横穿马路的行人信息,以及结合动态时间序列信息以及车辆与行人的相互影响作用,对行人行为进行认知,并输出行人行为认知信息;以及S300:根据所述横穿马路的行人信息和所述行人行为认知信息,预测和判定行人的意图,并给出车辆当前通行速度,输出车辆当前通行速度。
进一步地,所述S100具体包括:S110,单线激光雷达采集车辆行驶前方障碍物的雷达信息,单目摄像头采集车辆行驶前方的行人视频信息;S120,对步骤S110采集到的车辆行驶前方障碍物的雷达信息和行人视频信息进行过滤处理;S130,对经由步骤S120预处理后的车辆行驶前方障碍物的雷达信息和行人视频信息进行联合标定、数据同步、K-means聚类,以获得局部障碍物区域分布;S140,在步骤S130建立的障碍物的局部区域分布图中检测出行人目标;以及S150,建立行人目标的线性运动模型,并利用线性目标跟踪算法对步骤S140检测出来的行人目标进行连续帧目标跟踪,得到稳定的横穿马路的行人信息。
进一步地,所述S200具体包括:S210,在横穿马路的行人信息的基础上,采集行人横穿马路的真实道路数据,定义行人横穿马路的行为,并通过标定的方法将每次行人横穿马路的行为进行标定,并将其存储为行人横穿马路的事例,作为行人横穿马路的行为数据库;以及S220,定义行人横穿马路行为认知网络的参数以及行人横穿马路行为认知网络的结构,并基于所述行人横穿马路行为数据库,优化和学习网络参数,得到行人行为认知信息。
进一步地,所述步骤S210包括:
S211,采集真实道路数据:基于环境感知及融合模获得的横穿马路的行人信息,采集行人横穿马路的真实道路数据,该行人横穿马路的真实道路数据表示为向量D,D={vc,P,xr,yr},其中:vc表示车辆的行驶速度,P表示是否有行人,xr表示车辆与行人的纵向相对位置,yr表示车辆与行人的横向相对位置;
S212,定义行人横穿马路行为:行人横穿马路行为表示为向量B={wait,crossstraight fast,cross straight slowly},其中,wait表示为等待行为,cross straightfast表示为快速横穿行为,cross straight slowly表示慢速横穿;
S213,标定行人横穿马路行为:根据步骤S211采集到的行人横穿马路的真实道路数据,通过标定的方法将每次行人横穿马路的行为按照步骤S212,中定义的行人横穿马路行为进行分类标定;
S214,存储行人横穿马路行为数据,作为行人横穿马路的行为数据库:存储步骤S213中标定好的行人横穿马路行为作为多个行人横穿马路的事例,形成行人横穿马路的行为数据库。
进一步地,所述步骤S220包括:
S221,定义行人横穿马路行为认知网络的参数:基于动态贝叶斯的认知网络,动态贝叶斯的认知网络包括先验网络B1和转移网络B→,先验网络B1定义为初始状态的条件概率分布以及多变量间的关系,转移网络B→定义为t-1时刻和t时刻间的关系以条件概率分布,并且所述行人行为认知信息满足一阶马尔科夫假设;
S222,行人行为认知信息是带有时间维度的有向非循环图,变量用节点表示,变量之间的相互关系用有向箭头和条件概率表示,条件概率分布函数定义如下三种情况:
如果节点和其父节点都是离散变量,则条件概率表示如下:
P(Z=i|Pa(Z)=j)=P(i,j)
如果节点离散变量而和其父节点是连续变量,则条件概率表示如下:
如果节点连续变量而和其父节点也是连续变量,则条件概率如下:
行人横穿马路行为认知网络模型包括的变量有车辆的行驶速度vc,车辆和行人的相对位置信息(xr,yr),行人的横向位置和运动信息(yp,vy)以及行人横穿马路的行为意图信息(Pw,Pcf,Pcl);
S223,定义行人横穿马路行为认知网络的结构:行人横穿马路行为认知网络结构是通过专家知识和驾驶经验,定义网络中各个变量间的相互影响关系,用有向箭头表示变量间的相互影响关系;
行人横穿马路行为认知网络结构中的节点包括车辆运动状态节点(V),变量观测节点O,行人运动状态节点(P),行人和车辆相对运动状态节点(R)以及行人横穿马路行为认知节点(B),具体的节点信息包括如下:
车辆运动状态节点:V=[vc];
变量观测节点:
行人运动状态节点:
行人和车辆相对运动状态节点:
行人横穿马路行为认知节点:B=[Pw,Pcf,Pcl];
通过所述的行人横穿马路行为认知网络结构,可以用下式表达变量间的状态转移:
P(Bt,Rt,Pt|Bt-1,Rt-1,Pt-1,Vt)=P(Bt|Bt-1,Rt-1)P(Rt|Bt,Rt-1,Vt)P(Pt|Bt,Rt,Pt-1);
S224,学习行人横穿马路行为认知网络的参数:通过步骤S214得到的行人横穿马路行为数据库,基于MLE方法学习网络参数。
进一步地,所述S300具体包括:输入环境信息及认知参数;通过模糊化操作环境信息及认知参数,构建专家决策规则,获得模糊结果;以及采用加权法将所述模糊结果进行反模糊化,得到实际车辆通行速度,通过输出车辆通行速度子模块发送给自动驾驶车辆底层执行机构。
本发明能够在车辆行驶过程中准确识别车辆前方行人目标,预测行人意图,实时判断并做出合理的决策,实现自动驾驶车辆在行人横穿马路时的自主识别及决策,使得车辆安全、通畅地避让横穿马路的行人。
附图说明
图1是本发明的行人横穿马路的场景图及传感器配置方案示意图。
图2是根据本发明一优选实施例的车辆速度控制装置的原理框图。
图3是图1中一优选实施例的环境感知及融合模块的原理框图。
图4是本发明的行人横穿马路行为定义描述示意图。
图5是本发明的行人横穿马路行为认知网络结构示意图。
具体实施方式
在附图中,使用相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面结合附图对本发明的实施例进行详细说明。
在本发明的描述中,术语“中心”、“纵向”、“横向”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明保护范围的限制。
如图1所示,本实施例所提供的车辆速度控制装置和方法是针对自动驾驶车辆(下文均简称为“车辆”)行驶环境下行人横穿马路的场景设计的。行人横穿马路场景包括配置有AVT Mako G-125C单摄像头传感器1a,LMS511-2D单线激光雷达传感器1b的自动驾驶车辆和若干横穿马路的行人M。行人横穿马路的场景可发生在自动驾驶车辆在城市道路条件下的任意行驶路段。
如图2所示,本实施例所提供的车辆速度控制装置包括环境感知及融合模块、行人横穿马路行为认知模块和自动驾驶决策模块。其中:
环境感知及融合模块用于检测车辆行驶前方时横穿马路的行人信息,并输出横穿马路的行人信息。上述的“横穿马路的行人信息”包括横穿马路行人的位置信息和运动信息等,其中的“运动信息”包括行人的相对车辆的速度。
在一个实施例中,如图2和图3所示,环境感知及融合模块具体用于采集车辆行驶前方数据,对采集到的车辆行驶前方数据进行过滤处理,然后进行联合标定和数据同步,获取局部障碍物的分布区域,再在局部障碍物的分布区域进行多行人目标检测,筛选出行人目标,最后对检测到的行人目标进行连续帧跟踪,得到稳定的横穿马路的行人信息,并将横穿马路的行人信息发送给行人横穿马路行为认知模块。
优选地,环境感知及融合模块包括信息采集单元1、数据预处理单元2、数据融合单元3、行人检测单元4及行人跟踪单元5,其中:
信息采集单元1采集到的车辆行驶前方相关数据,其包括单线激光雷达1a和单目摄像头1b,单线激光雷达1a安装在车辆前方保险杆处,用于采集车辆行驶前方障碍物的雷达信息,主要是为了提供可能的行人候选区域。单目摄像头1b可以固定在车内挡风玻璃右上方,用于采集车辆行驶前方的行人视频信息。
数据预处理单元2用于对信息采集单元1采集到的车辆行驶前方相关数据进行过滤处理,具体工作过程为:
21)对于单线激光雷达1a采集到的雷达数据:过滤雷达数据中的空目标以及剔除雷达数据中的跳动目标,并将经过滤和剔除处理后的一组激光雷达的数据点的值组成一个向量,用于表征单线激光雷达1a探测到的每一个前方障碍物的2D特征向量:
LΔT,i=[di sin θi,di cos θi]T (1)
上式中,ΔT为数据采集周期,i表示过滤后的障碍物的ID号,di表示障碍物相对于激光雷达的直线距离,θi表示障碍物相对于激光雷达的角度。
22)对于单目摄像头1b采集到的视频流数据:中值滤波降噪处理以及图片压缩处理,例如将分辨率1292*964压缩成分辨率720*480。
数据融合单元3用于对经由数据预处理单元2预处理后的雷达数据和图像依序进行联合标定、数据同步、K-means聚类,以获得局部障碍物区域分布。数据融合单元3的工作过程具体如下:
31)联合标定:利用透视变换将雷达坐标系[Xlidar,Ylidar,1]和图像坐标系[Xcamera,Ycamera,1]转换到以车辆前方保险杆为中心的车辆坐标系[Xvehicle,Yvehicle,1],透视变换模型如下:
由于每个透视变换模型(2)和(3)有12个变量(其中包括9个旋转变量,3个平移变量),故需要使用十二对激光雷达、图像和车辆三个坐标系下的局部坐标,获得透视变换模型(2)和(3)的变换矩阵参数(aij,bij,ci,li,i=1、2、3,j=1、2、3)。
32)数据同步:设置单目摄像头1b的采集频率,比如15Hz,单线激光雷达1a的采集频率,比如25Hz,以单目摄像头1b的采集频率为基准,对单线激光雷达1a采集的数据进行实时抽样,比如每秒66次,实现单目摄像头1b和单线激光雷达1a的数据同步。
33)K-means聚类以获得局部障碍物区域分布,具体包括:
331)利用几何约束规则限定聚类的区域,该区域为单线激光雷达1a的视角View(Lidar)和单目摄像头1b的视角View(Camera)交集区域{View(Lidar)∩View(Camera)}。具体如下:
所述几何约束规则为:障碍物目标需在单线激光雷达1a的视角View(Lidar)和单目摄像头1b的视角View(Camera)交集区域:
LΔT,i∈{View(Lidar)∩View(Camera)} (4)
例如:单线激光雷达1a的视角为180±5°,角分辨率为0.5°,每次扫描获得361个障碍物点,利用障碍物目标需在单线激光雷达1a的视角View(Lidar)和单目摄像头1b的视角View(Camera)的共同视角范围内,将需要聚类的点,限制在封闭区域{View(Lidar)∩View(Camera)}。
332)利用聚类算法在331)限定的交集区域建立局部障碍物区域分布。
行人检测单元4用于在数据融合单元3建立的障碍物的局部区域分布图中检测出行人目标。下面举例说明行人检测单元4的工作过程:
41)由于数据预处理单元2在数据预处理阶段将单目摄像头1b采集的图片从1292*964压缩成720*480,将行人目标的单个感兴趣区域设置为以聚类中心点和该类中距离中心点横向和纵向最远的点的距离为边长的矩形区域,若干个矩形区域组成障碍物的局部区域分布图。行人检测单元4利用HOG特征描述子和事先训练得到的SVM分类器,再利用多尺寸检测器检测行人目标。其中,cell大小为8×8,9个方向bin,检测窗口大小为48×96,搜索步长为8×8,图像边缘补齐参数为16×16,缩放比例系数为1.15,特征向量(该特征向量指的是利用HOG特征描述子获得的需检测矩形区域的特征向量)和SVM划分超平面的距离阈值为0.9,可设置最多搜索目标为6个,故设置K-means聚类算法最大分类数为Kmax=6。cell和bin是求图像HOG特征的参数。cell是细胞,由若干个像素组成。bin指方向块,如180°分为9个方向块,每个占20°。
42)利用改进的K-means聚类算法将融合后的数据点最多划分为Kmax类,每类中以聚类中心点和该类中距离中心点横向和纵向最远的点的距离为边长,扩展成矩形区域,建立行人目标的多个感兴趣区域块,最多Kmax个。
其中,所述聚类后的每个分类扩展的矩形区域的宽度wc和高度hc分别为:
上式中,μc_x为第c类的聚类中心点的横坐标,μc_y为第c类的聚类中心点的纵坐标,lc(i)_x为第c类中第i个样本点的横坐标,lc(i)_y为第c类中第i个样本点的纵坐标。
43)利用行人检测单元算法在步骤41)确定的多个感兴趣区域块中进行目标搜索,检测出行人目标。
行人跟踪单元5用于建立行人目标的线性运动模型G(t),并利用线性目标跟踪算法,例如Kalman算法对行人检测单元4检测出来的行人目标进行连续帧目标跟踪,得到稳定的横穿马路的行人信息。“横穿马路的行人信息”包括行人相对位置信息(xr,yr)和相对速度信息(vrx,vry),提供给行人横穿马路行为认知模块使用。行人跟踪单元5的工作过程具体包括以下步骤:
51)建立行人目标的线性运动模型G(t),假设横穿马路的行人匀速运动,忽略过程噪声,其线性运动模型如下:
G(t)=[X(t),Y(t),X′(t),Y′(t)]T
G(t)=AG(t-1) (5)
上式中,省略时间变量t的X={x1 x2 … xN}为N个目标中心点的横向位置集合,省略时间变量t的Y={y1 y2 … yN}为N个目标中心点的纵向位置集合,X′={x′1 x′2 … x′N}为N个目标中心点横向速度集合,Y′={y′1 y′2 … y′N}为N个目标中心点纵向速度集合,ΔT为数据采集周期。
52)利用Kalman算法进行连续帧目标跟踪:
521)利用数据融合单元3融合后的单目视觉信息获取t时刻行人目标中心点的位置信息[Xz(t),Yz(t)]以及单线激光雷达1a获得行人目标中心点的相对速度[X′z(t),Y′z(t)],将联立的[Xz(t),Yz(t),X′z(t),Y′z(t)]T作为系统的观测向量。
同理,Xz(t)为N个观测目标中心点的横向位置集合,Yz(t)为N个观测目标中心点的纵向位置集合,X′z(t)为N个观测目标中心点的横向速度集合,Y′z(t)为N个观测目标中心点的纵向速度集合。
522)利用观测矩阵和状态更新矩阵,预估下一时刻的位置在Kalman算法预估的位置领域,设置一个感兴趣区域,利用SVM进行搜索匹配,若在此区域检测到目标,并大于匹配阈值,则持续跟踪,否则,作为新出现的行人目标。
如图1所示,行人横穿马路行为认知模块用于接收横穿马路的行人信息,再根据接收到的横穿马路的行人信息,以及结合动态时间序列信息以及车辆与行人的相互影响作用,对行人行为进行认知。“认知”包括定义、学习以及预测,并输出行人行为认知信息,在行人横穿马路中,“行人行为认知信息”包括快速横穿行为、慢速横穿行为以及等待行为。
在一个实施例中,如图2和图4所示,行人横穿马路行为认知模块用于行人横穿马路场景下,在环境感知及融合模块的基础上,通过构建行人横穿马路行为数据库和行人横穿马路行为认知网络模型,然后通过一定时间段的历史信息对当前横穿马路的行人状态进行行为估计和预测,输出当前横穿马路的行人状态。历史信息包括车辆速度信息以及行人和车辆间的相对信息。
优选地,行人横穿马路行为认知模块包括行人横穿马路的行为数据库构建单元6和行人横穿马路的行为认知网络模型构建单元7,其中:
行人横穿马路的行为数据库构建单元6用于在环境感知及融合模块输出的横穿马路的行人信息的基础上,采集行人横穿马路的真实道路数据,定义行人横穿马路的行为,并通过标定的方法将每次行人横穿马路的行为进行标定,并将其存储为行人横穿马路的事例,其事例包括时间序列上的相关变量信息,以作为行人横穿马路的行为数据库。具体工作过程为:
61)采集真实道路数据:基于环境感知及融合模获得的横穿马路的行人信息,采集行人横穿马路的真实道路数据,该数据只针对行人横穿马路的场景。行人横穿马路的真实道路数据包括车辆的行驶速度vc,是否有行人P,车辆与行人的纵向相对位置xr和车辆与行人的横向相对位置yr等信息。行人横穿马路的真实道路数据可以表示为向量D,D={vc,P,xr,yr}。
62)定义行人横穿马路行为:如图4所示,行人横穿马路行为描述示意图中,根据驾驶经验或驾驶员积累的认知驾驶环境的经验等先验知识,行人横穿马路的行为包括等待(wait)、快速横穿(cross straight fast)和慢速横穿(crossstraight slowly),其可用向量表示为B,B={wait,cross straight fast,cross straight slowly}。
63)标定行人横穿马路行为:根据步骤611)采集到的行人横穿马路的真实道路数据,通过标定的方法将每次行人横穿马路的行为按照步骤612)中定义的行人横穿马路行为进行分类标定。
64)存储行人横穿马路行为数据,作为行人横穿马路的行为数据库:存储步骤63)中标定好的行人横穿马路行为作为多个行人横穿马路的事例,形成行人横穿马路的行为数据库。
一个行人横穿马路的事例包括时间序列(1到t时刻)上的相关变量信息,该变量信息表示为信息集D1:t,t为行人横穿马路的时间,D为变量信息。
如图2所示,行人横穿马路的行为认知网络模型构建单元7用于定义行人横穿马路行为认知网络的参数以及行人横穿马路行为认知网络的结构,最后,基于行人横穿马路的行为数据库构建单元6给出的行人横穿马路行为数据库,优化和学习网络参数,得到行人横穿马路的行为认知网络模型。具体工作过程如下:
71)定义行人横穿马路行为认知网络的参数:如图5所示,基于动态贝叶斯的认知网络,动态贝叶斯的认知网络包括先验网络B1和转移网络B→。先验网络B1定义为初始状态的条件概率分布以及多变量间的关系。转移网络B→定义为t-1时刻和t时刻间的关系以条件概率分布,并且所述行人横穿马路的行为认知网络模型满足一阶马尔科夫假设。
行人横穿马路的行为认知网络模型是带有时间维度的有向非循环图,变量用节点表示,变量之间的相互关系用有向箭头和条件概率表示。条件概率分布函数定义如下三种情况:
如果节点和其父节点都是离散变量,则条件概率表示如下:
P(Z=i|Pa(Z)=j)=P(i,j) (6)
如果节点离散变量而和其父节点是连续变量,则条件概率表示如下:
如果节点连续变量而和其父节点也是连续变量,则条件概率如下:
行人横穿马路行为认知网络模型包括的变量有车辆的行驶速度vc,车辆和行人的相对位置信息(xr,yr),行人的横向位置和运动信息(yp,vy)以及行人横穿马路的行为意图信息(Pw,Pcf,Pcl)。
72)定义行人横穿马路行为认知网络的结构:行人横穿马路行为认知网络结构是通过专家知识和驾驶经验,定义网络中各个变量间的相互影响关系,用有向箭头表示变量间的相互影响关系。
行人横穿马路行为认知网络结构中的节点包括车辆运动状态节点(V),变量观测节点O,行人运动状态节点(P),行人和车辆相对运动状态节点(R)以及行人横穿马路行为认知节点(B)。具体的节点信息包括如下:
车辆运动状态节点:V=[vc]。
变量观测节点:
行人运动状态节点:
行人和车辆相对运动状态节点:
行人横穿马路行为认知节点:B=[Pw,Pcf,Pcl]。
通过所述的行人横穿马路行为认知网络结构,可以用下式表达变量间的状态转移:
P(Bt,Rt,Pt|Bt-1,Rt-1,Pt-1,Vt)=
P(Bt|Bt-1,Rt-1)P(Rt|Bt,Rt-1,Vt)P(Pt|Bt,Rt,Pt-1) (9)
73)学习行人横穿马路行为认知网络的参数:如图2所示,通过步骤64)得到的行人横穿马路行为数据库,基于Maximum Likelihood Estimation(MLE)方法学习网络参数。
例如:在实际道路中,所述的实时通过一定时间的历史信息对当前行人横穿马路的行为进行估计和预测是将当前环境信息以及一定时间的历史信息输入到学习后的行人横穿马路的行为认知网络模型中,行人横穿马路的行为认知网络模型会通过其在步骤64)得到的行人横穿马路行为数据库中学到的经验和知识,对当前横穿马路的行人状态进行行为估计和预测,输出当前横穿马路的行人状态,当前横穿马路的行人状态包括行人等待的概率(Pwait)、快速横穿的概率(Pcross fast)、慢速横穿的概率(Pcross slowly),分别简写为Pw,Pcf,Pcl。
如图2所示,自动驾驶决策模块用于接收环境信息、行人行为认知参数,并根据所述横穿马路的行人信息和所述行人行为认知信息,预测和判定行人的意图,并给出车辆当前通行速度,输出车辆当前通行速度。
优选地,自动驾驶决策模块包括环境信息及认知参数单元8、模糊操作单元9和反模糊操作单元10,其中:
环境信息及认知参数单元8用于输入环境信息及认知参数:环境信息参数来自于环境感知及融合模块中的行人跟踪模块5,且包括车辆行驶速度(vc),行人在道路中的横向位置信息(yp),行人和车辆的相对位置信息(xr,yr),相对速度信息(vrx,vry),行人的横向速度信息(vy)等环境信息参数。认知参数来自于步骤71),且包括行人横穿马路的行为意图信息(Pw,Pcf,Pcl)。
模糊操作单元9用于通过模糊化操作环境信息及认知参数,构建专家决策规则,获得模糊结果。其工作过程如下:
91)模糊化操作:通过定义模糊化函数,将环境信息及认知参数单元8输入的的环境信息以及认知参数进行模糊化处理,以将环境信息以及认知参数信息转化为对应的模糊集。定义信息的模糊语言用T表示,比如,对于车辆行驶速度:
T(vc)={Z,S,M,H}
其中,Z表示速度趋于零,S表示速度较低,M表示速度中等速度,H表示速度较高。值得说明的是这里的速度模糊化是指在城市道路条件下的速度模糊化,因为在高速路段不考虑行人的存在。所述的隶属度函数如下所示:
92)构建专家决策规则:根据专家知识库,将步骤91)获得模糊集中的模糊变量进行推理运算,得到模糊结果。
所述的专家知识库如下所示,其中,P表示是否有行人(F表示无,T表示有):
If P=F,then vo=H;(若前方没有行人时,则车辆可高速通过)
If P=T,Pw=(Z or S),Pcf=(Z or S),and xr=(Z or S),then vo=Z;
If P=T,Pw=(Z or S),Pcf=(M or H),and xr=(Z or S),then vo=Z;
If P=T,Pw=(Z or S),Pcf=(Z or S),and xr=M,then vo=S;
If P=T,Pw=(Z or S),Pcf=(M or H),and xr=M,then vo=Z;
If P=T,Pw=(Z or S),Pcf=(Z or S),and xr=H,then vo=M;
If P=T,Pw=(Z or S),Pcf=(M or H),and xr=H,then vo=MS;
If P=F,then vo=H;
If P=T,Pw=(Z or S),Pcf=(Z or S),and xr=(Z or S),then vo=Z;
If P=T,Pw=(Z or S),Pcf=(M or H),and xr=(Z or S),then vo=Z;
If P=T,Pw=(Z or S),Pcf=(Z or S),and xr=M,then vo=S;
If P=T,Pw=(Z or S),Pcf=(M or H),and xr=M,then vo=Z;
If P=T,Pw=(Z or S),Pcf=(Z or S),and xr=H,then vo=M;
If P=T,Pw=(Z or S),Pcf=(M or H),and xr=H,then vo=MS;
If P=T,Pw=M,Pcf=(Z or S),and xr=H,then vo=H;
If P=T,Pw=M,Pcf=(M or H),and xr=H,then vo=MH;
If P=T,Pw=M,Pcf=(Z or S),and xr=M,then vo=M;
If P=T,Pw=M,Pcf=(M or H),and xr=M,then vo=MS;
If P=T,Pw=M,Pcf=(Z or S),and xr=S or Z,then vo=S;
If P=T,Pw=M,Pcf=(M or H),and xr=S or Z,then vo=Z;
If P=T,Pw=H and xr=M or H,then vo=H;
If P=T,Pw=H and xr=Z or S,then vo=M
模糊集中的模糊变量包括车辆行驶速度模糊变量、行人在道路中的横向位置模糊变量、行人和车辆的相对位置模糊变量、行人的横向速度模糊变量以及行人行为意图模糊变量。
模糊结果包括车辆通行速度模糊信息以及其模糊度大小。
反模糊操作单元10采用加权法将模糊操作单元9输出的模糊结果进行反模糊化,得到实际车辆通行速度,通过输出车辆通行速度子模块发送给自动驾驶车辆底层执行机构。
反模糊化的具体如下公式所示:
其中λi是模糊输出变量的权重,vi表示根据隶属度函数的模型输出速度。
本发明还提供一种车辆速度控制方法,该方法包括如下步骤:
S100:检测车辆行驶前方时横穿马路的行人信息,并输出横穿马路的行人信息;
S200:根据横穿马路的行人信息,以及结合动态时间序列信息以及车辆与行人的相互影响作用,对行人行为进行认知,并输出行人行为认知信息;以及
S300:根据所述横穿马路的行人信息和所述行人行为认知信息,预测和判定行人的意图,并给出车辆当前通行速度,输出车辆当前通行速度。
本实施例能够在车辆行驶过程中准确识别车辆前方行人目标,预测行人意图,实时判断并做出合理的决策,实现自动驾驶车辆在行人横穿马路时的自主识别及决策,使得车辆安全、通畅地避让横穿马路的行人。
在一个实施例中,所述S100具体包括:
S110单线激光雷达采集车辆行驶前方障碍物的雷达信息,单目摄像头采集车辆行驶前方的行人视频信息;
S120对步骤S110采集到的车辆行驶前方障碍物的雷达信息和行人视频信息进行过滤处理;
S130,对经由步骤S120预处理后的车辆行驶前方障碍物的雷达信息和行人视频信息进行联合标定、数据同步、K-means聚类,以获得局部障碍物区域分布;
S140,在步骤S130建立的障碍物的局部区域分布图中检测出行人目标;以及
S150,建立行人目标的线性运动模型,并利用线性目标跟踪算法对步骤S140检测出来的行人目标进行连续帧目标跟踪,得到稳定的横穿马路的行人信息。
在一个实施例中,所述S200具体包括:
S210,在横穿马路的行人信息的基础上,采集行人横穿马路的真实道路数据,定义行人横穿马路的行为,并通过标定的方法将每次行人横穿马路的行为进行标定,并将其存储为行人横穿马路的事例,作为行人横穿马路的行为数据库;以及
S220,定义行人横穿马路行为认知网络的参数以及行人横穿马路行为认知网络的结构,并基于所述行人横穿马路行为数据库,优化和学习网络参数,得到行人行为认知信息。
优选地,所述步骤S210包括:
S211,采集真实道路数据:基于环境感知及融合模获得的横穿马路的行人信息,采集行人横穿马路的真实道路数据,该行人横穿马路的真实道路数据表示为向量D,D={vc,P,xr,yr},其中:vc表示车辆的行驶速度,P表示是否有行人,xr表示车辆与行人的纵向相对位置,yr表示车辆与行人的横向相对位置;
S212,定义行人横穿马路行为:行人横穿马路行为表示为向量B={wait,crossstraight fast,cross straight slowly}。其中,wait表示为等待行为,cross straightfast表示为快速横穿行为,cross straight slowly表示慢速横穿;
S213,标定行人横穿马路行为:根据步骤S211采集到的行人横穿马路的真实道路数据,通过标定的方法将每次行人横穿马路的行为按照步骤S212,中定义的行人横穿马路行为进行分类标定;
S214,存储行人横穿马路行为数据,作为行人横穿马路的行为数据库:存储步骤S213中标定好的行人横穿马路行为作为多个行人横穿马路的事例,形成行人横穿马路的行为数据库。
优选地,所述步骤S220包括:
S221,定义行人横穿马路行为认知网络的参数:基于动态贝叶斯的认知网络,动态贝叶斯的认知网络包括先验网络B1和转移网络B→,先验网络B1定义为初始状态的条件概率分布以及多变量间的关系,转移网络B→定义为t-1时刻和t时刻间的关系以条件概率分布,并且所述行人行为认知信息满足一阶马尔科夫假设;
S222,行人行为认知信息是带有时间维度的有向非循环图,变量用节点表示,变量之间的相互关系用有向箭头和条件概率表示,条件概率分布函数定义如下三种情况:
如果节点和其父节点都是离散变量,则条件概率表示如下:
P(Z=i|Pa(Z)=j)=P(i,j)
如果节点离散变量而和其父节点是连续变量,则条件概率表示如下:
如果节点连续变量而和其父节点也是连续变量,则条件概率如下:
行人横穿马路行为认知网络模型包括的变量有车辆的行驶速度vc,车辆和行人的相对位置信息(xr,yr),行人的横向位置和运动信息(yp,vy)以及行人横穿马路的行为意图信息(Pw,Pcf,Pcl);
S223,定义行人横穿马路行为认知网络的结构:行人横穿马路行为认知网络结构是通过专家知识和驾驶经验,定义网络中各个变量间的相互影响关系,用有向箭头表示变量间的相互影响关系;
行人横穿马路行为认知网络结构中的节点包括车辆运动状态节点(V),变量观测节点O,行人运动状态节点(P),行人和车辆相对运动状态节点(R)以及行人横穿马路行为认知节点(B),具体的节点信息包括如下:
车辆运动状态节点:V=[vc];
变量观测节点:
行人运动状态节点:
行人和车辆相对运动状态节点:
行人横穿马路行为认知节点:B=[Pw,Pcf,Pcl];
通过所述的行人横穿马路行为认知网络结构,可以用下式表达变量间的状态转移:
P(Bt,Rt,Pt|Bt-1,Rt-1,Pt-1,Vt)=
P(Bt|Bt-1,Rt-1)P(Rt|Bt,Rt-1,Vt)P(Pt|Bt,Rt,Pt-1)
S224,学习行人横穿马路行为认知网络的参数:通过步骤S214得到的行人横穿马路行为数据库,基于MLE方法学习网络参数。
例如:在实际道路中,所述的实时通过一定时间的历史信息对当前行人横穿马路的行为进行估计和预测是将当前环境信息以及一定时间的历史信息输入到学习后的行人行为认知信息中,行人行为认知信息会通过其在步骤64)得到的行人横穿马路行为数据库中学到的经验和知识,对当前横穿马路的行人状态进行行为估计和预测,输出当前横穿马路的行人状态,当前横穿马路的行人状态包括行人等待的概率(Pwait)、快速横穿的概率(Pcross fast)、慢速横穿的概率(Pcross slowly)。
在一个实施例中,所述步骤S300具体包括:
输入环境信息及认知参数;
通过模糊化操作环境信息及认知参数,构建专家决策规则,获得模糊结果;以及
采用加权法将所述模糊结果进行反模糊化,得到实际车辆通行速度,通过输出车辆通行速度子模块发送给自动驾驶车辆底层执行机构。
上述各步骤的具体实施方法在上文已经详细阐述,在此不再赘述。
最后需要指出的是:以上实施例仅用以说明本发明的技术方案,而非对其限制。本领域的普通技术人员应当理解:可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (9)
1.一种车辆速度控制装置,其特征在于:其包括:
环境感知及融合模块,用于检测车辆行驶前方时横穿马路的行人信息,并输出横穿马路的行人信息;
行人横穿马路行为认知模块,用于接收横穿马路的行人信息,再根据接收到的横穿马路的行人信息,以及结合动态时间序列信息以及车辆与行人的相互影响作用,对行人行为进行认知,并输出行人行为认知信息;和
自动驾驶决策模块,用于接收环境信息、行人行为认知参数,并根据所述横穿马路的行人信息和所述行人行为认知信息,预测和判定行人的意图,并给出车辆当前通行速度,输出车辆当前通行速度;
所述行人横穿马路行为认知模块包括:
行人横穿马路的行为数据库构建单元(6),用于在所述环境感知及融合模块输出的横穿马路的行人信息的基础上,采集行人横穿马路的真实道路数据,定义行人横穿马路的行为,并通过标定的方法将每次行人横穿马路的行为进行标定,并将其存储为行人横穿马路的事例,作为行人横穿马路的行为数据库;和
行人横穿马路的行为认知网络模型构建单元(7),用于定义行人横穿马路行为认知网络的参数以及行人横穿马路行为认知网络的结构,并基于所述行人横穿马路的行为数据库构建单元(6)给出的行人横穿马路行为数据库,优化和学习网络参数,得到行人行为认知信息。
2.如权利要求1所述的车辆速度控制装置,其特征在于:所述环境感知及融合模块包括:
信息采集单元(1),用于采集到的车辆行驶前方相关数据;
数据预处理单元(2),用于对所述信息采集单元(1)采集到的车辆行驶前方相关数据进行过滤处理;
数据融合单元(3),用于对经由所述数据预处理单元(2)预处理后的车辆行驶前方相关数据进行联合标定、数据同步、K-means聚类,以获得局部障碍物区域分布;
行人检测单元(4),用于在所述数据融合单元(3)建立的障碍物的局部区域分布图中检测出行人目标;和
行人跟踪单元(5),用于建立行人目标的线性运动模型,并利用线性目标跟踪算法对所述行人检测单元(4)检测出来的行人目标进行连续帧目标跟踪,得到稳定的横穿马路的行人信息。
3.如权利要求2所述的车辆速度控制装置,其特征在于:
所述信息采集单元(1)包括单线激光雷达(1a)和单目摄像头(1b),所述单线激光雷达(1a)用于采集车辆行驶前方障碍物的雷达信息,所述单目摄像头(1b)用于采集车辆行驶前方的行人视频信息;
所述数据融合单元(3)的工作过程具体如下:
31)联合标定:利用透视变换将雷达坐标系[Xlidar,Ylidar,1]和图像坐标系[Xcamera,Ycamera,1]转换到以车辆前方保险杆为中心的车辆坐标系[Xvehicle,Yvehicle,1],透视变换模型如下:
使用十二对激光雷达、图像和车辆三个坐标系下的局部坐标,获得透视变换模型(2)和(3)的变换矩阵参数;
32)数据同步:设置所述单目摄像头(1b)和所述单线激光雷达(1a)的采集频率,以所述单目摄像头(1b)的采集频率为基准,对所述单线激光雷达(1a)采集的数据进行实时抽样,实现所述单目摄像头(1b)和所述单线激光雷达(1a)的数据同步;
33)K-means聚类以获得局部障碍物区域分布,具体包括:
331)利用几何约束规则限定聚类的区域,该区域为所述单线激光雷达(1a)的视角View(Lidar)和单目摄像头(1b)的视角View(Camera)交集区域{View(Lidar)∩View(Camera)}:
所述几何约束规则为:障碍物目标需在单线激光雷达(1a)的视角View(Lidar)和单目摄像头(1b)的视角View(Camera)交集区域:
LΔT,i∈{View(Lidar)∩View(Camera)} (4)
332)利用聚类算法在331)限定的交集区域建立局部障碍物区域分布。
4.如权利要求1所述的车辆速度控制装置,其特征在于:所述自动驾驶决策模块包括:
环境信息及认知参数单元(8),用于输入环境信息及认知参数;
模糊操作单元(9),用于通过模糊化操作环境信息及认知参数,构建专家决策规则,获得模糊结果;和
反模糊操作单元(10),用于采用加权法将所述模糊操作单元(9)输出的模糊结果进行反模糊化,得到实际车辆通行速度,通过输出车辆通行速度子模块发送给自动驾驶车辆底层执行机构。
5.一种车辆速度控制方法,其特征在于:其包括如下步骤:
S100,检测车辆行驶前方时横穿马路的行人信息,并输出横穿马路的行人信息;
S200,根据横穿马路的行人信息,以及结合动态时间序列信息以及车辆与行人的相互影响作用,对行人行为进行认知,并输出行人行为认知信息;以及
S300,根据所述横穿马路的行人信息和所述行人行为认知信息,预测和判定行人的意图,并给出车辆当前通行速度,输出车辆当前通行速度;
所述步骤S200具体包括:
S210,在横穿马路的行人信息的基础上,采集行人横穿马路的真实道路数据,定义行人横穿马路的行为,并通过标定的方法将每次行人横穿马路的行为进行标定,并将其存储为行人横穿马路的事例,作为行人横穿马路的行为数据库;以及
S220,定义行人横穿马路行为认知网络的参数以及行人横穿马路行为认知网络的结构,并基于所述行人横穿马路行为数据库,优化和学习网络参数,得到行人行为认知信息。
6.如权利要求5所述的车辆速度控制方法,其特征在于:所述步骤S100具体包括:
S110,单线激光雷达采集车辆行驶前方障碍物的雷达信息,单目摄像头采集车辆行驶前方的行人视频信息;
S120,对步骤S110采集到的车辆行驶前方障碍物的雷达信息和行人视频信息进行过滤处理;
S130,对经由步骤S120预处理后的车辆行驶前方障碍物的雷达信息和行人视频信息进行联合标定、数据同步、K-means聚类,以获得局部障碍物区域分布;
S140,在步骤S130建立的障碍物的局部区域分布图中检测出行人目标;以及
S150,建立行人目标的线性运动模型,并利用线性目标跟踪算法对步骤S140检测出来的行人目标进行连续帧目标跟踪,得到稳定的横穿马路的行人信息。
7.如权利要求5所述的车辆速度控制方法,其特征在于:所述步骤S210包括:
S211,采集真实道路数据:基于环境感知及融合模获得的横穿马路的行人信息,采集行人横穿马路的真实道路数据,该行人横穿马路的真实道路数据表示为向量D,D={vc,P,xr,yr},其中:vc表示车辆的行驶速度,P表示是否有行人,xr表示车辆与行人的纵向相对位置,yr表示车辆与行人的横向相对位置;
S212,定义行人横穿马路行为:行人横穿马路行为表示为向量B={wait,crossstraight fast,cross straight slowly},其中,wait表示为等待行为,cross straightfast表示为快速横穿行为,cross straight slowly表示慢速横穿;
S213,标定行人横穿马路行为:根据步骤S211采集到的行人横穿马路的真实道路数据,通过标定的方法将每次行人横穿马路的行为按照步骤S212,中定义的行人横穿马路行为进行分类标定;
S214,存储行人横穿马路行为数据,作为行人横穿马路的行为数据库:存储步骤S213中标定好的行人横穿马路行为作为多个行人横穿马路的事例,形成行人横穿马路的行为数据库。
8.如权利要求7所述的车辆速度控制方法,其特征在于:所述步骤S220包括:
S221,定义行人横穿马路行为认知网络的参数:基于动态贝叶斯的认知网络,动态贝叶斯的认知网络包括先验网络B1和转移网络B→,先验网络B1定义为初始状态的条件概率分布以及多变量间的关系,转移网络B→定义为t-1时刻和t时刻间的关系以条件概率分布,并且所述行人行为认知信息满足一阶马尔科夫假设;
S222,行人行为认知信息是带有时间维度的有向非循环图,变量用节点表示,变量之间的相互关系用有向箭头和条件概率表示,条件概率分布函数定义如下三种情况:
如果节点和其父节点都是离散变量,则条件概率表示如下:
P(Z=i|Pa(Z)=j)=P(i,j)
如果节点离散变量而和其父节点是连续变量,则条件概率表示如下:
如果节点连续变量而和其父节点也是连续变量,则条件概率如下:
行人横穿马路行为认知网络模型包括的变量有车辆的行驶速度vc,车辆和行人的相对位置信息(xr,yr),行人的横向位置和运动信息(yp,vy)以及行人横穿马路的行为意图信息(Pw,Pcf,Pcl);
S223,定义行人横穿马路行为认知网络的结构:行人横穿马路行为认知网络结构是通过专家知识和驾驶经验,定义网络中各个变量间的相互影响关系,用有向箭头表示变量间的相互影响关系;
行人横穿马路行为认知网络结构中的节点包括车辆运动状态节点(V),变量观测节点O,行人运动状态节点(P),行人和车辆相对运动状态节点(R)以及行人横穿马路行为认知节点(B),具体的节点信息包括如下:
车辆运动状态节点:V=[vc];
变量观测节点:
行人运动状态节点:
行人和车辆相对运动状态节点:
行人横穿马路行为认知节点:B=[Pw,Pcf,Pcl];
通过所述的行人横穿马路行为认知网络结构,可以用下式表达变量间的状态转移:
P(Bt,Rt,Pt|Bt-1,Rt-1,Pt-1,Vt)=P(Bt|Bt-1,Rt-1)P(Rt|Bt,Rt-1,Vt)P(Pt|Bt,Rt,Pt-1);
S224,学习行人横穿马路行为认知网络的参数:通过步骤S214得到的行人横穿马路行为数据库,基于MLE方法学习网络参数。
9.如权利要求8所述的车辆速度控制方法,其特征在于:所述步骤S300具体包括:
输入环境信息及认知参数;
通过模糊化操作环境信息及认知参数,构建专家决策规则,获得模糊结果;以及
采用加权法将所述模糊结果进行反模糊化,得到实际车辆通行速度,通过输出车辆通行速度子模块发送给自动驾驶车辆底层执行机构。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610806022.6A CN106428000B (zh) | 2016-09-07 | 2016-09-07 | 一种车辆速度控制装置和方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610806022.6A CN106428000B (zh) | 2016-09-07 | 2016-09-07 | 一种车辆速度控制装置和方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106428000A CN106428000A (zh) | 2017-02-22 |
CN106428000B true CN106428000B (zh) | 2018-12-21 |
Family
ID=58164773
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610806022.6A Active CN106428000B (zh) | 2016-09-07 | 2016-09-07 | 一种车辆速度控制装置和方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106428000B (zh) |
Families Citing this family (51)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2734744C1 (ru) | 2017-02-10 | 2020-10-22 | Ниссан Норт Америка, Инк. | Оперативное управление автономным транспортным средством, включающее в себя работу экземпляра модели частично наблюдаемого марковского процесса принятия решений |
CN108733042B (zh) * | 2017-04-19 | 2021-11-09 | 上海汽车集团股份有限公司 | 自动驾驶车辆的目标跟踪方法及装置 |
WO2018205245A1 (zh) * | 2017-05-12 | 2018-11-15 | 中国科学院深圳先进技术研究院 | 一种用于车辆自动驾驶的策略网络模型的生成方法及装置 |
JP6613265B2 (ja) * | 2017-06-01 | 2019-11-27 | 本田技研工業株式会社 | 予測装置、車両、予測方法およびプログラム |
US10474149B2 (en) * | 2017-08-18 | 2019-11-12 | GM Global Technology Operations LLC | Autonomous behavior control using policy triggering and execution |
CN109670597A (zh) * | 2017-09-20 | 2019-04-23 | 顾泽苍 | 一种自动驾驶的机器学习多目的控制方法 |
US11276312B2 (en) | 2017-09-20 | 2022-03-15 | Honda Motor Co., Ltd. | Vehicle control apparatus, vehicle control method, and program |
CN109532826A (zh) * | 2017-09-21 | 2019-03-29 | 天津所托瑞安汽车科技有限公司 | 一种基于车道线视觉识别技术优化的雷达防碰撞预警方法 |
JP6633041B2 (ja) * | 2017-10-25 | 2020-01-22 | 本田技研工業株式会社 | 車両、走行制御装置及び走行制御方法 |
US11702070B2 (en) | 2017-10-31 | 2023-07-18 | Nissan North America, Inc. | Autonomous vehicle operation with explicit occlusion reasoning |
US11087224B2 (en) * | 2017-11-15 | 2021-08-10 | Mitsubishi Electric Corporation | Out-of-vehicle communication device, out-of-vehicle communication method, information processing device, and computer readable medium |
US11874120B2 (en) | 2017-12-22 | 2024-01-16 | Nissan North America, Inc. | Shared autonomous vehicle operational management |
CN111542295A (zh) * | 2017-12-28 | 2020-08-14 | 四川金瑞麒智能科学技术有限公司 | 一种智能轮椅自动驾驶方法、系统及计算机可读介质 |
CN108256487B (zh) * | 2018-01-19 | 2021-09-17 | 北京工业大学 | 一种基于反向双目的驾驶状态检测装置和方法 |
JP6971187B2 (ja) * | 2018-03-28 | 2021-11-24 | 京セラ株式会社 | 画像処理装置、撮像装置、および移動体 |
US10678253B2 (en) * | 2018-05-24 | 2020-06-09 | GM Global Technology Operations LLC | Control systems, control methods and controllers for an autonomous vehicle |
CN108764373B (zh) * | 2018-06-08 | 2021-11-30 | 北京领骏科技有限公司 | 一种用于自动驾驶中的传感器数据过滤及融合方法 |
CN108766005A (zh) * | 2018-06-08 | 2018-11-06 | 北京洪泰同创信息技术有限公司 | 交通工具的控制方法、装置及系统 |
CN109165591B (zh) * | 2018-08-16 | 2020-10-09 | 大连民族大学 | 道路行人分类方法 |
CN110738081B (zh) * | 2018-07-19 | 2022-07-29 | 杭州海康威视数字技术股份有限公司 | 异常路况检测方法及装置 |
CN109063642A (zh) * | 2018-08-01 | 2018-12-21 | 广州大学 | 基于hmm算法的行人过马路的预测方法和系统 |
CN108803626B (zh) * | 2018-08-16 | 2021-01-26 | 大连民族大学 | 自主汽车或者辅助驾驶系统规划路线的系统 |
CN109147389B (zh) * | 2018-08-16 | 2020-10-09 | 大连民族大学 | 自主汽车或者辅助驾驶系统规划路线的方法 |
CN108961838B (zh) * | 2018-08-16 | 2020-09-22 | 大连民族大学 | 道路行人分类系统 |
CN109034120B (zh) * | 2018-08-27 | 2022-05-10 | 合肥工业大学 | 面向智能设备自主行为的场景理解方法 |
CN110378178B (zh) * | 2018-09-30 | 2022-01-28 | 毫末智行科技有限公司 | 目标跟踪方法及装置 |
US10878580B2 (en) * | 2018-10-15 | 2020-12-29 | Tusimple, Inc. | Point cluster refinement processing of image data for LiDAR-based vehicle tracking system and method |
CN109544604B (zh) * | 2018-11-28 | 2023-12-01 | 深圳拓扑视通科技有限公司 | 基于认知网络的目标跟踪方法 |
CN109712388B (zh) * | 2019-01-24 | 2021-03-30 | 华南理工大学 | 一种非机动车或行人的过街意图检测系统及方法 |
CN109859527A (zh) * | 2019-01-30 | 2019-06-07 | 杭州鸿泉物联网技术股份有限公司 | 一种非机动车转弯预警方法及装置 |
CN112242069B (zh) | 2019-07-17 | 2021-10-01 | 华为技术有限公司 | 一种确定车速的方法和装置 |
CN112572462B (zh) | 2019-09-30 | 2022-09-20 | 阿波罗智能技术(北京)有限公司 | 自动驾驶的控制方法、装置、电子设备及存储介质 |
US11899454B2 (en) | 2019-11-26 | 2024-02-13 | Nissan North America, Inc. | Objective-based reasoning in autonomous vehicle decision-making |
US11635758B2 (en) | 2019-11-26 | 2023-04-25 | Nissan North America, Inc. | Risk aware executor with action set recommendations |
US11613269B2 (en) | 2019-12-23 | 2023-03-28 | Nissan North America, Inc. | Learning safety and human-centered constraints in autonomous vehicles |
WO2021134357A1 (zh) * | 2019-12-30 | 2021-07-08 | 深圳元戎启行科技有限公司 | 感知信息处理方法、装置、计算机设备和存储介质 |
WO2021134169A1 (zh) * | 2019-12-30 | 2021-07-08 | 华为技术有限公司 | 一种轨迹预测方法及相关设备 |
US11577746B2 (en) | 2020-01-31 | 2023-02-14 | Nissan North America, Inc. | Explainability of autonomous vehicle decision making |
US11714971B2 (en) | 2020-01-31 | 2023-08-01 | Nissan North America, Inc. | Explainability of autonomous vehicle decision making |
US11782438B2 (en) * | 2020-03-17 | 2023-10-10 | Nissan North America, Inc. | Apparatus and method for post-processing a decision-making model of an autonomous vehicle using multivariate data |
US11904854B2 (en) | 2020-03-30 | 2024-02-20 | Toyota Research Institute, Inc. | Systems and methods for modeling pedestrian activity |
CN111497840B (zh) * | 2020-04-27 | 2021-04-16 | 清华大学 | 车辆-行人碰撞风险域的计算方法及安全评价系统 |
CN111785009A (zh) * | 2020-07-20 | 2020-10-16 | 华录易云科技有限公司 | 基于视频检测的行人过街主动预警方法及系统 |
CN111907520B (zh) * | 2020-07-31 | 2022-03-15 | 东软睿驰汽车技术(沈阳)有限公司 | 行人姿态识别方法、装置及无人驾驶汽车 |
CN112015178B (zh) * | 2020-08-20 | 2022-10-21 | 中国第一汽车股份有限公司 | 一种控制方法、装置、设备及存储介质 |
CN112009470B (zh) * | 2020-09-08 | 2022-01-14 | 科大讯飞股份有限公司 | 车辆行驶控制方法、装置、设备及存储介质 |
CN112131756B (zh) * | 2020-10-10 | 2021-04-30 | 清华大学 | 一种考虑个体激进度的行人穿行场景仿真方法 |
CN115384545A (zh) * | 2021-05-25 | 2022-11-25 | 华为技术有限公司 | 控制方法和装置 |
CN113561974B (zh) * | 2021-08-25 | 2023-11-24 | 清华大学 | 基于车辆行为交互与道路结构耦合的碰撞风险预测方法 |
CN114475587B (zh) * | 2022-01-30 | 2024-04-30 | 重庆长安汽车股份有限公司 | 引入目标行为及碰撞概率的风险评估算法 |
CN116186336B (zh) * | 2023-03-01 | 2024-08-16 | 丰田自动车株式会社 | 驾驶数据采集与标定方法、装置及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102096803A (zh) * | 2010-11-29 | 2011-06-15 | 吉林大学 | 基于机器视觉的行人安全状态识别系统 |
CN104573646A (zh) * | 2014-12-29 | 2015-04-29 | 长安大学 | 基于激光雷达和双目相机的车前行人检测方法及系统 |
EP2883769A2 (de) * | 2013-12-12 | 2015-06-17 | Robert Bosch Gmbh | Verfahren und Vorrichtung zur Querführung eines Kraftfahrzeugs, insbesondere zur Ausweichunterstützung |
CN104802796A (zh) * | 2014-01-27 | 2015-07-29 | 罗伯特·博世有限公司 | 用于运行驾驶员辅助系统的方法以及驾驶员辅助系统 |
CN104915628A (zh) * | 2014-03-14 | 2015-09-16 | 株式会社理光 | 基于车载相机的场景建模进行运动行人预测的方法和装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3079855B2 (ja) * | 1993-10-08 | 2000-08-21 | トヨタ自動車株式会社 | 車両用歩行者検知警報システム |
-
2016
- 2016-09-07 CN CN201610806022.6A patent/CN106428000B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102096803A (zh) * | 2010-11-29 | 2011-06-15 | 吉林大学 | 基于机器视觉的行人安全状态识别系统 |
EP2883769A2 (de) * | 2013-12-12 | 2015-06-17 | Robert Bosch Gmbh | Verfahren und Vorrichtung zur Querführung eines Kraftfahrzeugs, insbesondere zur Ausweichunterstützung |
CN104802796A (zh) * | 2014-01-27 | 2015-07-29 | 罗伯特·博世有限公司 | 用于运行驾驶员辅助系统的方法以及驾驶员辅助系统 |
CN104915628A (zh) * | 2014-03-14 | 2015-09-16 | 株式会社理光 | 基于车载相机的场景建模进行运动行人预测的方法和装置 |
CN104573646A (zh) * | 2014-12-29 | 2015-04-29 | 长安大学 | 基于激光雷达和双目相机的车前行人检测方法及系统 |
Non-Patent Citations (1)
Title |
---|
"雷达与视频相融合的行人检测技术研究";马超奇;《国防科学技术大学硕士学位论文》;20151130;第1-61页 * |
Also Published As
Publication number | Publication date |
---|---|
CN106428000A (zh) | 2017-02-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106428000B (zh) | 一种车辆速度控制装置和方法 | |
Gupta et al. | Deep learning for object detection and scene perception in self-driving cars: Survey, challenges, and open issues | |
CN108909624B (zh) | 一种基于单目视觉的实时障碍物检测和定位方法 | |
Zhang et al. | A framework for turning behavior classification at intersections using 3D LIDAR | |
US20240017746A1 (en) | Assessing present intentions of an actor perceived by an autonomous vehicle | |
Chavez-Garcia | Multiple sensor fusion for detection, classification and tracking of moving objects in driving environments | |
Wang et al. | Deep understanding of big geospatial data for self-driving: Data, technologies, and systems | |
Mannion | Vulnerable road user detection: state-of-the-art and open challenges | |
Zhao et al. | Improving autonomous vehicle visual perception by fusing human gaze and machine vision | |
Dong et al. | An enhanced motion planning approach by integrating driving heterogeneity and long-term trajectory prediction for automated driving systems: A highway merging case study | |
Benterki et al. | Driving intention prediction and state recognition on highway | |
Fatseas et al. | Neural network based multiple object tracking for automotive FMCW radar | |
Zhang et al. | Prediction of Pedestrian Risky Level for Intelligent Vehicles | |
Prarthana et al. | A Comparative Study of Artificial Intelligence Based Vehicle Classification Algorithms Used to Provide Smart Mobility | |
Lai et al. | Sensor fusion of camera and MMW radar based on machine learning for vehicles | |
US12046013B2 (en) | Using relevance of objects to assess performance of an autonomous vehicle perception system | |
CN115565388A (zh) | 基于多通道车辆检测与立体特征标注的交通灯控制方法 | |
Jawed et al. | Data-driven vehicle trajectory forecasting | |
Maurya et al. | Pedestrian detection and vulnerability decision in videos | |
Bi et al. | Multimodal sensor collaborative information sensing technology | |
Bieshaar et al. | Cyclist Motion State Forecasting-Going beyond Detection | |
Englund | Aware and Intelligent Infrastructure for Action Intention Recognition of Cars and Bicycles. | |
Fekri et al. | On the Safety of Autonomous Driving: A Dynamic Deep Object Detection Approach | |
Lee et al. | Multi-task UNet architecture for end-to-end autonomous driving | |
Yang | Development of obstacle avoidance for autonomous vehicles and an optimization scheme for the artificial potential field method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |