驾驶员辅助系统及其控制方法
技术领域
本公开涉及驾驶员辅助系统,并且更具体地,涉及能够检测位于车辆前方的行人的驾驶员辅助系统。
背景技术
近年来,已经开发出了在驾驶员无法感测外部情形的情况下,设置在车辆前部的相机从相机所拍摄的图像中检测行人并且通知驾驶员在车辆前方存在行人的系统。
另外,还开发出了使用设置在车辆前方的雷达感测车辆前方的物体并且通知驾驶员在车辆前方存在行人的系统。
然而,由于在设置在车辆前部的雷达使用三维坐标系(X,Y,Z)感测物体的同时 通过相机所获取的图像获取二维信息,因此需要通过雷达和相机信息的融合来提高跟 踪物体的位置和移动的准确度的技术。
发明内容
因此,本公开的一方面是提供一种驾驶员辅助系统及其控制方法,在该驾驶员辅助系统及其控制方法中,检测位于车辆前方的静止障碍物并且设置该静止障碍物周围 的关注范围(range of interest,ROI),使用雷达来确定位于ROI内的行人候选并且使 用相机来检测行人候选为行人。
本公开的另外的方面将在随后的描述中被部分地阐明,并且可以通过本公开的实践而获知。
根据本公开的一方面,一种驾驶员辅助系统包括:图像传感器,该图像传感器被安装到车辆以具有所述车辆前方的视场,并且被配置为获取图像数据;雷达,该雷达 被安装到所述车辆以具有朝向所述车辆外部的感测场,并且被配置为获取雷达数据; 以及控制器,该控制器包括至少一个处理器,在通信上连接到所述图像传感器和所述 雷达,并且被配置为处理所述图像传感器获取的所述图像数据和所述雷达获取的所述 雷达数据。所述控制器基于所述图像数据和所述雷达数据中的至少一个来检测以静止 方式位于所述车辆前方的静止障碍物,基于所述雷达数据确定所述静止障碍物的位置 周围的监测范围,基于所述雷达数据识别存在于所述监测范围内的物体,基于所述物 体在朝向所述车辆行驶的车道的方向上的速度来确定所述物体为碰撞候选,并且基于 所述物体的由所述图像传感器获取的图像数据来确定所述碰撞候选是否是行人。
所述控制器可以基于确定被确定为所述行人的所述碰撞候选朝向所述车辆行驶的车道移动,将用于控制所述车辆的制动的制动信号或用于控制所述车辆的转向的转 向信号发送到所述车辆。
所述控制器可以基于所述雷达数据确定所述静止障碍物的位置信息,并且可以基于所述位置信息将对应于围绕所述静止障碍物的预设角度并且从自所述车辆到所述 静止障碍物的第一距离延伸到从所述第一距离起在远离所述车辆移动的方向上延伸 达预设距离的第二距离的范围确定为所述监测范围。
所述控制器可以基于所述雷达数据和所述图像数据中的至少一个来确定所述静止障碍物的长度、宽度和高度中的至少一个。
所述控制器可以基于所述静止障碍物的长度、宽度和高度中的至少一个来更新所述预设距离和所述预设角度中的至少一个,使得所述监测范围包括所述静止障碍物所 在的范围以及由于所述静止障碍物而被遮挡的后方范围。
随着所述车辆接近所述静止障碍物,所述控制器可以将所述预设距离更新成减小。
随着所述车辆接近所述静止障碍物,所述控制器可以将所述预设角度更新成增大。
所述控制器可以在从所述雷达数据和所述图像数据中的至少一个识别的物体当中将相对于所述车辆的速度等于所述车辆的速度的物体识别为所述静止障碍物。
所述控制器可以将所述碰撞候选的图像数据与预先存储的行人辨识数据(pedestrian distinguishing data)进行比较,以确定所述碰撞候选是否是行人。
所述控制器可以基于所述图像数据和所述雷达数据中的至少一个来确定所述行人的相对位置信息和相对速度信息,并且可以基于所述行人的相对位置信息和相对速 度信息中的至少一个来确定所述车辆和所述行人之间的碰撞时间(TTC)。
所述控制器可以基于所述TTC和预设的基准时间之间的比较结果来将用于控制所述车辆的制动的制动信号或用于控制所述车辆的转向的转向信号发送到所述车辆。
根据本公开的另一方面,提供了一种驾驶员辅助系统的控制方法,该驾驶员辅助系统包括:图像传感器,该图像传感器被安装到车辆以具有所述车辆前方的视场,并 且被配置为获取图像数据;雷达,该雷达被安装到所述车辆以具有朝向所述车辆外部 的感测场,并且被配置为获取雷达数据;以及控制器,该控制器包括至少一个处理器, 在通信上连接到所述图像传感器和所述雷达,并且被配置为处理所述图像传感器获取 的所述图像数据和所述雷达获取的所述雷达数据。该控制方法包括以下步骤:基于所 述图像数据和所述雷达数据中的至少一个来检测以静止方式位于所述车辆前方的静 止障碍物;基于所述雷达数据确定所述静止障碍物的位置周围的监测范围;基于所述 雷达数据识别存在于所述监测范围内的物体;基于所述物体在朝向所述车辆行驶的车 道的方向上的速度来确定所述物体为碰撞候选;以及基于所述物体的所述图像数据来 确定所述碰撞候选是否是行人。
该控制方法还可以包括以下步骤:由所述控制器基于确定被确定为所述行人的所述碰撞候选朝向所述车辆行驶的车道移动,将用于控制所述车辆的制动的制动信号或 用于控制所述车辆的转向的转向信号发送到所述车辆。
确定所述监测范围的步骤可以包括以下步骤:基于所述雷达数据确定所述静止障碍物的位置信息;以及基于所述位置信息,将对应于围绕所述静止障碍物的预设角度 并且从自所述车辆到所述静止障碍物的第一距离延伸到从所述第一距离起在远离所 述车辆移动的方向上延伸达预设距离的第二距离的范围确定为所述监测范围。
该控制方法还可以包括以下步骤:基于所述雷达数据和所述图像数据中的至少一个来确定所述静止障碍物的长度、宽度和高度中的至少一个。
该控制方法还可以包括以下步骤:基于所述静止障碍物的长度、宽度和高度中的至少一个来更新所述预设距离和所述预设角度中的至少一个,使得所述监测范围包括 所述静止障碍物所在的范围以及由于所述静止障碍物而被遮挡的后方范围。
该控制方法还可以包括以下步骤:随着所述车辆接近所述静止障碍物,将所述预设距离更新成减小。
该控制方法还可以包括以下步骤:随着所述车辆接近所述静止障碍物,将所述预设角度更新成增大。
检测所述静止障碍物的步骤可以包括以下步骤:在从所述雷达数据和所述图像数据中的至少一个识别的物体当中将相对于所述车辆的速度等于所述车辆的速度的物 体识别为所述静止障碍物。
该控制方法还可以包括以下步骤:通过将所述碰撞候选的图像数据与预先存储的行人辨识数据进行比较来确定所述碰撞候选是否是行人。
该控制方法还可以包括以下步骤:基于所述图像数据和所述雷达数据中的至少一个来确定所述行人的相对位置信息和相对速度信息;以及基于所述行人的相对位置信 息和相对速度信息中的至少一个来确定所述车辆和所述行人之间的碰撞时间(TTC)。
该控制方法还可以包括以下步骤:基于所述TTC和预设的基准时间之间的比较 结果来将用于控制所述车辆的制动的制动信号或用于控制所述车辆的转向的转向信 号发送到所述车辆。
根据本公开的又一方面,一种驾驶员辅助系统包括:图像传感器,该图像传感器被安装到车辆以具有所述车辆前方的视场,并且被配置为获取图像数据;雷达,该雷 达被安装到所述车辆以具有朝向所述车辆外部的感测场,并且被配置为获取雷达数 据;以及控制器,该控制器包括至少一个处理器,在通信上连接到所述图像传感器和 所述雷达,并且被配置为处理所述图像传感器获取的所述图像数据和所述雷达获取的 所述雷达数据。所述控制器基于所述图像数据和所述雷达数据中的至少一个来检测障 碍物,基于所述雷达数据识别位于所述障碍物后方的物体,基于所述物体在朝向所述 车辆行驶的车道的方向上的速度来确定所述物体为碰撞候选,并且基于所述物体的由 所述图像传感器获取的所述图像数据来确定所述碰撞候选是否是行人。
所述控制器可以基于所述雷达数据确定所述障碍物的位置信息,并且可以并且基于所述位置信息将对应于围绕所述障碍物的预设角度并且从自所述车辆到所述障碍 物的第一距离延伸到从所述第一距离起在远离所述车辆移动的方向上延伸达预设距 离的第二距离的范围确定为监测范围。
所述控制器可以将所述碰撞候选的图像数据与预先存储的行人辨识数据进行比较,以确定所述碰撞候选是否是行人,并且所述控制器可以基于所述图像数据和所述 雷达数据中的至少一个来确定所述行人的相对位置信息和相对速度信息,并且基于所 述行人的相对位置信息和相对速度信息中的至少一个来确定所述车辆和所述行人之 间的碰撞时间(TTC)。
所述控制器可以基于所述TTC和预设的基准时间之间的比较结果来将用于控制所述车辆的制动的制动信号或用于控制所述车辆的转向的转向信号发送到所述车辆。
根据本公开的另一方面,一种驾驶员辅助系统的控制方法包括以下步骤:使用被安装到车辆以具有朝向所述车辆外部的感测场的雷达和图像传感器中的至少一个,基 于来自所述图像传感器的图像数据和来自所述雷达的雷达数据中的至少一个来检测 障碍物;由在通信上连接到所述雷达的处理器,基于所述雷达数据识别位于所述障碍 物后方的物体;由所述处理器基于所述物体在朝向所述车辆行驶的车道的方向上的速 度来确定所述物体为碰撞候选;以及响应于确定所述物体是所述碰撞候选,基于所述 物体的所述图像数据来确定所述碰撞候选是否是行人。
该控制方法还可以包括以下步骤:基于所述雷达数据确定所述障碍物的位置信息;以及基于所述位置信息,通过确定对应于围绕所述障碍物的预设角度并且从自所 述车辆到所述障碍物的第一距离延伸到从所述第一距离起在远离所述车辆移动的方 向上延伸达预设距离的第二距离的范围来确定监测范围。识别位于所述障碍物后方的 所述物体的步骤可以包括以下步骤:识别位于所述监测范围内并且位于所述障碍物后 方的所述物体。
该控制方法还可以包括以下步骤:基于所述图像数据和所述雷达数据中的至少一个来确定所述行人的相对位置信息和相对速度信息;基于所述行人的相对位置信息和 相对速度信息中的至少一个来确定所述车辆和所述行人之间的碰撞时间(TTC);以 及基于所述TTC和预设的基准时间之间的比较结果来将用于控制所述车辆的制动的 制动信号或用于控制所述车辆的转向的转向信号发送到所述车辆。
附图说明
根据以下结合附图对实施方式的描述,本公开的这些和/或其它方面将变得明显并且更容易理解,在附图中:
图1例示了示出根据实施方式的车辆的组件的配置;
图2例示了根据实施方式的驾驶员辅助系统的配置;
图3例示了根据实施方式的驾驶员辅助系统中包括的相机和雷达的感测范围;
图4例示了配备有根据实施方式的驾驶员辅助系统的车辆行驶的情形;
图5和图6是用于描述根据实施方式的驾驶员辅助系统的关注范围(ROI)的视 图;以及
图7是与利用根据实施方式的驾驶员辅助系统的控制方法检测行人的情况相关的流程图。
具体实施方式
相似的附图标记始终是指相似的元件。本文中并未描述实施方式中的所有元件,并且将省略本公开所属领域中的常见内容或者实施方式之间重复的内容。诸如“部 件”、“模块”、“构件”和“块”这样的术语在本文中使用时,可以用软件或硬件来实现。 根据实施方式,多个“部件”、“模块”、“构件”或“块”可以被实现为单个元件,或者单 个“部件”、“模块”、“构件”或“块”可以包括多个元件。
在整个说明书中,当特定部件被描述为“连接”到另一部件时,在本文中包括该特定部件间接连接到另一部件的情况以及该特定部件直接连接到另一部件的情况二者, 并且间接连接包括经由无线网络进行的连接。
当特定部件被描述为“包括”特定元件时,这表示该特定部件还可以包括另一元件而不是排除了该另一元件,除非另有特别描述。
在整个说明书中,当特定构件被描述为在另一构件“上”时,在本文中包括在这两个构件之间存在又一构件的情况以及该特定构件与该另一构件接触的情况二者。
使用诸如“第一”和“第二”这样的术语来将一个元件与另一元件区分开,并且元件不受以上提到的术语的限制。
除非上下文另有明确指示,否则单数表达也包括复数表达。
用于步骤的附图标记是为了描述的方便而使用的,并不旨在描述这些步骤的顺序。除非上下文清楚地描述了特定顺序,否则可以按照与所述的顺序不同的顺序执行 这些步骤。
下文中,将参照附图来描述本公开的动作原理和实施方式。
图1例示了根据实施方式的车辆1的组件的配置。
参照图1,车辆1包括发动机10、变速器20、制动装置30和转向装置40。发动 机10可以包括汽缸和活塞并且产生供车辆1行驶的动力。另选地或附加地,发动机 10可以包括被配置成产生使车辆1移动的动力的诸如包括转子和定子的电机这样的 电动马达或其它马达。变速器20可以包括多个齿轮并且将发动机10所产生的动力传 递到车轮。制动装置30可以利用与车轮的摩擦使车辆1减速或停止。制动装置30 可以包括进行操作以使车辆减速或停止的一个或更多个刹车垫和刹车蹄片。转向装置 40可以改变车辆1行驶的方向。转向装置40可以包括进行操作以改变车辆1的车轮 的方向或定向的联杆。
车辆1可以包括多个电子组件。例如,车辆1还包括发动机管理系统(EMS)11、 也被称为变速器控制单元(TCU)21的变速器控制器、也被称为电子制动控制模块 (ECBM)31的电子制动控制器、电子动力转向(EPS)装置41、车身控制模块(BCM) 51和驾驶员辅助系统(DAS)100。
EMS 11可以响应于驾驶员利用加速器踏板进行的加速意图或者来自DAS 100的请求而控制发动机10。例如,EMS 11可以控制发动机10的转矩。
TCU 21可以响应于驾驶员利用换档杆进行的换档命令和/或车辆1的行驶速度而控制变速器20。例如,TCU 21可以调节车辆1的发动机10与车轮的传动比。
电子制动控制模块31可以响应于驾驶员利用制动踏板提供的制动意图或命令和/或车轮的滑动而控制制动装置30。例如,电子制动控制模块31可以响应于在车辆1 被制动时感测到车轮的滑动而暂时释放车轮的制动(防抱死制动系统(ABS))。电子 制动控制模块31可以响应于在车辆1被转向时感测到过度转向和/或转向不足而选择 性地释放车轮的制动(电子稳定性控制(ESC))。此外,电子制动控制模块31可以 响应于在车辆1被驾驶时感测到车轮的滑动而使车轮被暂时制动(牵引控制系统 (TCS))。
EPS装置41可以辅助转向装置40的操作,使得驾驶员可以响应于驾驶员利用方 向盘提供的转向意图或命令而轻松地操纵方向盘。例如,EPS装置41可以辅助转向 装置40的操作,使得转向力在低速行驶或停车期间减小并且在高速行驶期间增大。
BCM 51可以控制为驾驶员提供便利或者保证驾驶员安全的电子组件的操作。例如,BCM 51可以控制头灯、雨刷器、仪表或者其它组开关、多功能开关、转向信号 灯等。
DAS 100可以辅助驾驶员对车辆1的操纵(行驶、制动、转向)。例如,DAS 100 可以感测车辆1周围的环境(例如,其它车辆、行人、车道、道路标志)并且响应于 感测到的环境而控制车辆1的行驶和/或制动和/或转向。
DAS 100可以为驾驶员提供各种功能。例如,DAS 100可以提供车道偏离警告(LDW)、车道保持辅助(LKA)、远光辅助(HBA)、自主紧急制动(AEB)、交通 标志识别(TSR)、智能巡航控制(SCC)、盲点检测(BSD)等。
DAS 100包括:相机模块101,该相机模块101包括被配置为获取车辆1周围(例 如,车辆1外部和周围的区域)的图像数据的图像传感器;以及雷达模块102,该雷 达模块102被配置为获取车辆1周围(例如,车辆1外部和周围的区域)的物体数据。
相机模块101可以包括相机101a或多个相机和电子控制单元(ECU)101b,并 且可以拍摄车辆1前方视场的图像并检测其它车辆、行人、车道、道路标志等。
雷达模块102可以包括雷达102a或多个雷达和ECU 102b并且获取车辆1周围 的物体(例如,其它车辆、行人、骑行人(cyclist)和其它物体)的相对位置、相对 速度等。
以上列出的电子组件可以经由车辆通信网络(NT)彼此通信。例如,电子组件 可以经由以太网(thernet)、媒体导向系统传输(MOST)、Flexray、控制器区域网络 (CAN)、本地互连网络(LIN)等发送和接收数据。例如,DAS 100可以经由车辆 通信网络NT将驱动控制信号、制动信号和转向信号分别发送到EMS 11、电子制动 控制模块31和EPS装置41。
图2例示了根据实施方式的DAS 100的配置。图3例示了根据实施方式的DAS 100中包括的前视相机110以及雷达120和130的感测范围。
如图2中例示的,车辆1可以包括制动系统32、转向系统42和DAS 100。
制动系统32可以包括以上已参照图1描述的电子制动控制模块31(参见图1), 并且转向系统42可以包括EPS装置41(参见图1)和转向装置40(参见图1)。
DAS 100可以包括前视相机110、前置雷达120和多个角部雷达130中的一个或 更多个。
如图3中例示的,前视相机110可以具有在车辆1的向前方向/区域上延伸的前 视场110a。例如,前视相机110可以被设置在车辆1的前挡风玻璃处。
前视相机110可以拍摄车辆1前方视场的图像,并且可以获取车辆1前方视场的 图像数据。车辆1前方视场的图像数据可以包括位于车辆1前方的其它车辆、行人、 骑行人、车道或物体的位置信息。
前视相机110可以包括多个镜头和图像传感器。图像传感器可以包括多个被配置为将光转换成电信号的光电二极管,其中,所述多个光电二极管可以被设置成二维矩 阵。
前视相机110可以电连接到控制器140。例如,前视相机110可以经由车辆通信 网络NT连接到控制器140,经由硬线连接到控制器140,或者经由印刷电路板(PCB) 连接到控制器140。
前视相机110可以将车辆1前方视场的图像数据发送到控制器140。
如图3中例示的,前置雷达120可以具有朝向车辆1前方区域的感测场120a。 例如,前置雷达120可以被设置在车辆1的护栅或保险杠处。
前置雷达120可以包括发射天线(或发射天线阵列)和接收天线(或接收天线阵列),该发射天线(或发射天线阵列)被配置为将发射波朝向车辆1前方区域辐射, 该接收天线(或接收天线阵列)被配置为接收被物体反射的反射波。前置雷达120 可以从发射天线所发射的发射波和接收天线所接收的反射波获取前置雷达数据。前置 雷达数据可以包括关于位于车辆1前方的其它车辆或行人的距离信息和速度信息。前 置雷达120可以基于发射波和反射波之间的相位差(或时间差)计算与物体的相对距 离,并且可以基于发射波和反射波之间的频率差计算物体的相对速度。
例如,前置雷达120可以经由车辆通信网络NT、硬线或PCB连接到控制器140。 前置雷达120可以将前置雷达数据发送到控制器140。
多个角部雷达130包括设置在车辆1右前侧的第一角部雷达131、设置在车辆1 左前侧的第二角部雷达132、设置在车辆1右后侧的第三角部雷达133和设置在车辆 1左后侧的第四角部雷达134。
如图3中例示的,第一角部雷达131可以具有朝向车辆1右前侧区域的感测场131a。例如,第一角部雷达131可以被设置在车辆1的前保险杠的右侧。第二角部雷 达132可以具有朝向车辆1左前侧区域的感测场132a。例如,第二角部雷达132可 以被设置在车辆1的前保险杠的左侧。第三角部雷达133可以具有朝向车辆1右后侧 区域的感测场133a。例如,第三角部雷达133可以被设置在车辆1的后保险杠的右 侧。第四角部雷达134可以具有朝向车辆1左后侧区域的感测场134a。例如,第四 角部雷达134可以被设置在车辆1的后保险杠的左侧。
第一角部雷达131、第二角部雷达132、第三角部雷达133和第四角部雷达134 中的每一个可以包括发射天线和接收天线。第一角部雷达131、第二角部雷达132、 第三角部雷达133和第四角部雷达134可以分别获取第一角部雷达数据、第二角部雷 达数据、第三角部雷达数据和第四角部雷达数据。第一角部雷达数据可以包括关于位 于车辆1右前侧的其它车辆或行人(下文中被称为“物体”)的距离信息和速度信息。 第二角部雷达数据可以包括关于位于车辆1左前侧的物体的距离信息和速度信息。第 三角部雷达数据和第四角部雷达数据可以分别包括位于车辆1的右后侧的物体的距 离信息和速度信息以及位于车辆1的左后侧的物体的距离信息和速度信息。
例如,第一角部雷达131、第二角部雷达132、第三角部雷达133和第四角部雷 达134中的每一个可以经由车辆通信网络NT、硬线或PCB连接到控制器140。第一 角部雷达131、第二角部雷达132、第三角部雷达133和第四角部雷达134可以分别 将第一角部雷达数据、第二角部雷达数据、第三角部雷达数据和第四角部雷达数据发 送到控制器140。
控制器140可以包括相机模块101(参见图1)的ECU 101b(参见图1)和/或雷 达模块102(参见图1)的ECU 102b(参见图1)和/或单独的集成ECU。
控制器140包括处理器141和存储器142。
处理器141可以处理前视相机110的前视图像数据、前置雷达120的前置雷达数 据和多个角部雷达130的角部雷达数据,并且可以生成用于分别控制制动系统32和 转向系统42的制动信号和转向信号。例如,处理器141可以包括:图像信号处理器, 该图像信号处理器被配置为处理前视相机110的前视图像数据;和/或数字信号处理 器,该数字信号处理器被配置为处理雷达120和130的雷达数据;和/或微控制单元 (MCU),该MCU被配置为生成制动信号和转向信号。
处理器141可以基于前视相机110的前视图像数据、前置雷达120的前置雷达数 据和多个角部雷达130的角部雷达数据来感测车辆1前方的物体(例如,其它车辆、 行人、骑行人等)。
具体地,处理器141可以基于前置雷达120的前置雷达数据和多个角部雷达130 的角部雷达数据来获取车辆1前方的物体的位置信息(距离和方向)和速度信息(相 对速度)。
也就是说,处理器141可以基于雷达120和130的雷达数据来获取相对于车辆1 的车辆1前方的物体的位置信息(距离和方向)和速度信息(速度)。
处理器141可以基于前视相机110的前视图像数据来获取车辆1前方的物体的位置信息(方向)和类型信息(例如,物体是否是另一车辆、行人等)。另外,处理器 141可以将从前视图像数据中感测到的物体与从前置雷达数据中感测到的物体进行 匹配,并且可以基于匹配的结果来获取车辆1前方的物体的类型信息、位置信息和速 度信息。
处理器141可以基于关于车辆1前方的物体的类型信息和位置信息来生成制动信号和转向信号。
例如,处理器141可以基于车辆1前方的物体的位置信息(距离)和速度信息(相 对速度)来计算车辆1与车辆1前方的物体之间的碰撞时间(TTC),并且可以基于 TTC与预定的基准时间之间的比较结果来警告驾驶员存在碰撞或者向制动系统32发 送制动信号。响应于比预定的第一基准时间短的TTC,处理器141可以利用音频和/ 或显示器来输出警告。响应于比预定的第二基准时间短的TTC,处理器141可以向 制动系统32发送优先制动信号。响应于比预定的第三基准时间短的TTC,处理器141 可以向制动系统32发送紧急制动信号。在这种情况下,第二基准时间比第一基准时 间短,并且第三基准时间比第二基准时间短。
在另一个示例中,处理器141可以基于车辆1前方的物体的速度信息(相对速度)来计算碰撞距离(DTC),并且可以基于DTC和与车辆1前方的物体的距离之间的比 较结果来警告驾驶员存在碰撞或者向制动系统32发送制动信号。
另外,处理器141可以基于TTC与预定的基准时间之间的比较结果来警告驾驶 员存在碰撞或者向转向系统42发送转向信号。响应于比预定的第一基准时间短的 TTC,处理器141可以利用音频和/或显示器来输出警告。响应于比预定的第二基准 时间短的TTC,处理器141可以向转向系统42发送优先转向信号。响应于比预定的 第三基准时间短的TTC,处理器141可以向转向系统42发送紧急转向信号。在这种 情况下,第二基准时间比第一基准时间短,并且第三基准时间比第二基准时间短。
在另一个示例中,处理器141可以基于车辆1前方的物体的速度信息(相对速度)来计算DTC,并且可以基于DTC和与车辆1前方的物体的距离之间的比较结果来警 告驾驶员存在碰撞或者向转向系统42发送转向信号。
另外,处理器141可以基于多个角部雷达130的角部雷达数据来获取相对于车辆 1的车辆1各侧(右前侧、左前侧、右后侧、左后侧)的物体的位置信息(距离和方 向)和速度信息(速度)。
存储器142可以存储用于使得处理器141能够处理图像数据的程序和/或数据、 用于使得处理器141能够处理雷达数据的程序和/或数据以及用于使得处理器141能 够生成制动信号和/或转向信号的程序和/或数据。
存储器142可以暂时存储从前视相机110接收的图像数据和/或从雷达120和130接收的雷达数据,并且可以暂时存储处理器141处理图像数据和/或雷达数据的结果。
存储器142可以包括诸如闪存、只读存储器(ROM)和可擦除可编程ROM (EPROM)这样的非易失性存储器以及诸如静态随机存取存储器(S-RAM)和动态 RAM(D-RAM)这样的易失性存储器。
图4例示了配备有根据实施方式的DAS 100的车辆1行驶的情形。
如图4中例示的,在配备有根据实施方式的DAS 100的车辆1行驶(例如,移 动或处于移动状态)的情形下,静止障碍物2(例如,停放的车辆)可以以静止方式 位于车辆1的前侧(例如,车辆1的右前侧)。
在这种情况下,静止障碍物2是以静止方式位于车辆1的左前侧或右前侧的物体。静止障碍物2可以包括另一车辆(例如,停放或闲置的车辆)、道路上的障碍物(例 如,建筑物或其它障碍物)等。
以这种方式,当静止障碍物2以静止方式位于车辆1的左前侧或右前侧时,从车 辆1前方看时,可能存在由于静止障碍物2而导致车辆1的驾驶员的视野被遮挡的后 方区域或范围。
在这种情况下,由于静止障碍物2而被遮挡的后方范围可以对应于当从车辆1 中在车辆1的行驶方向上看时由于静止障碍物2而被遮挡的区域。后方范围可以处于 车辆1相对于静止障碍物2行驶的方向(例如,处于车辆1的行驶方向上的静止障碍 物2的前方,诸如图4中例示性地示出物体3的位置)。
在静止障碍物2的后方范围中存在物体(行人、障碍物等)3并且位于后方范围 中的物体3正进入车辆1行驶的道路的情形下,车辆1可能无法检测到位于静止障碍 物2的后方区域中并由此从车辆1的视场来看被至少部分遮挡的物体3,并且可能导 致车祸。
另外,在传统的行人检测技术的情况下,通过相机所获取的图像数据和类似于图像数据的雷达数据的融合来检测行人。然而,当位于静止障碍物的后方范围中的行人 突然进入车辆1行驶的道路时,在一些情况下,相机比雷达更晚地感测到行人,并且 在行人检测性能方面可能存在问题。
因此,DAS 100的处理器141可以首先基于前视相机110的前视图像数据以及雷 达120和130的雷达数据中的至少一个来检测以静止方式位于车辆1前方的静止障碍 物2,可以基于雷达120和130的雷达数据确定静止障碍物2的相对位置信息(距离、 方向),并且可以基于关于静止障碍物2的相对位置信息确定静止障碍物2的位置周 围的监测范围(或关注范围(ROI))。以下将更详细地描述监测范围或ROI。
以这种方式,DAS 100的雷达120和130可以获取与监测范围或ROI相关的雷 达数据,并且处理器141可以基于雷达120和130的雷达数据来识别位于后方范围中 并且由于静止障碍物2而被遮挡的物体3。
也就是说,即使在物体3由于静止障碍物2而从视线来看被至少部分地遮挡并因此不能够通过前视相机110获取物体3的图像数据的情形下,DAS 100可以已经预先 通过雷达120和130获取ROI的雷达数据,并且可以从由于静止障碍物2而被遮挡 的后方范围中识别可能突然进入车辆1行驶的道路的物体3。
具体地,根据实施方式的处理器141可以基于雷达120和130的雷达数据来识别ROI内存在的物体3,并且可以基于雷达数据来获取物体3的相对位置信息(距离和 方向)和速度信息(相对速度)。
在这种情况下,如果识别到的物体3朝向车辆1行驶的道路的速度为预设临界速度或更高速度,则根据实施方式的处理器141可以确定识别到的物体3为被推测是行 人的行人候选。
行人是对应于可能由于与车辆1碰撞而受伤的交通弱势群体(vulnerable roaduser, VRU)的物体。行人对应于根据其运动有可能与车辆1碰撞的物体,并因此成为要使用前视相机110以及雷达120和130检测的目标。除了步行者之外,行人还可以包括 使用诸如自行车、踏板车(scooter)、滑板或摩托车这样的移动装置移动的骑行人。
另外,行人候选对应于被推测是行人的物体。行人候选可以对应于被确定为其朝向车辆1行驶的道路的速度为预设临界速度或更高速度的物体的物体。
也就是说,处理器141可以首先基于雷达数据来识别可以对应于行人的行人候选,使得在随后基于图像数据确认行人候选是行人的情况下,可以更加快速且准确地 检测行人。
一旦基于雷达数据完成了将物体识别为行人候选,根据实施方式的处理器141 就可以控制前视相机110获取行人候选的图像数据。
在这种情况下,前视相机110可以根据处理器141的控制来获取行人候选所在的ROI的图像数据,并且可以基于行人候选的速度信息和行人候选的位置来确定行人候 选偏离静止障碍物2的后方范围或者从静止障碍物2的后方范围中出现的时间点,并 获取所确定的时间点时(在该时间点之后)的行人候选的图像数据。
当作为所获取的行人候选的图像数据和预先存储的行人辨识数据之间的比较结果,确定行人候选对应于(或者是)行人时,根据实施方式的处理器141可以检测行 人候选为行人。
在这种情况下,行人辨识数据是与诸如与普通行人或骑行人对应的特征这样的人的特征相关的数据。行人辨识数据可以被预先存储在存储器142中,并且处理器141 可以通过基于预先存储在行人辨识数据中的特征确定表明行人候选的所获取的图像 数据中的行人候选的特征是否对应于普通行人或骑行人的特征来确定行人候选和行 人是否彼此对应(例如,确定行人候选是否是行人)。
换句话讲,处理器141可以基于物体3朝向车辆1行驶的道路或车道移动的速度 来确定存在于基于雷达数据识别的ROI 500或监测范围内的物体3为行人。通过为了 确定物体3是否是行人而将物体3的图像数据与预先存储的行人辨识数据进行比较, 处理器141可以基于图像数据来重新确定物体3(其已经基于包括移动速度数据的雷 达数据被确定为行人)是否是行人。
以这种方式,DAS 100可以在行人检测方面提供更准确的检测结果。
如上所述,处理器141可以首先(例如,在处理ROI外部的范围或区域的图像 数据之前)处理行人候选可能位于其中的监测范围或ROI的图像数据,使得能够更 迅速且高效地检测位于ROI中的任何行人。
也就是说,因为处理器141可以首先处理车辆1前方的视场的整个图像数据当中的ROI的图像数据并因此减少处理ROI图像数据之前执行的计算量,所以能够更迅 速且高效地检测行人。
即使对于位于静止障碍物2的后方范围中的由于被静止障碍物2遮挡而可能看不见的物体3,DAS 100也可以预先确定监测范围或ROI,并且与对车辆前方的区域执 行行人检测的情况相比,能够减少计算量。以这种方式,能够高效地检测行人。
另外,由于即使对于位于静止障碍物2的后方范围中并且由于被静止障碍物2 遮挡而可能不可见的物体3,DAS 100也可以使用雷达120和130来预先选择行人候 选,因此能够增强通过前视相机110进行行人检测的可靠性。
另外,由于DAS 100可以使用基于雷达120和130的雷达数据获取的行人候选 的速度信息来确定行人候选偏离静止障碍物2的后方范围或者从静止障碍物2的后方 范围中出现的时间点,并且可以在所确定的时间点或者在该时间点之后立即获取行人 候选的图像数据,因此可以获得关于行人的更复杂的检测结果。
下文中,将详细地描述用于识别位于静止障碍物2的后方范围中的物体3的监测范围或ROI。
图5和图6是用于描述根据实施方式的DAS 100的监测范围或ROI 500的视图。
如图5中例示的,在配备有根据实施方式的DAS 100的车辆1沿着车道或道路 行驶的情形下,根据实施方式的处理器141可以接收从前视相机110获取的图像数据 以及从雷达120和130获得的雷达数据。
根据实施方式的处理器141可以基于图像数据和雷达数据中的至少一个来检测以静止方式位于车辆1前方的静止障碍物2。静止障碍物2已经在图5和图6中被例 示为以静止方式位于车辆1的右前侧,但是实施方式不限于此。例如,静止障碍物2 也可以以静止方式位于车辆1的左前侧。
在这种情况下,根据实施方式的处理器141可以在从图像数据和雷达数据中的至少一个识别到的物体当中检测其相对于车辆1的速度等于车辆1的速度的物体为静止 障碍物2。
也就是说,处理器141可以确定在从车辆1前方的视场中识别到的多个物体当中的其相对于车辆1的速度不同于车辆1的速度的物体为正在行驶的另一车辆。处理器 141可以仅检测其相对于车辆1的速度等于车辆1的速度的物体为静止障碍物2。
根据实施方式的处理器141可以基于雷达数据来确定静止障碍物2的相对位置信息。在这种情况下,相对位置信息可以包括关于从车辆1到静止障碍物2的距离以及 从车辆1的右横轴(y轴)到静止障碍物2的角度的信息。
下文中,车辆1行驶的方向将被定义为纵向方向(x方向),并且与车辆1行驶 的方向垂直的方向将被定义为横向方向(y方向)。
另外,为了方便说明,在以车辆1为其中心的坐标系中,纵向方向上的轴将被定 义为x轴,并且横向方向上的轴将被定义为y轴。
因此,在以车辆1为其中心的坐标系中,关于静止障碍物2的相对位置信息可以 被指示为(x
Obstacle,y
Obstacle)。另外,从车辆1到静止障碍物2的距离可以被指示为 (r
Obstacle),并且从车辆1的右横轴(y轴)到静止障碍物2的角度可以被指示为
在这种情况下,从作为中心的车辆1到静止障碍物2的距离(r
Obstacle)可以满足 [式1],并且从车辆1的右横轴(y轴)到静止障碍物2的角度
可以满足[式 2]。
[式1]
[式2]
另外,根据实施方式的处理器141可以基于雷达数据和图像数据中的至少一个来确定静止障碍物2的长度、宽度和高度。
也就是说,雷达120和130可以从被静止障碍物2的每个点反射的反射波中获取 包括关于静止障碍物2的长度、宽度和高度的信息的雷达数据,并且处理器141可以 基于所述雷达数据来确定静止障碍物2的长度、宽度和高度。
另外,处理器141可以基于前视相机110的前视图像数据来获取关于车辆1前方 的静止障碍物2的类型信息,并且可以基于所述类型信息来确定静止障碍物2的长度、 宽度和高度。
根据实施方式的处理器141可以基于静止障碍物2的相对位置信息来确定静止障碍物2的位置周围的监测范围或ROI 500。
具体地,处理器141可以基于静止障碍物2的相对位置信息来将范围从对应于从车辆1到静止障碍物2的相对距离的点(r
Obstacle)到从车辆1在远离车辆1移动的方 向上延伸达预设距离常数(d
ROI)的点(r
Obstacle+d
ROI)的范围中的对应于围绕车辆1 的预设角度
的范围确定为监测范围或ROI 500。
也就是说,处理器141可以通过从半径为r
Obstacle+d
ROI并且中心角为
的扇形 中去除半径为r
Obstacle并且中心角为
的扇形来确定监测范围或ROI 500。
在这种情况下,预设距离常数(d
ROI)和预设角度
可以是在设计DAS 100 的阶段中预设的值,并且可以对应于被设置为使得这些值包括静止障碍物2和预料由 于静止障碍物2而被遮挡的后方范围的值。例如,可以基于静止障碍物2的物体类型 (例如,车辆物体类型)来预设这些值,并且可以基于与物体类型关联的平均尺寸(例 如,车辆物体类型的平均尺寸)来预设这些值。
根据实施方式的处理器141可以基于静止障碍物2的长度、宽度和高度中的至少一个来更新预设距离常数(d
ROI)和预设角度
中的至少一个,使得监测范围 或ROI500包括静止障碍物2和由于静止障碍物2而被遮挡的后方范围。
也就是说,处理器141可以考虑到所确定的静止障碍物2的长度、宽度和高度中 的至少一个来更新预设距离常数(d
ROI)和预设角度
中的至少一个,使得监 测范围或ROI 500包括静止障碍物2所处的范围和被遮挡的物体(例如,3)所处的 后方范围。
另外,处理器141可以将预设距离常数(dROI)更新为与所确定的静止障碍物2 的高度成比例地增大。这是因为,随着静止障碍物2的高度更高,由于静止障碍物2 而被遮挡的后方范围会变宽。
也就是说,通过考虑到所确定的静止障碍物2的长度、宽度和高度中的至少一个来更新预设距离常数(d
ROI)和预设角度
中的至少一个,处理器141使得监 测范围或ROI 500能够包括静止障碍物2所处的范围和由于静止障碍物2而被遮挡的 后方范围。
另外,随着车辆1接近静止障碍物2,根据实施方式的处理器141可以将预设距 离常数(d
ROI)更新成减小并且将预设角度
更新成增大。
如图6中例示的,当与图5相比,车辆1的位置更远离静止障碍物2时,图6 中的预设距离常数(d
ROI)大于图5中的预设距离常数(d
ROI),并且图6中的预设角 度
小于图5中的预设角度
也就是说,随着车辆1和静止障碍物2之间的距离(r
Obstacle)减小,更具体地, 随着车辆1和静止障碍物2之间的纵向距离(x
Obstacle)减小,处理器141可以将预设 距离常数(d
ROI)更新成减小并且将预设角度
更新成增大。
这是由于考虑到了雷达120和130的特性。随着车辆1和静止障碍物2之间的距 离增大,雷达120和130所获取的位置信息的误差会增大。也就是说,当车辆1和静 止障碍物2之间的距离(r
Obstacle)大时,处理器141可以将预设距离常数(d
ROI)设 置得更大并且将预设角度
设置得更小,使得关于位于后方范围中的物体3的 位置信息的误差减小。
根据实施方式的处理器141可以基于雷达数据来识别存在于监测范围或ROI 500内的物体3。
也就是说,处理器141可以基于雷达数据来识别存在于监测范围或ROI 500内的物体3。
具体地,处理器141可以基于关于基于雷达数据识别到的物体的相对位置信息来确定对应对象是否存在于监测范围或ROI 500内。
在这种情况下,在以车辆1为其中心的坐标系中,关于基于雷达数据识别的物体的相对位置信息可以被指示为(x
VRU,y
VRU)。另外,从车辆1到物体的距离可以被指 示为(r
VRU),并且从车辆1的右横轴(y轴)到物体的角度可以被指示为
从作为中心的车辆1到物体的距离(r
VRU)可以满足[式3],并且从车辆1的右 横轴(y轴)到物体的角度
可以满足[式4]。
[式3]
[式4]
当基于物体的相对位置信息,从车辆1到物体的距离(r
VRU)落在与从车辆1到 静止障碍物2的相对距离对应的点(r
Obstacle)和从车辆1在远离车辆1的方向上延伸 达预设距离常数(d
ROI)的点(r
Obstacle+d
ROI)之间并且从车辆1的右横轴(y轴)到 物体的角度
落在预设角度
的范围内时,处理器141可以将对应物体 识别为存在于ROI 500内的物体3。
也就是说,当关于物体的相对位置信息满足[式5]和[式6]时,处理器141可以将对应物体识别为存在于ROI 500内的物体3。
[式5]
rObstacle≤rVRU≤rObstacle+dROI
[式6]
当已经被识别为存在于ROI内的物体3朝向车辆1行驶的道路或车道的速度为 预设临界速度或更高速度时,根据实施方式的处理器141可以确定已经被识别为存在 于ROI内的物体3为被推测是行人的行人候选。
也就是说,处理器141可以基于雷达数据来获取关于已经被识别为存在于ROI 内的物体3的速度信息,并且可以基于所获取的速度信息来确定物体3朝向车辆行驶 的道路或车道的速度。
然后,当所确定的物体3朝向车辆1行驶的道路或车道的速度为预设临界速度或更高速度时,处理器141可以确定物体3为被推测是行人的行人候选。
在这种情况下,预设临界速度可以对应于使得当车辆1沿着道路或车道行驶时,物体3可能从静止障碍物2的后方范围进入车辆1行驶的道路或车道并且可能与车辆 1碰撞的速度。
根据实施方式的处理器141可以控制前视相机110获取行人候选的图像数据。
在这种情况下,处理器141可以控制前视相机110获取行人候选所处的ROI 500 的图像数据。处理器141可以基于所获取的行人候选朝向车辆1行驶的道路的速度来 预测行人候选偏离静止障碍物2的后方范围或者从静止障碍物2的后方范围中出现的 时间点,并且可以控制前视相机110获取对应时间点的图像数据。
以这种方式,处理器141能够在预料行人候选进入前视相机110的视场的时间点更迅速地获取行人候选的图像数据。
根据实施方式的处理器141可以将行人候选的图像数据与预设的行人辨识数据进行比较,并且确定行人候选是否是行人。
具体地,处理器141可以将所获取的行人候选的图像数据与预先存储的行人辨识数据进行比较,并且当行人候选的图像数据对应于行人辨识数据时,处理器141可以 将行人候选检测为行人。
在这种情况下,行人辨识数据是与对应于普通行人或骑行人的人的特征相关的数据。行人辨识数据可以被预先存储在存储器142中,并且处理器141可以通过确定所 获取的图像数据中的行人候选的特征是否对应于行人辨识数据中的普通行人或骑行 人的特征来确定行人候选和行人是否彼此对应。
换句话讲,处理器141可以基于物体3朝向车辆1行驶的道路或车道的速度来确 定存在于基于雷达数据的ROI 500内的物体3为行人。通过将物体3的图像数据与预 先存储的用于确定物体3是否是行人的行人辨识数据进行比较,处理器141可以基于 所述图像数据来重新确定已经基于雷达数据被确定为行人候选的物体3是否是行人。
以这种方式,DAS 100可以在行人检测方面提供更准确且快速/迅速的检测结果。
也就是说,处理器141可以首先基于雷达数据来识别可能对应于行人的行人候选,使得当在稍后的时间点基于图像数据检测行人时,能够更快速/迅速且准确地检 测行人。
如上所述,处理器141可以首先处理行人候选可能位于其中的ROI的图像数据, 使得能够更快速/迅速且高效地检测到可能位于ROI中的行人。
也就是说,因为处理器141可以首先处理车辆1前方的视场的整个图像数据当中的ROI的图像数据并因此减少确定物体3是否是行人的计算延时,所以能够更迅速 且高效地检测行人。
如上所述,即使对于位于由于被静止障碍物2遮挡而可能看不见或者从视野中被隐藏的静止障碍物2的后方范围中的物体3,DAS 100也可以预先确定ROI,并且与 对车辆前方的区域执行行人检测的情况相比,能够减少计算延时。以这种方式,能够 高效地检测行人。
另外,由于即使对于由于被静止障碍物2遮挡而可能不可见的位于静止障碍物2的后方范围中的物体3,DAS 100也可以使用雷达120和130来预先选择行人候选, 因此能够增强通过前视相机110进行行人检测的可靠性和快速性。
另外,因为DAS 100可以使用基于雷达120和130的雷达数据获取的行人候选 的速度信息来确定行人候选偏离静止障碍物2的后方范围或者从静止障碍物2的后方 范围中出现的时间点,并因此可以获取在该时间点的行人候选的图像数据,所以能够 获得关于行人的更复杂且迅速的检测结果。
另外,处理器141可以基于图像数据和雷达数据中的至少一个来确定行人的相对位置信息和相对速度信息,并且可以基于行人的相对位置信息和相对速度信息中的至 少一个来确定车辆1和行人之间的TTC。
另外,根据实施方式的处理器141可以基于TTC和预设的基准时间之间的比较 结果来将用于控制车辆1的制动的制动信号或用于控制车辆1的转向的转向信号发送 给车辆1。
也就是说,当预料在车辆1和行人之间发生碰撞时,处理器141可以将制动信号 发送到制动系统32或者将转向信号发送到转向系统42。
下文中,将描述根据实施方式的DAS 100的控制方法。根据上述实施方式的DAS100可以被应用于下面将描述的DAS 100的控制方法。因此,即使没有特别提及,以 上参照图1至图6描述的内容也可以同样适用于根据实施方式的DAS 100的控制方 法。
图7是与利用根据实施方式的DAS 100的控制方法检测行人的情况相关的流程图。
如图7中例示的,在配备有根据实施方式的DAS 100的车辆1行驶的情形下, 根据实施方式的处理器141可以接收从前视相机110获取的图像数据以及从雷达120 和130获取的雷达数据(710)。
根据实施方式的处理器141可以基于图像数据和雷达数据中的至少一个来检测以静止方式位于车辆1的前方或前面的静止障碍物2(例如,在车辆的行驶方向上位 于车辆1的之前并且位置与车辆1的车道或路线相邻的静止障碍物2)(720)。
在这种情况下,根据实施方式的处理器141可以在从图像数据和雷达数据中的至少一个识别到的物体当中检测其相对于车辆1的速度等于车辆1的速度的任何物体为 静止障碍物2。
也就是说,处理器141可以确定在从车辆1前方的视场中识别到的多个物体当中的其相对于车辆1的速度不同于车辆1的速度的物体为正在行驶的另一车辆。处理器 141可以仅检测其相对于车辆1的速度等于车辆1的速度的物体为静止障碍物2。
根据实施方式的处理器141可以基于雷达数据来确定静止障碍物2的相对位置信息(730)。在这种情况下,相对位置信息可以包括关于从车辆1到静止障碍物2的距 离以及从车辆1的右横轴(y轴)到静止障碍物2的角度的信息。
在以车辆1为其中心的坐标系中,关于静止障碍物2的相对位置信息可以被指示为(x
Obstacle,y
Obstacle)。另外,从车辆1到静止障碍物2的距离可以被指示为(r
Obstacle), 并且从车辆1的右横轴(y轴)到静止障碍物2的角度可以被指示为
另外,根据实施方式的处理器141可以基于雷达数据和图像数据中的至少一个来确定静止障碍物2的长度、宽度和高度。
也就是说,雷达120和130可以从被静止障碍物2的每个点反射的反射波中获取 包括关于静止障碍物2的长度、宽度和高度的信息的雷达数据,并且处理器141可以 基于所述雷达数据来确定静止障碍物2的长度、宽度和高度。
另外,处理器141可以基于前视相机110的前视图像数据来获取关于车辆1前方 的静止障碍物2的类型信息,并且可以基于所述类型信息来确定静止障碍物2的长度、 宽度和高度。
根据实施方式的处理器141可以基于静止障碍物2的相对位置信息来确定静止障碍物2的位置周围的ROI 500(740),并且可选地,基于静止障碍物2的长度、宽度 和高度来确定静止障碍物2的位置周围的ROI 500。
具体地,处理器141可以基于静止障碍物2的相对位置信息来将范围从对应于从车辆1到静止障碍物2的相对距离的点(r
Obstacle)到从车辆1在远离车辆1移动的方 向上延伸达预设距离常数(d
ROI)的点(r
Obstacle+d
ROI)的范围中的对应于围绕车辆1 的预设角度
的范围确定为ROI 500。
也就是说,处理器141可以通过从半径为r
Obstacle+d
ROI并且中心角为
的扇形 中去除半径为r
Obstacle并且中心角为
的扇形来确定ROI 500。
在这种情况下,作为在设计DAS 100的阶段中预设的值的预设距离常数(d
ROI) 和预设角度
对应于被设置为使得这些值可以包括静止障碍物2和预料由于静 止障碍物2而被遮挡的后方范围的值。
根据实施方式的处理器141可以基于静止障碍物2的长度、宽度和高度中的至少一个来更新预设距离常数(d
ROI)和预设角度
中的至少一个,使得ROI 500 包括静止障碍物2和由于静止障碍物2而被遮挡的后方范围。
也就是说,处理器141可以考虑到所确定的静止障碍物2的长度、宽度和高度中 的至少一个来更新预设距离常数(d
ROI)和预设角度
中的至少一个,使得ROI 500包括静止障碍物2所处的范围。
另外,处理器141可以将预设距离常数(dROI)更新为与所确定的静止障碍物2 的高度成比例地增大。这是因为,随着静止障碍物2的高度更高,由于静止障碍物2 而被遮挡的后方范围会变宽。
也就是说,通过考虑到所确定的静止障碍物2的长度、宽度和高度中的至少一个来更新预设距离常数(d
ROI)和预设角度
中的至少一个,处理器141使得ROI 500能够包括静止障碍物2所处的范围和由于静止障碍物2而被遮挡的后方范围。
另外,随着车辆1接近静止障碍物2,根据实施方式的处理器141可以将预设距 离常数(d
ROI)更新成减小并且将预设角度
更新成增大。
也就是说,随着车辆1和静止障碍物2之间的距离(r
Obstacle)减小,更具体地, 随着车辆1和静止障碍物2之间的纵向距离(x
Obstacle)减小,处理器141可以将预设 距离常数(d
ROI)更新成减小并且将预设角度
更新成增大。
这是由于考虑到了雷达120和130的特性。随着车辆1和静止障碍物2之间的距 离增大,雷达120和130所获取的位置信息的误差会增大。也就是说,当车辆1和静 止障碍物2之间的距离(r
Obstacle)大时,处理器141可以将预设距离常数(d
ROI)设 置得更大并且将预设角度
设置得更小,使得关于位于后方范围中的物体3的 位置信息的误差减小。
根据实施方式的处理器141可以基于雷达数据来识别存在于ROI 500内的物体3(750)。
也就是说,处理器141可以基于雷达数据来识别存在于ROI 500内的物体3。
具体地,处理器141可以基于关于基于雷达数据识别到的物体的相对位置信息来确定对应对象是否存在于ROI 500内。
在这种情况下,在以车辆1为其中心的坐标系中,关于基于雷达数据识别的物体的相对位置信息可以被指示为(x
VRU,y
VRU)。另外,从车辆1到物体的距离可以被指 示为(r
VRU),并且从车辆1的右横轴(y轴)到物体的角度可以被指示为
当基于物体的相对位置信息,从车辆1到物体的距离(r
VRU)落在与从车辆1到 静止障碍物2的相对距离对应的点(r
Obstacle)和从车辆1在远离车辆1的方向上延伸 达预设距离常数(d
ROI)的点(r
Obstacle+d
ROI)之间并且从车辆1的右横轴(y轴)到 物体的角度
落在预设角度
的范围内时,处理器141可以将对应物体 识别为存在于ROI 500内的物体3。
当已经被识别为存在于ROI内的物体3朝向车辆1行驶的道路或车道的速度为 预设临界速度或更高速度(760中的“是”)时,根据实施方式的处理器141可以确定 已经被识别为存在于ROI内的物体3为被推测是行人的行人候选(770)。
也就是说,处理器141可以基于雷达数据来获取关于已经被识别为存在于ROI 内的物体3的速度信息,并且可以基于所获取的速度信息来确定物体3朝向车辆行驶 的道路或车道的速度。
然后,当所确定的物体3朝向车辆1行驶的道路或车道的速度为预设临界速度或更高速度时,处理器141可以确定或识别物体3为被推测是行人的行人候选。
在这种情况下,预设临界速度可以对应于使得当车辆1行驶时,物体3可能从静 止障碍物2的后方范围进入车辆1行驶的道路或车道并且可能与车辆1碰撞的速度。
根据实施方式的处理器141可以控制前视相机110获取行人候选的图像数据(780)。
在这种情况下,处理器141可以控制前视相机110获取行人候选所处的ROI 500 的图像数据。处理器141可以基于所获取的行人候选朝向车辆1行驶的道路或车道的 速度来预测行人候选偏离静止障碍物2的后方范围或者从静止障碍物2的后方范围中 出现的时间点,并且可以控制前视相机110获取对应时间点的图像数据。
以这种方式,处理器141能够在行人候选从后方范围中出现而进入视场中之后更迅速地获取行人候选的图像数据。
根据实施方式的处理器141可以将行人候选的图像数据与预设的行人辨识数据进行比较,并且确定行人候选是否是行人(790)。
具体地,处理器141可以将所获取的行人候选的图像数据与预先存储的行人辨识数据进行比较,并且当行人候选的图像数据对应于行人辨识数据时,将行人候选检测 为行人。
在这种情况下,行人辨识数据是与对应于普通行人或骑行人的人的特征相关的数据。行人辨识数据可以被预先存储在存储器142中,并且处理器141可以通过确定所 获取的图像数据中的行人候选的特征是否对应于行人辨识数据中的普通行人或骑行 人的特征来确定行人候选和行人是否彼此对应。
也就是说,处理器141可以首先基于雷达数据识别可能对应于行人的行人候选,使得当能够随后基于图像数据检测行人时,可以更快速且准确地检测行人。
如上所述,处理器141可以首先处理行人候选可能位于其中的ROI的图像数据, 使得能够更迅速且高效地检测到可能位于ROI中的行人。
也就是说,因为处理器141可以首先处理车辆1前方的视场的整个图像数据当中的ROI的图像数据并因此减少计算延时,所以能够更迅速且高效地检测行人。
因此,根据按照一方面的驾驶员辅助系统及其控制方法,检测位于车辆前方的静止障碍物并且在该静止障碍物周围设置关注范围(ROI),使用雷达来确定位于ROI 内的行人候选,并且通过使用相机来检测行人候选为行人。以这种方式,能够更准确 且高效地检测由于静止障碍物而被遮挡的行人。
此外,本文中所公开的实施方式可以按照存储计算机可执行的指令的记录介质的形式来实施。这些指令可以按照程序代码的形式进行存储,并且当由处理器执行时, 所述指令可以生成程序模块并且执行本文中所公开的实施方式的操作。所述记录介质 可以被实施为计算机可读记录介质。
计算机可读记录介质可以包括存储计算机可解码指令的所有类型的记录介质。计算机可读记录介质的示例可以包括ROM、RAM、磁带、磁盘、闪存和光学数据存储 器。
以上已经参照附图描述了本文中所公开的实施方式。本公开所属领域中的普通技术人员应当理解,即使在不改变本公开的技术构思或本质特征的情况下,本公开也可 以以与本文中所公开的实施方式不同的形式来实践。本文中所公开的实施方式仅仅是 示例性的,而不应该被解释为是限制的。
相关申请的交叉引用
本申请要求于2018年10月25日在韩国知识产权局提交的韩国专利申请No. 10-2018-0128523的权益,该韩国专利申请的公开内容以引用方式并入本文中。