CN106548659A - 一种前向碰撞预警方法及装置 - Google Patents
一种前向碰撞预警方法及装置 Download PDFInfo
- Publication number
- CN106548659A CN106548659A CN201510611655.7A CN201510611655A CN106548659A CN 106548659 A CN106548659 A CN 106548659A CN 201510611655 A CN201510611655 A CN 201510611655A CN 106548659 A CN106548659 A CN 106548659A
- Authority
- CN
- China
- Prior art keywords
- road conditions
- objects
- conditions image
- fore
- lateral separation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了一种前向碰撞预警方法及装置,所述方法包括:采集路况图像,路况图像包括位于本端移动方向上的前方物体;对路况图像进行分析处理,获取与前方物体之间的纵向距离、纵向距离门限值以及本端相对前方物体的横向相对速度;当纵向距离小于纵向距离门限值时,确定碰撞时间;将碰撞时间与横向相对速度相乘,得到本端相对前方物体在碰撞时间内的横向位移;根据横向位移,获取经过碰撞时间之后与前方物体之间的第一横向距离;当第一横向距离小于预设横向距离门限值时,输出预警信号。采用本发明实施例,可提高前向碰撞预警的准确度。
Description
技术领域
本发明涉及计算机应用技术领域,尤其涉及一种前向碰撞预警方法及装置。
背景技术
随着全球经济的快速发展,机动车保有量在迅速增加,道路在不断扩建,公路交通事故日趋严重。前向碰撞预警系统(Forward Collision Warning System,FCWS)能够实时监测前方车辆的方位,获取本车与前车之间的纵向距离,以及纵向距离门限值,当纵向距离小于纵向距离门限值时输出预警信号,以提醒驾驶员减速。但上述FCWS考虑的是本车与前车之间的纵向距离,当本车满足预警条件时通过FCWS进行预警,而实际情况中前车由当前道路超车并线至其他道路,或者本车由当前道路超车并线至其他道路时,前车与本车碰撞的几率较小,则FCWS将出现误判,导致前向碰撞预警的准确度较低。
发明内容
本发明实施例所要解决的技术问题在于,提供一种前向碰撞预警方法及装置,可提高前向碰撞预警的精准度。
为了解决上述技术问题,本发明实施例提供了一种前向碰撞预警方法,包括:
采集路况图像,所述路况图像包括位于本端移动方向上的前方物体;
对所述路况图像进行分析处理,获取与所述前方物体之间的纵向距离、纵向距离门限值以及本端相对所述前方物体的横向相对速度;
当所述纵向距离小于所述纵向距离门限值时,确定碰撞时间;
将所述碰撞时间与所述横向相对速度相乘,得到本端相对所述前方物体在所述碰撞时间内的横向位移;
根据所述横向位移,获取经过所述碰撞时间之后与所述前方物体之间的第一横向距离;
当所述第一横向距离小于预设横向距离门限值时,输出预警信号。
相应地,本发明实施例还提供了一种前向碰撞预警装置,包括:
路况图像采集单元,用于采集路况图像,所述路况图像包括位于本端移动方向上的前方物体;
路况图像分析单元,用于对所述路况图像进行分析处理,获取与所述前方物体之间的纵向距离、纵向距离门限值以及本端相对所述前方物体的横向相对速度;
碰撞时间确定单元,用于当所述纵向距离小于所述纵向距离门限值时,确定碰撞时间;
横向位移获取单元,用于将所述碰撞时间与所述横向相对速度相乘,得到本端相对所述前方物体在所述碰撞时间内的横向位移;
第一距离获取单元,用于根据所述横向位移,获取经过所述碰撞时间之后与所述前方物体之间的第一横向距离;
预警信号输出单元,用于当所述第一横向距离小于预设横向距离门限值时,输出预警信号。
实施本发明实施例,通过对采集到的路况图像进行分析处理,获取与前方物体之间的纵向距离、纵向距离门限值以及本端相对前方物体的横向相对速度,当纵向距离小于纵向距离门限值时确定碰撞时间,将碰撞时间与横向相对速度相乘,得到本端相对前方物体在碰撞时间内的横向位移,根据横向位移获取经过碰撞时间之后与前方物体之间的第一横向距离,当所述第一横向距离小于预设横向距离门限值时,输出预警信号,可提高前向碰撞预警的精准度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例中提供的一种前向碰撞预警方法的流程示意图;
图2是本发明另一实施例中提供的一种前向碰撞预警方法的流程示意图;
图3是本发明另一实施例中提供的一种前向碰撞预警方法的流程示意图;
图4是本发明实施例中提供的一种前向碰撞预警装置的结构示意图;
图5是本发明实施例中图4的路况图像分析单元的结构示意图;
图6是本发明另一实施例中图4的路况图像分析单元的结构示意图;
图7是本发明实施例中图4的第一距离获取单元的结构示意图;
图8是本发明实施例中提供的一种终端的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
传统的前向碰撞预警方法应用于机动车等终端中,通过实时监测前方车辆的方位,获取本车与前车之间的纵向距离,并通过安全车距算法获取纵向距离门限值,当纵向距离小于纵向距离门限值时输出预警信号,以提醒本车驾驶员减速。实际生活中,即使本车与前车之间的纵向距离较小,但前车由当前道路超车并线至其他道路,或者本车由当前道路超车并线至其他道路,则前车与本车碰撞的几率较小,上述前向碰撞预警方法将出现误判,导致前向碰撞预警的准确度较低。
本发明实施例提供了一种前向碰撞预警方法,通过对采集到的路况图像进行分析处理,获取与前方物体之间的纵向距离、纵向距离门限值以及本端相对前方物体的横向相对速度,当纵向距离小于纵向距离门限值时确定碰撞时间,将碰撞时间与横向相对速度相乘,得到本端相对前方物体在碰撞时间内的横向位移,根据横向位移获取经过碰撞时间之后与前方物体之间的第一横向距离,当所述第一横向距离小于预设横向距离门限值时,输出预警信号,可提高前向碰撞预警的精准度。
本发明实施例提及到的路况图像可以包括位于本端移动方向上的前方物体,其中,路况图像可以通过采集装置实时采集得到,路况图像的数量为至少两帧,采集装置可以包括摄像机、摄像头、录像机或者智能手机等,具体不受本发明实施例的限制。
本发明实施例提及到的纵向距离门限值是对采集到的路况图像进行分析处理得到的,不同前方物体的纵向距离门限值可能不相同,进一步的,同一前方物体在不同时刻的纵向距离门限值也可能不相同。
本发明实施例提及到的前方物体可以包括机动车、行人或者动物等。本发明实施例提及到的前向碰撞预警方法可以应用于车辆在行驶过程中的预警,还可以应用于盲人、儿童或者老人等在外出过程中的预警,具体不受本发明实施例的限制。
本发明实施例提及到的预设横向距离门限值可以大于本端的宽度,例如上述前向碰撞预警方法应用于车辆在行驶过程中的预警,则预设横向距离门限值可以大于该车辆的宽度,又如上述前向碰撞预警方法应用于盲人、儿童或者老人等在外出过程中的预警,则预设横向距离门限值可以大于人体的宽度,等等。
上述前向碰撞预警方法可以运行在车载设备、导盲杖、手机、平板电脑或者穿戴式智能设备等终端中。
请参见图1,图1是本发明实施例中的一种前向碰撞预警方法的流程示意图,如图所示本发明实施例中的前向碰撞预警方法可以包括:
S101,采集路况图像,路况图像包括位于本端移动方向上的前方物体。
终端可以采集路况图像,其中路况图像可以包括位于本端移动方向上的前方物体。具体实现中,采集装置可以安装在终端中,终端通过采集装置实时采集位于本端移动方向上的路况图像,采集到的路况图像的数量为至少两帧。
例如,当前方物体为机动车时,终端可以为车载设备、手机或者平板电脑等,终端检测到本车的发动机启动时,可以控制采集装置采集路况图像,采集到的路况图像可以包括位于本端移动方向上的前方物体,例如行驶于本车前方的机动车。
又如,当前方物体为行人或者动物时,终端可以为导盲杖或者穿戴式智能设备等,终端检测到终端用户处于移动状态时,可以控制采集装置采集路况图像,采集到的路况图像可以包括位于本端移动方向上的前方物体,例如位于终端用户前方的行人或者动物等。
S102,对路况图像进行分析处理,获取与前方物体之间的纵向距离、纵向距离门限值以及本端相对前方物体的横向相对速度。
终端可以对路况图像进行分析处理,获取与前方物体之间的纵向距离、纵向距离门限值以及本端相对前方物体的横向相对速度。具体实现中,终端可以通过透视投影原理将采集到的路况图像由三维路况图像转换为二维路况图像,并将光轴与二维路况图像的交点作为二维路况图像的坐标系原点,通过纵向距离算法获取与前方物体之间的纵向距离。
示例性的,纵向距离算法可以为:
d=h/tan[θ+arctan(y/f)]
其中,d为终端与前向物体之间的纵向距离,h为采集装置与地面之间的高度,θ为采集装置与水平方向之间的夹角,y为前方物体投影于地面上的点与坐标系中X轴之间的距离,f为采集装置的焦距。
在可选实施例中,当路况图像的数量为至少两帧时,终端可以在选取的两帧路况图像中分别获取与前方物体之间的纵向距离,以及选取的路况图像中各个终端图像的采集时间,根据各个纵向距离和采集时间,得到本端相对前方物体的纵向相对速度,根据纵向相对速度和本端的纵向速度,获取纵向距离门限值。
例如,终端获取到5帧路况图像时,可以在上述5帧路况图像中选取2帧路况图像,其中选取的路况图像之间最多可以间隔2帧路况图像,例如选取的路况图像包括第1帧路况图像时,另外一帧路况图像可以为第4帧路况图像,也可以为第1帧路况图像、第3帧路况图像或者第2帧路况图像,通过上述选取方式选取到的路况图像之间的间隔较短,可提高纵向相对速度的精确度。
具体实现中,终端可以在选取的两帧路况图像中分别获取与前方物体之间的纵向距离,以及选取的路况图像中各个终端图像的采集时间,获取纵向距离差值和采集时间差值,将纵向距离差值除以采集时间差值,得到纵向相对速度,并通过纵向距离门限值算法获取纵向距离门限值。
示例性的,纵向距离门限值算法可以为:
其中,Ls为纵向距离门限值,Vs为终端的移动速度,as为预先设定的终端的减速度,Vq为前方物体的移动速度,其中Vq=Vs-Vrel,Vrel为纵向相对速度,aq为预先设定的前方物体的减速度,t为第一帧路况图像的采集时间,d0为在第一帧路况图像中获取的与前方物体之间的纵向距离。
在可选实施例中,终端可以对选取的四帧路况图像进行分析处理,获取两个纵向相对速度,对上述两个纵向相对速度取平均值,作为最近获取到的纵向相对速度,通过上述方式可降低测量误差。
在可选实施例中,当路况图像的数量为至少两帧时,终端可以在选取的两帧路况图像中分别获取与前方物体之间的第二横向距离,以及选取的路况图像中各个路况图像的采集时间,根据各个第二横向距离和采集时间,得到横向相对速度。
具体实现中,终端可以通过横向距离算法在选取的各个路况图像中分别获取与前方物体之间的第二横向距离,以及选取的路况图像中各个路况图像的采集时间,获取第二横向距离差值和采集时间差值,将第二横向距离差值除以采集时间差值,得到横向相对速度。
示例性的,横向距离算法可以为:
其中,X为第二横向距离,h为采集装置与地面之间的高度,θ为采集装置与水平方向之间的夹角,(u,v)为前方物体在二维路况图像中的坐标,(u0,v0)为参考点在二维路况图像中的坐标,参考点为灭点,即路况图像中各条车道线的延伸线所产生的相交点。
在可选实施例中,终端可以对选取的四帧路况图像进行分析处理,获取两个横向相对速度,对上述两个横向相对速度取平均值,作为最近获取到的横向相对速度,通过上述方式可降低测量误差。
S103,当纵向距离小于纵向距离门限值时,确定碰撞时间。
终端可以判断与前方物体之间的纵向距离是否小于纵向距离门限值,当纵向距离小于纵向距离门限值时,确定碰撞时间;当纵向距离大于或者等于纵向距离门限值时,终端可以确定终端与前方物体发生碰撞的几率较小。
具体实现中,终端可以通过碰撞时间确定算法获取碰撞时间。
示例性的,碰撞时间确定算法可以为:
其中,t为碰撞时间,Vs为终端的移动速度,as为预先设定的终端的减速度,Vq为前方物体的移动速度,其中Vq=Vs-Vrel,Vrel为纵向相对速度,aq为预先设定的前方物体的减速度,d为当前终端与前方物体之间的纵向距离。
S104,将碰撞时间与横向相对速度相乘,得到本端相对前方物体在碰撞时间内的横向位移。
终端获取到碰撞时间和横向相对速度之后,可以将碰撞时间与横向相对速度相乘,得到本端相对前方物体在碰撞时间内的横向位移。
S105,根据横向位移,获取经过碰撞时间之后与前方物体之间的第一横向距离。
终端获取到横向位移之后,可以根据横向位移,获取经过碰撞时间之后与前方物体之间的第一横向距离。
在可选实施例中,终端可以对路况图像进行分析处理,获取当前与前方物体之间的第二横向距离,将第二横向距离与横向位移相加,得到第一横向距离。
进一步可选的,终端可以获取路况图像的采集装置与地面之间的高度,以及采集装置与水平方向之间的夹角,在路况图像中获取前方物体的坐标以及参考点的坐标,其中参考点可以为路况图像中各条车道线的延伸线所产生的相交点,根据采集装置与地面之间的高度、采集装置与水平方向之间的夹角、前方物体的坐标以及参考点的坐标,得到第二横向距离。
终端可以通过横向距离算法在当前路况图像中获取当前与前方物体之间的第二横向距离,示例性的,横向距离算法可以为:
其中,X为第二横向距离,h为采集装置与地面之间的高度,θ为采集装置与水平方向之间的夹角,(u,v)为前方物体在二维路况图像中的坐标,(u0,v0)为参考点在二维路况图像中的坐标,参考点为灭点,即路况图像中各条车道线的延伸线所产生的相交点。
在可选实施例中,终端对路况图像进行分析处理,得到与前方物体之间的纵向距离、第二横向距离、纵向相对速度以及横向相对速度之后,可以对纵向距离、第二横向距离、纵向相对速度以及横向相对速度进行卡尔曼滤波。其中,卡尔曼滤波是一种利用线性系统状态方程,通过系统输入输出观测数据,对系统状态进行最优估计的算法。由于观测数据中包括系统中的噪声和干扰的影响,所以最优估计也可看作是滤波过程,可保证纵向距离、第二横向距离、纵向相对速度以及横向相对速度的稳定性,避免抖动造成干扰。
进一步的,终端可以根据经过卡尔曼滤波的第二横向距离获取本端相对前方物体的横向相对速度,根据经过卡尔曼滤波的纵向相对速度获取碰撞时间,以便提高获取到的数据的精确度。
S106,当第一横向距离小于预设横向距离门限值时,输出预警信号。
终端可以判断第一横向距离是否小于预设横向距离门限值,当第一横向距离小于预设横向距离门限值时,输出预警信号;当第一横向距离大于或者等于预设横向距离门限值时,终端可以确定前方物体在碰撞时间内由当前道路并线至其他道路,终端与前方物体碰撞的几率较小;终端还可以确定本端在碰撞时间内由当前道路并线至其他道路,终端与前方物体碰撞的几率较小。
其中,预设横向距离门限值可以大于本端的宽度。可选的,上述前向碰撞预警方法应用于车辆在行驶过程中的预警,则预设横向距离门限值可以大于该车辆的宽度,例如预设横向距离门限值可以为该车辆的宽度与固定长度(例如1米)相加得到的值。另一可选的,上述前向碰撞预警方法应用于盲人、儿童或者老人等在外出过程中的预警,则预设横向距离门限值可以大于人体的宽度,例如1米。需要指出的是,本发明实施例中的预设横向距离门限值包含但不局限于上述方式,固定长度包含但不局限于1米,研发人员可以结合不同场景进行相应的修改。
具体实现中,当第一横向距离小于预设横向距离门限值时,终端可以通过在显示屏中输出预警信号或者通过麦克风输出预警信号的方式对终端用户进行预警。可选的,终端也可以通过振动、响铃或者LED闪烁等方式输出预警信号,具体不受本发明实施例的限制。
本发明实施例中,对采集到的路况图像进行分析处理,获取与前方物体之间的纵向距离、纵向距离门限值以及本端相对前方物体的横向相对速度,当纵向距离小于纵向距离门限值时确定碰撞时间,将碰撞时间与横向相对速度相乘,得到本端相对前方物体在碰撞时间内的横向位移,根据横向位移获取经过碰撞时间之后与前方物体之间的第一横向距离,当所述第一横向距离小于预设横向距离门限值时,输出预警信号,可提高前向碰撞预警的精准度。
请参见图2,图2是本发明另一实施例中的前向碰撞预警方法的流程示意图,如图所示本发明实施例中的前向碰撞预警方法可以包括:
S201,采集路况图像,路况图像的数量为至少两帧。
本发明实施例中的终端可以为车载设备、手机或者平板电脑等。采集装置可以安装在终端所处的车辆(即本车)中,也可以集成在终端中,具体不受本发明实施例的限制。具体实现中,终端检测到本车的发动机启动时,可以控制采集装置采集路况图像,采集到的路况图像可以包括位于本端移动方向上的前方物体,例如行驶于本车前方的机动车,采集到的路况图像的数量为至少两帧。
S202,对路况图像进行分析处理,获取与前方物体之间的纵向距离以及纵向距离门限值。
终端可以对路况图像进行分析处理,获取与前方物体之间的纵向距离以及纵向距离门限值。具体实现中,终端可以通过透视投影原理将采集到的路况图像由三维路况图像转换为二维路况图像,并将光轴与二维路况图像的交点作为二维路况图像的坐标系原点,通过纵向距离算法获取与前方物体之间的纵向距离。
另外,终端可以在选取的两帧路况图像中分别获取与前方物体之间的纵向距离,以及选取的路况图像中各个终端图像的采集时间,获取纵向距离差值和采集时间差值,将纵向距离差值除以采集时间差值,得到本端相对前方物体的纵向相对速度,并通过纵向距离门限值算法获取纵向距离门限值。
在可选实施例中,终端可以对选取的四帧路况图像进行分析处理,获取两个纵向相对速度,对上述两个纵向相对速度取平均值,作为最近获取到的纵向相对速度,通过上述方式可降低测量误差。
在可选实施例中,终端对路况图像进行分析处理,得到与前方物体之间的纵向距离之后,可以对纵向距离进行卡尔曼滤波,进而根据经过卡尔曼滤波的纵向距离获取纵向距离门限值,以便提高纵向距离门限值的精确度。
S203,当纵向距离小于纵向距离门限值时,确定碰撞时间。
终端可以判断与前方物体之间的纵向距离是否小于纵向距离门限值,当纵向距离小于纵向距离门限值时,确定碰撞时间;当纵向距离大于或者等于纵向距离门限值时,终端可以确定终端与前方物体发生碰撞的几率较小。
具体实现中,终端可以通过碰撞时间确定算法获取碰撞时间。
在可选实施例中,终端对路况图像进行分析处理,得到纵向相对速度之后,可以对纵向相对速度进行卡尔曼滤波,进而根据经过卡尔曼滤波的纵向相对速度获取碰撞时间,以便提高碰撞时间的精确度。
S204,在选取的两帧路况图像中分别获取与前方物体之间的第二横向距离,以及选取的路况图像中各个路况图像的采集时间。
终端确定碰撞时间之后,可以在选取的两帧路况图像中分别获取与前方物体之间的第二横向距离,以及选取的路况图像中各个路况图像的采集时间。
在可选实施例中,终端可以获取采集装置与地面之间的高度,以及采集装置与水平方向之间的夹角,在路况图像中获取前方物体的坐标以及参考点的坐标,其中参考点可以为路况图像中各条车道线的延伸线所产生的相交点,根据采集装置与地面之间的高度、采集装置与水平方向之间的夹角、前方物体的坐标以及参考点的坐标,得到第二横向距离。
终端可以通过横向距离算法在当前路况图像中获取当前与前方物体之间的第二横向距离。
S205,根据各个第二横向距离和采集时间,得到本端相对前方物体的横向相对速度。
终端可以根据各个第二横向距离获取第二横向距离差值,根据各个采集时间获取采集时间差值,将第二横向距离差值除以采集时间差值,得到本端相对前方物体的横向相对速度。
在可选实施例中,终端可以对选取的四帧路况图像进行分析处理,获取两个横向相对速度,对上述两个横向相对速度取平均值,作为最近获取到的横向相对速度,通过上述方式可降低测量误差。
S206,将碰撞时间与横向相对速度相乘,得到本端相对前方物体在碰撞时间内的横向位移。
S207,根据横向位移,获取经过碰撞时间之后与前方物体之间的第一横向距离。
终端可以对路况图像进行分析处理,获取当前与前方物体之间的第二横向距离,将第二横向距离与横向位移相加,得到第一横向距离。
S208,当第一横向距离小于预设横向距离门限值时,输出预警信号。
终端可以判断第一横向距离是否小于预设横向距离门限值,当第一横向距离小于预设横向距离门限值时,输出预警信号,以提醒驾驶员减速;当第一横向距离大于或者等于预设横向距离门限值时,终端可以确定前方物体在碰撞时间内由当前道路并线至其他道路或者本端在碰撞时间内由当前道路并线至其他道路,终端与前方物体碰撞的几率较小。
本发明实施例中,对采集到的路况图像进行分析处理,获取与前方物体之间的纵向距离以及纵向距离门限值,当纵向距离小于纵向距离门限值时,确定碰撞时间,在选取的两帧路况图像中分别获取与前方物体之间的第二横向距离,以及选取的路况图像中各个路况图像的采集时间,根据各个第二横向距离和采集时间,得到本端相对前方物体的横向相对速度,将碰撞时间与横向相对速度相乘,得到本端相对前方物体在碰撞时间内的横向位移,根据横向位移,获取经过碰撞时间之后与前方物体之间的第一横向距离,当第一横向距离小于预设横向距离门限值时,输出预警信号,可提高前向碰撞预警的精准度。
请参见图3,图3是本发明另一实施例中的前向碰撞预警方法的流程示意图,如图所示本发明实施例中的前向碰撞预警方法可以包括:
S301,采集路况图像,路况图像包括位于本端移动方向上的前方物体。
本发明实施例中的终端可以为导盲杖或者穿戴式智能设备等。采集装置可以安装在终端用户携带的设备中,也可以集成在终端中,具体不受本发明实施例的限制。具体实现中,终端检测到终端用户处于移动状态时,可以控制采集装置采集路况图像,采集到的路况图像可以包括位于本端移动方向上的前方物体,例如位于终端用户前方的行人或者动物等,采集到的路况图像的数量为至少两帧。
S302,对路况图像进行分析处理,获取与前方物体之间的纵向距离、纵向距离门限值、第二横向距离以及本端相对前方物体的横向相对速度。
终端可以对路况图像进行分析处理,获取与前方物体之间的纵向距离、纵向距离门限值、第二横向距离以及本端相对前方物体的横向相对速度。具体实现中,终端可以通过透视投影原理将采集到的路况图像由三维路况图像转换为二维路况图像,并将光轴与二维路况图像的交点作为二维路况图像的坐标系原点,通过纵向距离算法获取与前方物体之间的纵向距离。
另外,终端可以在选取的两帧路况图像中分别获取与前方物体之间的纵向距离,以及选取的路况图像中各个终端图像的采集时间,根据各个纵向距离和采集时间,得到本端相对前方物体的纵向相对速度,根据纵向相对速度和本端的纵向速度,获取纵向距离门限值。
另外,终端可以获取路况图像的采集装置与地面之间的高度,以及采集装置与水平方向之间的夹角,在路况图像中获取前方物体的坐标以及参考点的坐标,其中参考点可以为路况图像中各条车道线的延伸线所产生的相交点,根据采集装置与地面之间的高度、采集装置与水平方向之间的夹角、前方物体的坐标以及参考点的坐标,得到第二横向距离。
另外,终端可以在选取的两帧路况图像中分别获取与前方物体之间的第二横向距离,以及选取的路况图像中各个路况图像的采集时间,根据各个第二横向距离和采集时间,得到本端相对前方物体的横向相对速度。
S303,当纵向距离小于纵向距离门限值时,确定碰撞时间。
终端可以判断与前方物体之间的纵向距离是否小于纵向距离门限值,当纵向距离小于纵向距离门限值时,确定碰撞时间;当纵向距离大于或者等于纵向距离门限值时,终端可以确定终端与前方物体发生碰撞的几率较小。
S304,将碰撞时间与横向相对速度相乘,得到本端相对前方物体在碰撞时间内的横向位移。
S305,将第二横向距离与横向位移相加,得到第一横向距离。
S306,当第一横向距离小于预设横向距离门限值时,输出预警信号。
终端可以判断第一横向距离是否小于预设横向距离门限值,当第一横向距离小于预设横向距离门限值时,输出预警信号,以便提醒终端用户有可能与前方物体发生碰撞;当第一横向距离大于或者等于预设横向距离门限值时,终端可以确定前方物体在碰撞时间内由当前道路并线至其他道路或者本端在碰撞时间内由当前道路并线至其他道路,终端与前方物体碰撞的几率较小。
本发明实施例中,对采集到的路况图像进行分析处理,获取与前方物体之间的纵向距离、纵向距离门限值、第二横向距离以及本端相对前方物体的横向相对速度,当纵向距离小于纵向距离门限值时,确定碰撞时间,将碰撞时间与横向相对速度相乘,得到本端相对前方物体在碰撞时间内的横向位移,将第二横向距离与横向位移相加,得到第一横向距离,当第一横向距离小于预设横向距离门限值时,输出预警信号,可提高前向碰撞预警的精准度。
请参见图4,图4是本发明实施例中提供的一种前向碰撞预警装置的结构示意图,本发明实施例中的前向碰撞预警装置可以包括平板电脑、手机、车载设备、导盲杖或者穿戴式智能设备等终端,如图所示本实施例中的前向碰撞预警装置至少可以包括路况图像采集单元401、路况图像分析单元402、碰撞时间确定单元403、横向位移获取单元404、第一距离获取单元405以及预警信号输出单元406,其中:
路况图像采集单元401,用于采集路况图像,路况图像包括位于本端移动方向上的前方物体。
具体实现中,采集装置可以安装在终端中,路况图像采集单元401通过采集装置实时采集位于本端移动方向上的路况图像,采集到的路况图像的数量为至少两帧。前方物体可以为行驶于前方的机动车、位于终端用户前方的行人或者动物等。
路况图像分析单元402,用于对路况图像进行分析处理,获取与前方物体之间的纵向距离、纵向距离门限值以及本端相对前方物体的横向相对速度。
具体实现中,路况图像分析单元402可以通过透视投影原理将采集到的路况图像由三维路况图像转换为二维路况图像,并将光轴与二维路况图像的交点作为二维路况图像的坐标系原点,通过纵向距离算法获取与前方物体之间的纵向距离。
碰撞时间确定单元403,用于当纵向距离小于纵向距离门限值时,确定碰撞时间。
横向位移获取单元404,用于将碰撞时间与横向相对速度相乘,得到本端相对前方物体在碰撞时间内的横向位移。
第一距离获取单元405,用于根据横向位移,获取经过碰撞时间之后与前方物体之间的第一横向距离。
预警信号输出单元406,用于当第一横向距离小于预设横向距离门限值时,输出预警信号。
其中,预设横向距离门限值可以大于本端的宽度。可选的,前向碰撞预警装置用于车辆在行驶过程中的预警,则预设横向距离门限值可以大于该车辆的宽度,例如预设横向距离门限值可以为该车辆的宽度与固定长度(例如1米)相加得到的值。另一可选的,前向碰撞预警装置用于盲人、儿童或者老人等在外出过程中的预警,则预设横向距离门限值可以大于人体的宽度,例如1米。需要指出的是,本发明实施例中的预设横向距离门限值包含但不局限于上述方式,固定长度包含但不局限于1米,研发人员可以结合不同场景进行相应的修改。
具体实现中,当第一横向距离小于预设横向距离门限值时,预警信号输出单元406可以通过在显示屏中输出预警信号或者通过麦克风输出预警信号的方式对终端用户进行预警。可选的,预警信号输出单元406也可以通过振动、响铃或者LED闪烁等方式输出预警信号,具体不受本发明实施例的限制。
在可选实施例中,路况图像的数量为至少两帧,则本发明实施例中的路况图像分析单元402可以如图5所示,进一步包括:
第二距离获取模块501,用于在选取的两帧路况图像中分别获取与前方物体之间的第二横向距离,以及选取的路况图像中各个路况图像的采集时间。
第一速度获取模块502,用于根据各个第二横向距离和采集时间,得到横向相对速度。
在可选实施例中,路况图像的数量为至少两帧,则本发明实施例中的路况图像分析单元402可以如图6所示,进一步包括:
第三距离获取模块601,用于在选取的两帧路况图像中分别获取与前方物体之间的纵向距离,以及选取的路况图像中各个终端图像的采集时间。
第二速度获取模块602,用于根据各个纵向距离和采集时间,得到本端相对前方物体的纵向相对速度。
距离门限值获取模块603,用于根据纵向相对速度和本端的纵向速度,获取纵向距离门限值。
例如,路况图像采集单元401采集到5帧路况图像时,可以在上述5帧路况图像中选取2帧路况图像,其中选取的路况图像之间最多可以间隔2帧路况图像,例如选取的路况图像包括第1帧路况图像时,另外一帧路况图像可以为第4帧路况图像,也可以为第1帧路况图像、第3帧路况图像或者第2帧路况图像,通过上述选取方式选取到的路况图像之间的间隔较短,可提高纵向相对速度的精确度。
在可选实施例中,本发明实施例中的第一距离获取单元405可以如图7所示,进一步包括:
第二距离获取模块701,用于对路况图像进行分析处理,获取当前与前方物体之间的第二横向距离。
第一距离获取模块702,用于将第二横向距离与横向位移相加,得到第一横向距离。
进一步可选的,本发明实施例中的第二距离获取模块701具体用于:获取路况图像的采集装置与地面之间的高度,以及采集装置与水平方向之间的夹角,在路况图像中获取前方物体的坐标以及参考点的坐标,参考点为路况图像中各条车道线的延伸线所产生的相交点,根据采集装置与地面之间的高度、采集装置与水平方向之间的夹角、前方物体的坐标以及参考点的坐标,得到第二横向距离。
本发明实施例中,路况图像分析单元402对路况图像采集单元401采集到的路况图像进行分析处理,获取与前方物体之间的纵向距离、纵向距离门限值以及本端相对前方物体的横向相对速度,当纵向距离小于纵向距离门限值时,碰撞时间确定单元403确定碰撞时间,横向位移获取单元404将碰撞时间与横向相对速度相乘,得到本端相对前方物体在碰撞时间内的横向位移,第一距离获取单元405根据横向位移,获取经过碰撞时间之后与前方物体之间的第一横向距离,当第一横向距离小于预设横向距离门限值时,预警信号输出单元406输出预警信号,可提高前向碰撞预警的精准度。
请参见图8,图8为本发明实施例提供的一种终端的结构示意图,本发明实施例提供的终端可以用于实施上述图1~图3所示的本发明各实施例实现的方法,为了便于说明,仅示出了与本发明实施例相关的部分,具体技术细节未揭示的,请参照图1~图3所示的本发明各实施例。
如图8所示,该终端包括:至少一个处理器801,例如CPU,至少一个输入装置803,输出装置804,存储器805,至少一个通信总线802。其中,通信总线802用于实现这些组件之间的连接通信。其中,输入装置803具体可以为采集装置,用于采集路况图像,输出装置804具体可以为显示屏或者麦克风等,用于输出预警信号。其中,存储器805可能包含高速RAM存储器,也可能还包括非不稳定的存储器,例如至少一个磁盘存储器。存储器805可选的可以包含至少一个位于远离前述处理器801的存储装置。处理器801可以结合图4所示的前向碰撞预警装置。存储器805中存储一组程序代码,且处理器801调用存储器805中存储的程序代码,用于执行以下操作:
通过输入装置803采集路况图像,路况图像包括位于本端移动方向上的前方物体。
对路况图像进行分析处理,获取与前方物体之间的纵向距离、纵向距离门限值以及本端相对前方物体的横向相对速度。
当纵向距离小于纵向距离门限值时,确定碰撞时间。
将碰撞时间与横向相对速度相乘,得到本端相对前方物体在碰撞时间内的横向位移。
根据横向位移,获取经过碰撞时间之后与前方物体之间的第一横向距离。
当第一横向距离小于预设横向距离门限值时,通过输出装置804输出预警信号。
在可选实施例中,路况图像的数量为至少两帧,则处理器801对路况图像进行分析处理,获取本端相对前方物体的横向相对速度,具体可以为:
在选取的两帧路况图像中分别获取与前方物体之间的第二横向距离,以及选取的路况图像中各个路况图像的采集时间。
根据各个第二横向距离和采集时间,得到横向相对速度。
在可选实施例中,路况图像的数量为至少两帧,则处理器801对路况图像进行分析处理,获取与前方物体之间的纵向距离门限值,具体可以为:
在选取的两帧路况图像中分别获取与前方物体之间的纵向距离,以及选取的路况图像中各个终端图像的采集时间。
根据各个纵向距离和采集时间,得到本端相对前方物体的纵向相对速度。
根据纵向相对速度和本端的纵向速度,获取纵向距离门限值。
在可选实施例中,处理器801根据横向位移,获取经过碰撞时间之后与前方物体之间的第一横向距离,具体可以为:
对路况图像进行分析处理,获取当前与前方物体之间的第二横向距离。
将第二横向距离与横向位移相加,得到第一横向距离。
进一步可选的,处理器801对路况图像进行分析处理,获取当前与前方物体之间的第二横向距离,具体可以为:
获取路况图像的采集装置与地面之间的高度,以及采集装置与水平方向之间的夹角。
在路况图像中获取前方物体的坐标以及参考点的坐标,参考点为路况图像中各条车道线的延伸线所产生的相交点。
根据采集装置与地面之间的高度、采集装置与水平方向之间的夹角、前方物体的坐标以及参考点的坐标,得到第二横向距离。
具体的,本发明实施例中介绍的终端可以用以实施本发明结合图1~图3介绍的方法实施例中的部分或全部流程。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。
Claims (10)
1.一种前向碰撞预警方法,其特征在于,包括:
采集路况图像,所述路况图像包括位于本端移动方向上的前方物体;
对所述路况图像进行分析处理,获取与所述前方物体之间的纵向距离、纵向距离门限值以及本端相对所述前方物体的横向相对速度;
当所述纵向距离小于所述纵向距离门限值时,确定碰撞时间;
将所述碰撞时间与所述横向相对速度相乘,得到本端相对所述前方物体在所述碰撞时间内的横向位移;
根据所述横向位移,获取经过所述碰撞时间之后与所述前方物体之间的第一横向距离;
当所述第一横向距离小于预设横向距离门限值时,输出预警信号。
2.根据权利要求1所述方法,其特征在于,所述路况图像的数量为至少两帧;
所述对所述路况图像进行分析处理,获取本端相对所述前方物体的横向相对速度包括:
在选取的两帧路况图像中分别获取与所述前方物体之间的第二横向距离,以及所述选取的路况图像中各个所述路况图像的采集时间;
根据各个所述第二横向距离和所述采集时间,得到所述横向相对速度。
3.根据权利要求1所述方法,其特征在于,所述路况图像的数量为至少两帧;
所述对所述路况图像进行分析处理,获取与所述前方物体之间的纵向距离门限值包括:
在选取的两帧路况图像中分别获取与所述前方物体之间的纵向距离,以及所述选取的路况图像中各个所述终端图像的采集时间;
根据各个所述纵向距离和所述采集时间,得到本端相对所述前方物体的纵向相对速度;
根据所述纵向相对速度和本端的纵向速度,获取所述纵向距离门限值。
4.根据权利要求1所述方法,其特征在于,所述根据所述横向位移,获取经过所述碰撞时间之后与所述前方物体之间的第一横向距离包括:
对所述路况图像进行分析处理,获取当前与所述前方物体之间的第二横向距离;
将所述第二横向距离与所述横向位移相加,得到所述第一横向距离。
5.根据权利要求4所述方法,其特征在于,所述对所述路况图像进行分析处理,获取当前与所述前方物体之间的第二横向距离包括:
获取所述路况图像的采集装置与地面之间的高度,以及所述采集装置与水平方向之间的夹角;
在所述路况图像中获取所述前方物体的坐标以及参考点的坐标,所述参考点为所述路况图像中各条车道线的延伸线所产生的相交点;
根据所述采集装置与地面之间的高度、采集装置与水平方向之间的夹角、前方物体的坐标以及参考点的坐标,得到所述第二横向距离。
6.一种前向碰撞预警装置,其特征在于,包括:
路况图像采集单元,用于采集路况图像,所述路况图像包括位于本端移动方向上的前方物体;
路况图像分析单元,用于对所述路况图像进行分析处理,获取与所述前方物体之间的纵向距离、纵向距离门限值以及本端相对所述前方物体的横向相对速度;
碰撞时间确定单元,用于当所述纵向距离小于所述纵向距离门限值时,确定碰撞时间;
横向位移获取单元,用于将所述碰撞时间与所述横向相对速度相乘,得到本端相对所述前方物体在所述碰撞时间内的横向位移;
第一距离获取单元,用于根据所述横向位移,获取经过所述碰撞时间之后与所述前方物体之间的第一横向距离;
预警信号输出单元,用于当所述第一横向距离小于预设横向距离门限值时,输出预警信号。
7.根据权利要求6所述装置,其特征在于,所述路况图像的数量为至少两帧;
所述路况图像分析单元包括:
第二距离获取模块,用于在选取的两帧路况图像中分别获取与所述前方物体之间的第二横向距离,以及所述选取的路况图像中各个所述路况图像的采集时间;
第一速度获取模块,用于根据各个所述第二横向距离和所述采集时间,得到所述横向相对速度。
8.根据权利要求6所述装置,其特征在于,所述路况图像的数量为至少两帧;
所述路况图像分析单元包括:
第三距离获取模块,用于在选取的两帧路况图像中分别获取与所述前方物体之间的纵向距离,以及所述选取的路况图像中各个所述终端图像的采集时间;
第二速度获取模块,用于根据各个所述纵向距离和所述采集时间,得到本端相对所述前方物体纵向相对速度;
距离门限值获取模块,用于根据所述纵向相对速度和本端的纵向速度,获取所述纵向距离门限值。
9.根据权利要求6所述装置,其特征在于,所述第一距离获取单元包括:
第二距离获取模块,用于对所述路况图像进行分析处理,获取当前与所述前方物体之间的第二横向距离;
第一距离获取模块,用于将所述第二横向距离与所述横向位移相加,得到所述第一横向距离。
10.根据权利要求9所述装置,其特征在于,
所述第二距离获取模块,具体用于:获取所述路况图像的采集装置与地面之间的高度,以及所述采集装置与水平方向之间的夹角;在所述路况图像中获取所述前方物体的坐标以及参考点的坐标,所述参考点为所述路况图像中各条车道线的延伸线所产生的相交点;根据所述采集装置与地面之间的高度、采集装置与水平方向之间的夹角、前方物体的坐标以及参考点的坐标,得到所述第二横向距离。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510611655.7A CN106548659B (zh) | 2015-09-23 | 2015-09-23 | 一种前向碰撞预警方法及装置、终端及计算机存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510611655.7A CN106548659B (zh) | 2015-09-23 | 2015-09-23 | 一种前向碰撞预警方法及装置、终端及计算机存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106548659A true CN106548659A (zh) | 2017-03-29 |
CN106548659B CN106548659B (zh) | 2019-04-26 |
Family
ID=58365036
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510611655.7A Active CN106548659B (zh) | 2015-09-23 | 2015-09-23 | 一种前向碰撞预警方法及装置、终端及计算机存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106548659B (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107264527A (zh) * | 2017-06-08 | 2017-10-20 | 广州汽车集团股份有限公司 | 智能车防别车的控制方法及装置 |
CN107993487A (zh) * | 2017-12-11 | 2018-05-04 | 东软集团股份有限公司 | 避让紧急车辆的方法及装置 |
CN111052201A (zh) * | 2017-09-01 | 2020-04-21 | 株式会社村上开明堂 | 碰撞预测装置、碰撞预测方法以及程序 |
CN111081061A (zh) * | 2018-10-22 | 2020-04-28 | 杭州海康威视数字技术股份有限公司 | 碰撞预警方法及装置 |
CN112201055A (zh) * | 2020-11-10 | 2021-01-08 | 上海悦充网络科技有限公司 | 一种车辆行驶危险感应识别处理方法及系统 |
CN113053165A (zh) * | 2019-12-26 | 2021-06-29 | 北京宝沃汽车股份有限公司 | 车辆及其碰撞识别方法、装置和设备 |
CN113450595A (zh) * | 2021-06-30 | 2021-09-28 | 江西昌河汽车有限责任公司 | 一种人车交互的防碰撞预警系统及预警方法 |
CN114038196A (zh) * | 2021-11-18 | 2022-02-11 | 成都车晓科技有限公司 | 车辆前向防撞预警系统及方法 |
CN115063904A (zh) * | 2022-05-18 | 2022-09-16 | 合众新能源汽车有限公司 | 一种车机端事件相关行车记录方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103686068A (zh) * | 2012-09-06 | 2014-03-26 | 现代摩比斯株式会社 | 车辆图像处理装置和方法以及车辆图像处理系统 |
WO2014130460A2 (en) * | 2013-02-25 | 2014-08-28 | Honda Motor Co., Ltd. | Real time risk assessment for advanced driver assist system |
CN104101878A (zh) * | 2014-06-23 | 2014-10-15 | 北京智华驭新汽车电子技术开发有限公司 | 一种车辆前方目标识别系统及识别方法 |
JP2015005168A (ja) * | 2013-06-21 | 2015-01-08 | 創研光電股▲ふん▼有限公司 | 車線逸脱(ldws)及び前方衝突(fcws)警報機能を具えるドライブレコーダ(dr) |
-
2015
- 2015-09-23 CN CN201510611655.7A patent/CN106548659B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103686068A (zh) * | 2012-09-06 | 2014-03-26 | 现代摩比斯株式会社 | 车辆图像处理装置和方法以及车辆图像处理系统 |
WO2014130460A2 (en) * | 2013-02-25 | 2014-08-28 | Honda Motor Co., Ltd. | Real time risk assessment for advanced driver assist system |
JP2015005168A (ja) * | 2013-06-21 | 2015-01-08 | 創研光電股▲ふん▼有限公司 | 車線逸脱(ldws)及び前方衝突(fcws)警報機能を具えるドライブレコーダ(dr) |
CN104101878A (zh) * | 2014-06-23 | 2014-10-15 | 北京智华驭新汽车电子技术开发有限公司 | 一种车辆前方目标识别系统及识别方法 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107264527A (zh) * | 2017-06-08 | 2017-10-20 | 广州汽车集团股份有限公司 | 智能车防别车的控制方法及装置 |
CN111052201A (zh) * | 2017-09-01 | 2020-04-21 | 株式会社村上开明堂 | 碰撞预测装置、碰撞预测方法以及程序 |
CN111052201B (zh) * | 2017-09-01 | 2022-02-01 | 株式会社村上开明堂 | 碰撞预测装置、碰撞预测方法以及存储介质 |
CN107993487A (zh) * | 2017-12-11 | 2018-05-04 | 东软集团股份有限公司 | 避让紧急车辆的方法及装置 |
CN111081061A (zh) * | 2018-10-22 | 2020-04-28 | 杭州海康威视数字技术股份有限公司 | 碰撞预警方法及装置 |
CN111081061B (zh) * | 2018-10-22 | 2021-09-21 | 杭州海康威视数字技术股份有限公司 | 碰撞预警方法及装置 |
CN113053165A (zh) * | 2019-12-26 | 2021-06-29 | 北京宝沃汽车股份有限公司 | 车辆及其碰撞识别方法、装置和设备 |
CN112201055A (zh) * | 2020-11-10 | 2021-01-08 | 上海悦充网络科技有限公司 | 一种车辆行驶危险感应识别处理方法及系统 |
CN113450595A (zh) * | 2021-06-30 | 2021-09-28 | 江西昌河汽车有限责任公司 | 一种人车交互的防碰撞预警系统及预警方法 |
CN114038196A (zh) * | 2021-11-18 | 2022-02-11 | 成都车晓科技有限公司 | 车辆前向防撞预警系统及方法 |
CN115063904A (zh) * | 2022-05-18 | 2022-09-16 | 合众新能源汽车有限公司 | 一种车机端事件相关行车记录方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN106548659B (zh) | 2019-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106548659A (zh) | 一种前向碰撞预警方法及装置 | |
US10657670B2 (en) | Information processing apparatus | |
CN109634282B (zh) | 自动驾驶车辆、方法和装置 | |
CN106945668B (zh) | 车辆行驶窄道辅助系统 | |
US6330511B2 (en) | Danger deciding apparatus for motor vehicle and environment monitoring apparatus therefor | |
CN106611512B (zh) | 前车起步的处理方法、装置和系统 | |
CN104657735B (zh) | 车道线检测方法、系统、车道偏离预警方法及系统 | |
CN104085396A (zh) | 一种全景车道偏离预警方法及系统 | |
CN112349144B (zh) | 一种基于单目视觉的车辆碰撞预警方法及系统 | |
CN107031508A (zh) | 用于车辆的后视系统及其使用方法 | |
CN106537180A (zh) | 用于用针对行人的主动制动的摄影机输入缓解雷达传感器限制的方法 | |
CN108615383B (zh) | 基于车间通信的汽车交通路口辅助通行系统及其控制方法 | |
CN109871787A (zh) | 一种障碍物检测方法及装置 | |
CN112172663A (zh) | 一种基于开车门的危险报警方法及相关设备 | |
JP7285799B2 (ja) | 事故分析装置、事故分析方法及びプログラム | |
CN113297881A (zh) | 一种目标检测方法及相关装置 | |
CN104574993A (zh) | 一种道路监控的方法及装置 | |
JP6355161B2 (ja) | 車両用撮像装置 | |
CN202358096U (zh) | 一种基于dsp的车道偏离警示记录装置 | |
CN109859464A (zh) | 拥堵车道确定方法及相关产品 | |
CN106296869B (zh) | 行车信息的处理方法、处理系统及行车记录仪 | |
CN107640111B (zh) | 基于百核微处理器控制的汽车视觉图像处理系统及方法 | |
CN109532824A (zh) | 一种水平泊车的路沿识别方法 | |
JP5957182B2 (ja) | 路面上パターン認識方法および車両用情報記録装置 | |
CN105702090B (zh) | 一种倒车提醒装置和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |