CN111133439A - 全景监视系统 - Google Patents

Abstract

本发明涉及一种全景监视系统。具体为其特征在于，本发明的全景监视系统包括：多个相机，其分别安装在车辆的前、后、左、右方向，用于拍摄车辆的周围图像；第一车道变更识别模块，其使用多个相机所分别拍摄的车辆的周围图像中的前方图像来辨别车道变更与否；第二车道变更识别模块，其使用基于多个相机所分别拍摄的车辆的周围图像而形成的全景图像来辨别车道变更与否；以及结果综合模块，其将第一和第二车道变更识别模块所分别辨别的有关车道变更与否的信息综合起来生成最终结果。

Description

全景监视系统

技术领域

本发明涉及全景监视系统。

背景技术

如今，随着车辆的广泛普及，因困意和驾驶员的不注意而造成的事故(尤其是车道变更时车辆之间的相撞事故)随之增加。

此外，驾驶员不能完全意识到多变化的车辆周围的情况，这也是相撞事故增加的一个原因，为了防止类似事故发生，就开发了通过使用相机来警示车道偏离的车道偏离预警系统(Lane Departure Warning System)。

此外，像停车，不能一眼确认前、后、左、右等方向的情况下，为防止相撞事故发生，就开发了全景监视系统(Surround View Monitoring System)，其用于将车辆周围的情况变换为从上面所看到的图像(即顶视图，Top view)且将它提供给驾驶员。

然而，车道偏离预警系统和全景监视系统的目的各不相同，因此，相机镜头的配置也存在差异。因为如此，如果将车道偏离预警系统和全景监视系统，两个都要安装在车辆的话，要另外安装各系统所需要的相机，从而，相机数量也随之增加，这就是问题所在。并且，由于相机数量的增加，其费用也同步增加。不仅如此，如果对各系统的相机所拍摄的图像都要进行处理的话，就需要高性能的处理器(比如CPU)，这也是一个问题。

为解决上述问题，一直在研究关于只有通过使用全景监视系统来辨别车道变更与否的方案。

然而，在全景监视系统的相机所使用的是广角镜，因此所拍摄的图像有可能产生畸变现象。因此，通过校正畸变后做图像处理并取出车道位置的方式，辨别车道变更与否。

但是，通过广角镜获取的图像将宽范围的事物含蓄地显示在小图像领域，因此在图像所显示的事物的密实度很高，而在校正畸变的图像其分辨率显得很低，这就是问题所在。

此外，与用于车道偏离警示系统的相机安装在倒车镜不同，安装在车辆前端的用于全景监视系统的相机(即前方相机)则安装在车辆外部的车牌附近，从而，拍摄高度变低，因此将远处的车道和近处的车道之间大小差异变大，这就是问题所在。

此外，在车辆高速行驶时，安装在车辆前端的相机所拍摄的图像里车道被显得太远，因此无法识别车道的情况频繁发生，这也是一个问题。

此外，为了解决车道识别不良问题，补充使用安装在车辆左、右侧的相机(即左侧相机和右侧相机)的话，就可以改善车道识别率，但由于图像处理次数的增加，就需要安装更高性能的处理器或者有可能不能处理所有图像帧，这就是问题所在。

发明内容

技术问题

本发明的观点在于提供全景监视系统，其用于将图像处理次数的增加降到最低并改善车道识别率。

技术方案

用于解决所述技术问题的本发明的实施例，一种全景监视系统包括：多个相机，其分别安装在车辆的前、后、左、右侧，用于拍摄车辆的周围图像；第一车道变更识别模块，其使用多个相机所分别拍摄的车辆的周围图像中的前方图像来辨别车道变更与否；第二车道变更识别模块，其使用基于多个相机所分别拍摄的车辆的周围图像而生成的全景图像来辨别车道变更与否；以及结果综合模块，其将分别由第一车道变更识别模块和第二车道变更识别模块所辨别的有关车道变更与否的信息进行综合以生成最终结果。

所述第一车道变更识别模块包括：前方图像选择部，从多个相机所分别拍摄的车辆的周围图像中选择前方图像；前方图像处理部，将前方图像选择部所选择的前方图像变换为车道识别用图像；前方图像车道识别部，在前方图像处理部所变换的车道识别用图像中检测出直线，并特定出所检测的直线中辨别为车道的直线的位置；前方图像车道变更识别部，从前方图像车道识别部以每帧接收有关所特定的直线位置的信息，并基于接收的信息来辨别车道变更与否。

所述前方图像处理部对前方图像选择部所选择的前方图像进行镜头畸变校正操作、尺寸调整操作、直方图(histogram)校正操作以及边缘(Edge)提取操作中至少一个操作后，将前方图像变换为车道识别用图像。

所述前方图像车道识别部对前方图像处理部所变换的车道识别用图像进行霍夫(Hough)变换操作且检测出直线，并通过第一车道识别滤波器辨别检测出来的直线是否相当于车道，并特定检测出来的直线中辨别为车道的直线的位置，通过第一卡尔曼(Kalman)滤波器消除包括在特定的直线位置的噪音，然后将有关特定的直线位置的信息提供到前方图像车道变更识别部。

所述第二车道变更识别模块包括：全景图像生成部，基于多个相机分别拍摄的车辆的周围图像形成全景图像；全景图像处理部，将全景图像生成部所形成的全景图像变换为车道识别用图像；全景图像车道识别部，在全景图像处理部所变换的车道识别用图像检测出直线，并特定出检测出的直线中辨别为车道的直线的位置；以及全景图像车道变更识别部，从全景图像车道识别部以每帧接收有关所特定的直线位置的信息，基于所接收的信息，提取车道间距、车道宽度以及车道位置中至少一个的变化，从而辨别车道变更与否。

所述全景图像生成部将基于多个相机所分别拍摄的车辆的周围图像而形成全景图像综合信息，并将全景图像综合信息反映到多个相机所分别拍摄的车辆的周围图像，从而形成全景图像。

所述全景图像处理部对全景图像选择部所选择的全景图像进行尺寸调整操作、去噪操作以及边缘提取操作中至少一个操作后，将全景图像变换为车道识别用图像。

所述全景图像车道识别部对全景图像处理部所变换的车道识别用图像进行霍夫(Hough)变换操作且检测出直线，并通过第二车道识别滤波器辨别检测出来的直线是否相当于车道，并特定检测出来的直线中辨别为车道的直线的位置，通过第二卡尔曼(Kalman)滤波器消除包括在特定的直线位置的噪音，然后将有关特定出的直线位置的信息提供到全景图像车道变更识别部。

其进一步包括基于所述结果综合模块所形成的最终结果而生成警示信息的警示标识模块，并所述警示标识模块在车道变更的情况下，向驾驶员输出警示信息。

所述多个相机包括：第一相机，安装在车辆的前端，用于拍摄车辆的前方图像；第二相机，安装在车辆的左侧，用于拍摄车辆的左侧图像；第三相机，安装在车辆的右侧，用于拍摄车辆的右侧图像；以及第四相机，安装在车辆的后端，用于拍摄车辆的后方图像。

发明效果

根据本发明，将用于前方图像的车道变更辨别结果和用于全景图像的车道变更辨别结果综合起来最终辨别车道变更与否，从而将图像处理次数的增加降到最低，同时改善车道识别率。此外，本发明的优点在于，将图像处理次数降到最低，也能改善车道识别率，因此不用安装高费用、高性能的处理器。并且，没有车道偏离预警系统也可以辨别车道偏离与否，因此可以减少安装在车辆的相机数量和安装费用。

附图说明

图1是说明关于本发明的实施例全景监视系统的框图。

图2是说明关于图1的第一车道变更识别模块的框图。

图3是说明关于图1的第二车道变更识别模块的框图。

图4是说明在图3的全景图像生成部所形成的全景图像的简图。

图5是说明关于图1的全景监视系统的车道偏离预警情况的图面。

具体实施方式

为了更容易了解本发明，在本文给特定术语下定义。除非在本文中另外明确地指定，否则在本发明所使用的科学或技术术语将具有在相应技术领域具备常识的人一般能理解的意思。此外，应理解，除非在本文中明确指定，否则单数形式的术语包含其复数形式，而复数形式的术语也包含其单数形式。

在下文中，现将参照图1至图5详细地描述本发明的实施例一种全景监视系统。

图1是说明关于本发明的实施例全景监视系统(Surround ViewMonitoringSystem)的框图。图2是说明关于图1的第一车道变更识别模块的框图。图3是说明关于图1的第二车道变更识别模块的框图。图4是说明在图3的全景图像生成部所形成的全景图像的简图。图5是说明关于图1的全景监视系统的车道偏离预警情况的图面。

首先，参照图1，根据本发明的实施例全景监视系统1可以安装在车辆，其包括多个相机100、第一车道变更识别模块200、第二车道变更识别模块300、结果综合模块400以及警示标识模块500。

多个相机100可分别安装在车辆的前、后、左、右方向，并拍摄车辆的周围图像。

更具体地，多个相机100包括安装在车辆的前端且拍摄车辆的前方图像的第一相机100a，安装在车辆的左侧且拍摄车辆的左侧图像的第二相机100b，安装在车辆的右侧且拍摄车辆的右侧图像的第三相机100c，以及安装在车辆的后端且拍摄车辆的后方图像的第四相机100d。

此外，多个相机100所分别拍摄的车辆的周围图像可以提供到第一车道变更识别模块200和第二车道变更识别模块300。

作为参考，在多个相机100可以使用广角镜，可并不限于此。

接着，参照图2，第一车道变更识别模块200通过使用多个相机100所分别拍摄的车辆的周围图像中前方图像来辨别车道变更与否。

具体地，第一车道变更识别模块200包括前方图像选择部210、前方图像处理部230、前方图像车道识别部250以及前方图像车道变更识别部270。

前方图像选择部210在多个相机100所分别拍摄的车辆的周围图像中可以选择前方图像。此外，前方图像选择部210将被选择的前方图像可以提供到前方图像处理部230。

前方图像处理部230将前方图像选择部210所选择的前方图像可以变换为车道识别用图像。

具体地，前方图像处理部230从前方图像选择部210可以提供到前方图像，并对所提供的前方图像进行镜头畸变校正操作、去噪操作、尺寸调整操作、直方图(histogram)校正操作以及边缘(edge)提取操作中至少一个操作后，将前方图像可以变换为车道识别用图像。

在此，用于拍摄车辆的前方图像的第一相机100a使用广角镜的话，所拍摄的图像有可能产生畸变现象，因此可以进行镜头畸变校正操作。

此外，举例来说，直方图可以是对相机所拍摄的图像的漏光程度(即亮度)进行区分并显示有多少像素分布在相应亮度的图表。举个例子，漏光可以意味着按照投射到相机的图像传感器的光照量的图像的明暗程度。此外，边缘是为了对相机所拍摄的图像进行线段划分时寻找线段交点而提取。

另外，前方图像处理部230将变换的车道识别用图像可以提供到前方图像车道识别部250。

前方图像车道识别部250在前方图像处理部230所变换的车道识别用图像检测出直线，并特定检测出来的直线中辨别为车道的直线的位置。

具体地，前方图像车道识别部250对前方图像处理部230所变换的车道识别用图像进行霍夫变换(Hough transformation)操作且检测出直线，并通过第一车道识别滤波器(未图示)辨别所检测出的直线是否相当于车道(即实际车道)。此外，前方图像车道识别部250特定出所检测的直线中辨别为车道的直线的位置，并通过第一卡尔曼滤波器(Kalmanfilter，未图示)消除包括在特定的直线位置的噪音后，将有关特定的直线位置的信息提供到前方图像车道变更识别部270。

作为参考，前方图像车道识别部250在检测出直线时，可以进行除霍夫变换操作以外的其他线段提取操作，但在本发明的实施例，为了便于说明，将前方图像车道识别部250在检测出直线时进行霍夫变换操作为例子来说明。

此外，前方图像车道识别部250为了辨别检测出来的直线是否相当于车道(即实际车道)，首先要指定车道消失点，并将所指定的车道消失点为中心检测出的直线可以分为左侧直线和右侧直线。接着，前方图像车道识别部250可以检测出将左侧直线中以车道消失点为中心且属于预先设定的角度内的直线，并可以检测出将右侧直线中以车道消失点为中心且属于预先设定的角度内的直线。经上述过程检测出来的直线中，将两个直线之间的间距和预先设定的车道宽度的误差更小的直线辨别为实际车道。

所述实际车道辨别方法可通过使用第一车道识别滤波器进行。

此外，前方图像车道识别部250在消除包括在特定的直线位置的噪音时，可以使用除卡尔曼滤波器以外的其他滤波器，在本发明的实施例，为了便于说明，将前方图像车道识别部250消除包括在特定的直线位置的噪音时使用卡尔曼滤波器为例子来说明。

在此，以第一车道识别滤波器和第一卡尔曼滤波器为例，它们以运算法则的形式使用在前方图像车道识别部250。

前方图像车道变更识别部270从前方图像车道识别部250每帧提供到有关特定的直线位置的信息，并基于提供到的信息以辨别车道变更与否。

具体地，前方图像车道变更识别部270将从前方图像车道识别部250所提供到的有关特定的直线位置的信息存储到每一帧，并基于存储的信息来了解特定的直线位置(即车道位置)的变化趋势，从而可以辨别车道变更与否。

当然，前方图像车道变更识别部270基于存储的信息进一步了解所特定的直线间距(即车道间距；以车辆为中心位于两侧的各车道之间的间距)或直线宽度(即车道宽度；车道本身的横向宽度)等变化趋势，从而可以辨别车道变更与否。

此外，前方图像车道变更识别部270可以将辨别结果提供到结果综合模块(图1的400)。

另一方面，参照图3和图4，第二车道变更识别模块300通过使用基于多个相机所分别拍摄的车辆的周围图像而形成的全景图像来辨别车道变更与否。

具体地，第二车道变更识别模块300可以包括全景图像生成部310、全景图像处理部330、全景图像车道识别部350以及全景图像车道变更识别部370。

全景图像生成部310基于多个相机100所分别拍摄的车辆的周围图像可以形成全景图像。

具体地，全景图像生成部310基于多个相机100所分别拍摄的车辆的周围图像而产生有关全景图像的综合信息，并将全景图像综合信息反映到多个相机100所分别拍摄的车辆的周围图像，从而形成全景图像。

即如图4所示，全景图像生成部310将多个相机100所分别拍摄的车辆C的前方图像FI、后方图像RI、右侧图像RSI、左侧图像LSI综合起来形成全景图像SVI。

作为参考，举例来说，全景图像综合信息可以包括用于按照容限参数信息对多个相机100所分别拍摄的图像进行缝合(stitching)的信息，而公差参数信息可以包括用于对因多个相机100的安装位置和角度差异的不同而产生的相机之间公差进行校正处理的有关参数信息。

此外，全景图像生成部310可以将所形成的全景图像提供到全景图像处理部330。

全景图像处理部330可以将全景图像生成部310所形成的全景图像变换为车道识别用图像。

具体地，全景图像处理部330从全景图像生成部310接收全景图像，并对所接收的全景图像进行镜头畸变校正操作、直方图校正操作、尺寸调整操作、去噪操作以及边缘提取操作中至少一个操作后，将全景图像变换为车道识别用图像。

此外，全景图像处理部330可以将所变换的车道识别用图像提供到全景图像车道识别部350。

全景图像车道识别部350在全景图像处理部330所变换的车道识别用图像检测出直线，并特定出检测出来的直线中辨别为车道的直线的位置。

具体地，全景图像车道识别部350对全景图像处理部330所变换的车道识别用图像进行霍夫变换操作且检测出直线，并通过第二车道识别滤波器(未图示)辨别检测出来的直线是否相当于车道(即实际车道)。此外，全景图像车道识别部350特定检测出来的直线中辨别为车道的直线的位置，并通过第二卡尔曼滤波器(未图示)消除包括在特定的直线位置的噪音，然后将有关特定的直线位置的信息提供到全景图像车道变更识别部370。

作为参考，全景图像车道识别部350在检测出直线时可以进行除霍夫变换操作以外的其他线段提取操作，但在本发明的实施例，为了便于说明，将全景图像车道识别部350在检测出直线时进行霍夫变换操作为例子来说明。

此外，全景图像车道识别部350为了辨别检测出来的直线是否相当于车道(即实际车道)，首先要挑选在检测出来的直线中近于垂直方向(即与行驶方向平行的方向)的倾度而延长的直线，并将所挑选的直线中将两个直线之间的间距与预先定义的车道宽度的误差更小的直线辨别为实际车道。

所述实际车道辨别方法通过使用第二车道识别滤波器进行。

作为参考，全景图像车道识别部350通过跟前方图像车道识别部250的实际车道辨别方法相同的方法也可以辨别检测出来的直线中实际车道。

此外，全景图像车道识别部350在消除包括在特定的直线位置的噪音时可以使用除卡尔曼滤波器以外的其他滤波器，但在本发明实施例，为了方便说明，将全景图像车道识别部350在消除包括在特定的直线位置的噪音时使用卡尔曼滤波器为例子来说明。

在此，以第二车道识别滤波器和第二卡尔曼滤波器为例，它们以运算法则的形式可以使用在全景图像车道识别部350。

全景图像车道变更识别部370从全景图像车道识别部350每帧提供到有关特定的直线位置的信息，并基于所提供到的信息，提取车道间距、车道宽度以及车道位置中至少一个的变化来辨别车道变更与否。

具体地，全景图像车道变更识别部370将从全景图像车道识别部350所提供到的有关特定的直线位置的信息存储到每一帧，并基于所存储的信息来了解车道间距(比如，以车辆为中心位于两侧的各车道之间的间距)、车道宽度(比如，车道本身的横向宽度)以及车道位置中至少一个变化趋势，从而可以辨别车道变更与否。

此外，全景图像车道变更识别部370可以将辨别结果提供到结果综合模块(图1的400)。

如上所述，第二车道变更识别模块300通过全景图像辨别车道变更与否，因此可以弥补通过前方图像来辨别车道变更与否的第一车道变更识别模块200的车道识别准确度。

照此，跟以往不同，不用补充使用用于解决车道识别不良问题而安装在车辆左、右侧的相机(即左侧相机和右侧相机)，并通过全景图像可以同时检测出左、右侧车道，因此将图像处理次数的增加可以降到最低。

再次参照图1，结果综合模块400将第一和第二车道变更识别模块200，300所分别辨别的有关车道变更与否的信息(即辨别结果)综合起来生成最终结果。

具体地，结果综合模块400将第一车道变更识别模块200所识别的车道位置和第二车道变更识别模块300所识别的车道位置之间的偏差等信息综合起来辨别有关车道变更与否的真伪，并基于辨别结果生成最终结果。

此外，结果综合模块400将所产生的最终结果提供到警示标识模块500。

警示标识模块500基于结果综合模块400所产生的最终结果来生成警示信息。

具体地，警示标识模块500基于结果综合模块400所产生的最终结果来生成警示信息，并在最终结果指为车道变更的情况下，向驾驶员可以输出警示信息。

即警示标识模块500可以将警示信息提供至车辆所载的显示器(未图示)，而显示器可以显示所接收的警示信息。

参照图5，其图所示在车辆所载的显示器上标识警示信息A的情况。

即显示器在车辆C偏离左侧车道L时，将警示信息A同时显示在车辆C的左侧，从而使驾驶员立刻意识到偏离左侧车道L的情况。

此外，尽管在图面未图示，但警示标识模块500通过车辆所载的音响(未图示)以语音形式可以输出警示信息。

如上所述，根据本发明的全景监视系统1，将使用前方图像的车道变更辨别结果和使用全景图像的车道变更辨别结果综合起来最终辨别车道变更与否，从而将图像处理次数的增加降到最低，也能改善车道识别率。此外，其优点在于没有图像处理次数的增加也能改善车道识别率，因此不用安装高费用、高性能的处理器。进而，没有车道偏离预警系统(LaneDeparture Warning System)也可以辨别车道偏离与否，因此可以减少需要安装在车辆的相机数量和安装费用。

以上是对本发明的描述，本领域技术人员能够在不脱离专利要求范围所记载的本发明的思想范围内，通过组成部分的补充、变更、删除或添加等方法进行各种修改和变更，这也应包括在本发明的权利范围内。

Claims (10)

1.一种全景监视系统，其中，包括：

多个相机，其分别安装在车辆的前、后、左、右侧，用于拍摄所述车辆的周围图像；

第一车道变更识别模块，其使用由所述多个相机分别拍摄的所述车辆的周围图像中的前方图像来辨别车道变更与否；

第二车道变更识别模块，其使用基于所述多个相机分别拍摄的所述车辆的周围图像而生成的全景图像来辨别车道变更与否；以及

结果综合模块，其将分别由所述第一车道变更识别模块和第二车道变更识别模块所辨别的有关车道变更与否的信息进行综合以生成最终结果。

2.根据权利要求1所述的全景监视系统，其中，所述第一车道变更识别模块包括：

前方图像选择部，从所述多个相机所分别拍摄的所述车辆的周围图像中选择所述前方图像；

前方图像处理部，将所述前方图像选择部所选择的所述前方图像变换为车道识别用图像；

前方图像车道识别部，在所述前方图像处理部所变换的所述车道识别用图像中检测出直线，并特定出所检测的所述直线中辨别为车道的直线的位置；

前方图像车道变更识别部，从所述前方图像车道识别部以每帧接收有关所特定的所述直线位置的信息，并基于接收的所述信息来辨别车道变更与否。

3.根据权利要求2所述的全景监视系统，其中，

所述前方图像处理部对所述前方图像选择部所选择的所述前方图像进行镜头畸变校正操作、直方图校正操作、尺寸调整操作、去噪操作以及边缘(Edge)提取操作中至少一个操作后，将所述前方图像变换为所述车道识别用图像。

4.根据权利要求2所述的全景监视系统，其中，

所述前方图像车道识别部对所述前方图像处理部所变换的所述车道识别用图像进行霍夫变换操作以检测出直线，并通过第一车道识别滤波器辨别检测出来的所述直线是否相当于车道，并特定出所检测的所述直线中辨别为车道的直线的位置，通过第一卡尔曼滤波器消除包括在所特定的所述直线位置的噪音，然后将有关所述特定的直线位置的信息提供到所述前方图像车道变更识别部。

5.根据权利要求1所述的全景监视系统，其中，所述第二车道变更识别模块包括：

全景图像生成部，基于由所述多个相机分别拍摄的所述车辆的周围图像而形成所述全景图像；

全景图像处理部，将所述全景图像生成部所形成的所述全景图像变换为车道识别用图像；

全景图像车道识别部，在所述全景图像处理部所变换的所述车道识别用图像检测出直线，并特定出所检测的所述直线中辨别为车道的直线的位置；以及

全景图像车道变更识别部，从所述全景图像车道识别部以每帧接收有关所特定的所述直线位置的信息，并基于所接收的所述信息，提取车道间距、车道宽度以及车道位置中至少一个的变化，从而辨别车道变更与否。

6.根据权利要求5所述的全景监视系统，其中，

全景图像生成部基于由所述多个相机分别拍摄的所述车辆的周围图像而生成全景图像综合信息，并将所述全景图像综合信息反映到所述多个相机所分别拍摄的所述车辆的周围图像中，从而生成所述全景图像。

7.根据权利要求5所述的全景监视系统，其中，

所述全景图像处理部对所述全景图像选择部所选择的所述全景图像进行镜头畸变校正操作、直方图校正操作、尺寸调整操作、去噪操作以及边缘提取操作中至少一个操作后，将所述全景图像变换为所述车道识别用图像。

8.根据权利要求5所述的全景监视系统，其中，

所述全景图像车道识别部对所述全景图像处理部所变换的所述车道识别用图像进行霍夫变换操作以检测出直线，并通过第二车道识别滤波器辨别检测出来的所述直线是否相当于车道，并特定出所检测的所述直线中辨别为车道的直线的位置，通过第二卡尔曼滤波器消除包括在所特定的所述直线位置的噪音，然后将有关所特定的所述直线位置的信息提供到所述全景图像车道变更识别部。

9.根据权利要求1所述的全景监视系统，其中，

进一步包括警示标识模块，其基于所述结果综合模块所形成的所述最终结果而生成警示信息，

在车道变更的情况下，所述警示标识模块向驾驶员输出所述警示信息。

10.根据权利要求1所述的全景监视系统，其中，所述多个相机包括：

第一相机，安装在所述车辆的前端，用于拍摄所述车辆的前方图像；

第二相机，安装在所述车辆的左侧，用于拍摄所述车辆的左侧图像；

第三相机，安装在所述车辆的右侧，用于拍摄所述车辆的右侧图像；及

第四相机，安装在所述车辆的后端，用于拍摄所述车辆的后方图像。

Images