CN104834889B - 标志线检测系统和标志线检测方法 - Google Patents

Abstract

一种标志线检测系统(1)包括：成像装置(10)、信息提取单元、路面区域识别单元和标志线检测单元。信息提取单元构造成基于由成像装置捕捉的成像区域中的图像信息，提取从成像装置到成像对象的深度距离信息。路面区域识别单元构造成基于深度距离信息，识别远处路面区域，远处路面区域是如下的路面区域：该路面区域排除在图像信息中的车辆的前方接近的路面区域，并且比前方接近的路面区域更远离车辆。标志线检测单元构造成基于对应于远处路面区域的位置的图像信息，检测在远处路面区域中的标志线。

Description

标志线检测系统和标志线检测方法

技术领域

本发明涉及一种标志线检测系统和标志线检测方法。

背景技术

已知日本专利申请公开No.2003-118521(JP2003-118521A)作为一种用于检测在车辆周围的路面上的标志线的检测系统和检测方法。日本专利申请公开No.2003-118521(JP2003-118521A)公开了如下技术：在车辆的前方的道路的捕捉图像中尽可能大地初始设定白线检测区域，并且，如果之后更新道路参数以反映实际的路面形状，则尽可能小地设定白线检测区域以提高处理速度，同时减少非白线对象的不正确检测的数量。这种技术通过在从车辆的近侧到远侧估计道路参数的同时，逐渐地移位白线检测区域以适应路面形状来检测远处的白线。日本专利申请公开No.2012-014398(JP2012-014398A)公开了一种技术：在线的基础上识别由实线和虚线构成的双重白线。该技术根据区域靠近车辆还是该区域远离车辆来改变识别方法，在靠近车辆的区域中，双重白线能够近似为直线，而在远离车辆的区域中，双重白线不能近似为双重白线，这是因为道路是转向道路。在该技术中，因为在远处区域中的双重白线的实线和虚线有时是合并的，所以虽然为车辆提供双重白线，但该双重白线也可能被判断为噪声。日本专利申请公开No.2010-060371(JP2010-060371A)公开了如下技术：计算从在捕捉到的图像中的消失点(通过透镜的焦点和成像表面预先确定)到车辆侧的在放射方向上的边缘强度的直方图，并且，通过识别边缘强度变得等于或者大于阈值的方向，确定在该方向上存在白线。日本专利申请公开No.2011-170750(JP2011-170750A)公开了如下技术：对每一帧记录在捕捉的图像中的白线边缘，而当在车辆中产生齿距变化时不对帧记录白线边缘。日本专利申请公开No.2007-286724(JP2007-286724A)公开了如下技术：当车辆进入十字路口时，基于在车辆的前方的道路的捕捉图像中设定的附近区域和远处区域的每个的测量点的分析结果，检测从其他交叉路靠近十字路口的车辆。在该技术中，将在远处区域中的测量点的密度设定得比在近处区域中的测量点的密度高。日本专利申请公开No.2001-101428(JP2001-101428A)公开了如下技术：根据车辆与前方车辆之间的距离，改变用于提取在车辆前方的道路的捕捉图像中的前方车辆的边缘的滤波。

顺便提及，用于在从近侧到远侧顺次检测标志线的同时，顺次估计路面形状的技术具有以下问题。例如，当标志线的亮度值由于诸如建筑物这样的立体物的阴影而降低时，当标志线被其它车辆或者自行车隐藏时，或者当因为标志线起伏而没有连续地检测到标志线时，有时不能够正确地估计路面形状。在这样的情况下，由于不充分的信息或者由于在捕捉的图像中的不正确区域的分析，所以在估计处理期间有时不能够检测到标志线。因此，存在提高远处标志线的检测精度的空间。

发明内容

本发明提供一种标志线检测系统和标志线检测方法，该标志线检测系统和标志线检测方法能够克服相关技术的不便，并且提高远处标志线的检测精度。

根据本发明的第一方面的标志线检测系统，包括：成像装置、信息提取单元、路面区域识别单元和标志线检测单元。成像装置被构造成捕捉车辆的周围环境。信息提取单元构被造成基于由所述成像装置捕捉的成像区域中的图像信息，提取从所述成像装置到成像对象的深度距离信息。路面区域识别单元被构造成基于所述深度距离信息来识别远处路面区域，所述远处路面区域是如下路面区域：在所述图像信息中排除了所述车辆的前方接近的路面区域，并且比所述前方接近的路面区域更远离所述车辆。标志线检测单元被构造成基于与所述远处路面区域的位置相对应的图像信息，检测在所述远处路面区域中的标志线。

根据本发明的第二方面的标志线检测方法包括：基于由捕捉车辆的周围环境的成像装置捕捉到的成像区域中的图像信息，提取从成像装置到成像对象的深度距离信息；基于所述深度距离信息，识别远处路面区域，所述远处路面区域是如下路面区域：在所述图像信息中排除了所述车辆的前方接近的路面区域，并且比所述前方接近的路面区域更远离所述车辆；并且基于与所述远处路面区域的位置相对应的图像信息，检测在所述远处路面区域中的标志线。

根据在本发明的第一方面和第二方面中的标志线检测系统和标志线检测方法，能够检测到在远处路面区域中的车辆的标志线，而不需要像在相关技术中的系统中，从车辆的前方接近的路面区域到远处路面区域依次地检测标志线及估计行驶道路的路面形状。因此，根据在本发明的第一方面和第二方面中的标志线检测系统和标志线检测方法，能够避免例如当在行驶期间不能成功地估计路面形状时，不能够检测到在远离车辆的位置处的车辆的标志线的情况。这使得在本发明的第一方面和第二方面中的标志线检测系统和标志线检测方法能够增加远处标志线的检测精度。在相关技术中，当不能够成功地估计路面形状时，存在对不正确的区域执行标志线检测处理的可能性。相比之下，根据本发明的第一方面和第二方面中的标志线检测系统和标志线检测方法，减少了由于这样的不正确地识别而执行的算术处理。因此，增加了远处标志线的检测精度，并且同时减少了用于算术处理所需的负荷和时间。

在本发明的第一方面中，标志线检测单元可以包括检测条件计算单元，该检测条件计算单元计算用于检测标志线的检测条件。路面区域识别单元可以构造成基于深度距离信息，识别在图像信息中的车辆的前方接近的路面区域和中间路面区域，所述中间路面区域呈现在所述图像信息中的所述远处路面区域和所述前方接近的路面区域之间。检测条件计算单元可以构造成计算第一检测条件、第二检测条件和第三检测条件，所述第一检测条件是用于检测在所述远处路面区域中的所述标志线的条件，所述第二检测条件是用于检测在所述前方接近的路面区域中的标志线的条件，所述第三检测条件是基于所述第一检测条件和所述第二检测条件的、用于检测在所述中间路面区域中的标志线的条件。

此外，在本发明的第一方面中，检测条件计算单元可以构造成基于在所述前方接近的路面区域、所述中间路面区域和所述远处路面区域中的每条标志线的边缘强度，来计算所述第一检测条件、所述第二检测条件和所述第三检测条件。

在本发明的第一方面中，路面区域识别单元可以构造成当在所述远处路面区域中没有检测到所述标志线时，识别比所述远处路面区域更靠近所述车辆的新的远处路面区域。

在本发明的第一方面中，信息提取单元、路面区域识别单元和标志线检测单元可以设置在电子控制单元中。

附图说明

下面将通过参考附图描述本发明的说明性实施例的特征、优势、技术和工业重要性，其中相同的编号指示相同的元件，并且其中：

图1是示出在本发明的实施例中的标志线检测系统的构造的实例的图；

图2是示出路面估计区域的图；

图3是示出V视差(disparity)曲线的图；

图4是示出识别的远处路面区域的图；

图5是示出标志线的检测处理的图；

图6是示出在图5中的部分A中的标志线的检测处理的图；

图7是示出标志线的检测处理的图；

图8是示出标志线的检测处理的图；

图9是示出路面形状的估计的图；

图10是示出检测条件计算区域的图；

图11是示出本发明的标志线检测系统的算术处理操作的实例的流程图；以及

图12是示出当估计了检测条件时的路面区域的图。

具体实施方式

下面通过参考附图具体描述在本发明的实施例中的标志线检测系统和标志线检测方法。应当注意的是本发明不限于该实施例。

[实施例]通过参考图1至图11描述本发明的标志线检测系统和标志线检测方法的实施例。

图1是示出在本实施例中的标志线检测系统1的图。该标志线检测系统1基于获取的车辆上的周围信息检测标志线。本实施例中的标志线是指在车辆附近的路面上通常为白色或者黄色的车道边界线。

标志线检测系统1包括：周围信息获取单元，该周围信息获取单元获取车辆的周围信息；路面区域识别单元，该路面区域识别单元基于获取的周围信息识别路面区域；以及标志线检测单元，该标志线检测单元检测在识别的路面区域中的标志线。

周围信息获取单元获取其中能够识别路面、标志线、立体物(其它车辆、建筑物等)、以及背景(天空等)的车辆周围信息。在该实施例中，成像装置10用于该周围信息获取单元。成像装置10构造成在成像区域中捕捉车辆的周围环境并且获取图像信息作为车辆周围信息。根据该图像信息，来识别路面和标志线，并且如下所述，识别路面、立体物，以及背景。图像信息是一组像素，在成像区域中每个像素具有亮度值信息。因此，根据该图像信息获取亮度图像，该亮度图像在亮度上表示在成像区域(下文中，称为“捕捉的图像”)中的图像的位置。能够基于包括在成像区域中的图像信息中的亮度值信息(更具体地，包括在每个像素中的、表示成像区域的亮度图像的亮度值信息)而识别路面和标志线。能够基于从图像信息中提取的深度距离信息而识别路面、立体物以及背景。深度距离信息也能够用于识别路面和标志线。为了基于深度距离信息识别路面和标志线，能够使用该技术领域中的已知的方法。

深度距离信息是指表示从成像装置10到成像对象在捕捉的图像中的深度距离的信息。深度距离的方向如下定义。当捕捉的图像的水平方向(横向方向)和垂直方向(纵向方向)分别定义为X坐标和Y坐标时，深度距离的方向是与XY平面呈直角的方向，并且是在成像装置10的成像方向上从成像装置10朝着远处位置的移动方向。因此，成像装置10捕捉至少在车辆的行驶方向上的图像。

为了识别各种对象，用作成像装置10的装置需要获得图像信息，该图像信息包括亮度值信息，以及基于获得的图像信息的深度距离信息。在该实施例中，立体照相机用作成像装置10。立体照相机的使用使得左侧照相机11和右侧照相机12能够获取在相同成像区域中的图像信息。因此，如后文将描述的，能够根据由左侧照相机11和右侧照相机12捕捉到的图像信息获得在成像区域中的视差值信息。基于获得的视差值信息，能够计算深度距离信息。虽然在该实施例中立体照相机用作周围信息获取单元(成像装置10)，然而单眼照相机也可以用作周围信息获取单元。在这种情况下，单眼照相机必须能够获取图像信息，该图像信息包括亮度值信息和深度距离信息，该深度距离信息指示到在车辆周围的图像对象的距离，使得能够识别路面、标志线、立体物以及背景。如果使用单眼照相机，则利用本技术领域中的已知的方法计算深度距离信息。

标志线检测系统1包括标志线检测ECU20。标志线检测ECU20是电子控制装置，在标志线检测系统1中该电子控制装置执行算术运算。在成像区域上由成像装置10捕捉的图像信息(来自左侧照相机11的图像信息和来自右侧照相机12的图像信息)发送到标志线检测ECU20。标志线检测ECU20基于来自每个左侧照相机11和右侧照相机12的图像信息获取在成像区域中的视差值信息，并且基于获取的视差值信息，计算深度距离信息。基于计算的深度距离信息，标志线检测ECU20识别包括在捕捉的图像中并且远离车辆的路面区域，并且基于在识别的远处路面区域中的亮度值信息，检测在路面区域中的标志线。在本实施例中的路面区域识别单元和标志线检测单元设置为标志线检测ECU20的算术处理功能中的一个。

标志线检测ECU20还包括信息提取单元，该信息提取单元根据由成像装置10捕捉的图像信息提取视差值信息和深度距离信息。标志线检测单元基于图像信息、亮度值信息、深度距离信息以及视差值信息中的至少一个来检测识别的路面区域的标志线。图像信息对应于识别的路面区域的位置(例如，之后将描述的远处路面区域)。亮度值信息包括在图像信息中。深度距离信息和视差值信息对应于识别的路面区域的位置。本实施例中的标志线检测单元利用在成像区域中的图像信息(来自左侧照相机11和右侧照相机12中的一个照相机的图像信息)来识别路面和标志线。在本实施例中，标志线检测单元利用包括在图像信息中的亮度值信息来识别路面和标志线。另一方面，路面区域识别单元利用基于在成像区域中的图像信息(来自左侧照相机11和右侧照相机12的图像信息)提取的深度距离信息(视差值信息)来识别路面、立体物以及背景。

信息提取单元利用在本技术领域中已知的方法来计算深度距离信息(视差值信息)。信息提取单元基于来自每个左侧照相机11和右侧照相机12的图像信息来计算在成像区域中的视差图像。在成像区域中，视差图像表示一组像素，每个像素具有视差值信息。视差图像指示来自左侧照相机11的图像信息和来自右侧照相机12的图像信息(下文中成为“基准图像信息”)的一个图像信息中的每个坐标处的视差。信息提取单元能够基于来自左侧照相机11的图像信息和来自右侧照相机12的图像信息的每个图像信息，来获得在成像区域中的视差值信息。在视差值和深度距离之间存在唯一的对应关系。因此，信息提取单元能够基于视差值信息获得在成像区域中的深度距离信息。

本实施例中的路面区域识别单元基于在成像区域中的深度距离信息(视差值信息)，从基准图像信息中识别部分或者整体的路面区域。

路面区域识别单元将基准图像信息分成多片，如图2的上部所示。此外，路面区域识别单元基于由信息提取单元计算的深度距离信息(视差值信息)，而产生诸如图3所示的这样的用于坐标V(对应于上述坐标Y的坐标)的深度距离(视差值)曲线。图3是示出V视差曲线的图。V视差曲线是指在二维平面中的曲线，在该二维平面内，在基准图像信息中的垂直方向(纵方向)坐标V投影到垂直轴线上，并且对应于坐标V的视差值投影到水平轴线上。路面区域识别单元基于V视差曲线的斜率和截距估计在基准图像信息中的路面、立体物以及背景。在对应于立体物以及背景的V视差曲线的部分中，视差值保持几乎恒定，这是因为在图像深度方向上到立体物和背景的距离不变。另一方面，在对应于路面的V视差曲线的部分中，视差值改变，这是因为在图像深度方向上到路面的距离改变。这使得路面区域识别单元能够基于由V视差曲线确定的对应于V坐标的视差值，识别路面、立体物以及背景。注意：基准图像信息在大致垂直(大致纵向)方向上分割。在图2中的上部所述的实例中，基准图像信息在纵向方向上分割。路面区域识别单元通过在每个分割区域(分割分区)中从远侧到车辆侧在垂直方向(纵向)上进行扫描的同时，将在每个坐标V处的视差值投影到二维平面上而在基准图像信息中产生V视差曲线。路面区域识别单元从最左边的分割区域到最右边的分割区域或者从最右边的分割区域到最左边的分割区域，依次为每个分割区域投影视差值。

如上所述，路面区域识别单元首先利用深度距离信息(视差值信息)在基准图像信息中识别路面、立体物以及背景。即，路面区域识别单元基于深度距离信息(视差值信息)来检测区域(参见图2的下部的附图)，该区域被估计作为在基准图像信息中的路面(下文中也称为“路面估计区域”)。因此，在后处理中利用标志线检测ECU20而执行算术处理的区域能够限定于基准图像信息中的路面估计区域及其周围的区域。这降低了在后处理中用于算术处理所需的负荷和时间。在图2的下部的图中，除了路面估计区域以外的区域为了描述用阴影线指示。

下面，路面区域识别单元将图像信息(基准图像信息)的一部分识别为其中标志线待检测的区域(下文中称为“标志线检测对象区域”)。例如，路面区域识别单元将在图像信息(基准图像信息)中的路面区域识别为标志线检测对象区域，该图像信息不包括车辆的前方接近的路面区域和比前方接近的路面区域更远的路面区域(下文中，这样的在图像信息中的路面区域称为“远处路面区域”)。

更具体地，路面区域识别单元将在基准图像信息中的路面估计区域的一部分识别为远处路面区域，在车辆的行驶方向上的前方接近的路面估计区域从其中排除。前方接近的路面区域是指靠近车辆的路面区域，其中能够以相关技术中的已知方法检测标志线，而不需要了解车辆的行驶道路的路面形状(曲率等)。即，远处路面区域可以认为是已经基于车辆行驶道路的路面形状的估计而在相关技术中识别的、行驶道路中的路面区域的一部分。路面区域识别单元还可以将所有路面估计区域都识别为标志线检测对象区域。

例如，当车辆的速度变得更高时，路面区域识别单元可以将在远离车辆的位置处(基准图像信息的上部)的路面估计区域的一部分识别为作为标志线检测对象区域的远处路面区域。根据车辆的速度，提前判断在远离车辆的位置处(即，在图像深度方向上车辆与的路面的距离)的道路估计区域的部分。注意：根据视差值信息计算被认为是上述深度距离信息的、车辆与在行驶道路上的位置之间的距离。

路面区域识别单元确定在基准图像信息中的至少路面估计区域及其周围区域作为扫描区域，并且基于当扫描区域被扫描时获得的深度距离信息(视差值信息)，识别标志线检测对象区域。路面区域识别单元可以对每个坐标V在水平方向(横向)上设定分割区域，并且在扫描区域中的每个分割区域中，从左端到右端或者从右端到左端在水平方向(横向)上进行扫描。例如，路面区域识别单元在扫描区域中从在远侧的分割区域到车辆侧的分割区域或者在扫描区域中从车辆侧的分割区域到远侧的分割区域、在水平方向(横向)上依次地对每个分割区域进行扫描。

例如，基于利用扫描区域(路面估计区域及其周围区域)的扫描获得的深度距离信息(视差值信息)，路面区域识别单元检测在基准图像信息中的变化点汇聚的位置(下文中称为“变化点汇聚部分”)。该变化点是指在基准图像信息中在路面、立体物以及背景之间的转换发生的位置。路面区域识别单元识别在变化点汇聚部分下方(即，在车辆侧上)的路面估计区域的部分，来作为远处路面区域，即标志线检测对象区域(图4)。在图4中，为了描述，不仅在图2所示的除了路面估计区域之外的区域中、而且还在除了在路面估计区域中的远处路面区域之外的区域中绘出阴影线。

另一方面，当车辆的行驶道路从平坦道路或者下坡道路转变成上坡道路、或者从下坡道路转变成平坦道路时，路面估计区域有时从基准图像信息的下端或者底部延续到上端。在这样的情况下，不检测变化点汇聚部分。因此，当在扫面区域(路面估计区域及其周围区域)的扫描期间不检测变化点汇聚部分时，路面区域识别单元可以提取在基准图像信息中的最上方位置处检测到的路面与立体物和背景之间的变化点，并且然后，识别在该变化点附近的路面估计区域来作为远处路面区域，即，标志线检测对象区域。

当扫描点到达如下位置时，路面区域识别单元可以识别该位置作为远处路面区域、即标志线检测对象区域；在该位置，在路面区域识别单元如上所述在垂直方向(纵向)上扫描所述扫描区域(路面估计区域及其周围区域)的同时，车辆与路面之间的深度方向上的距离到达预定值。预定值可以根据车辆的速度预先判断。

当识别标志线检测对象区域时，路面区域识别单元可以在水平方向(横向)上、以诸如左端或者右端或者在基准图像信息内侧的位置这样的任意位置作为起始点进行扫描。然而，被认为在基准图像信息中的路面的区域(路面估计区域)的位置在本实施例中已经基于上述的深度距离信息(视差值信息)而确定。因此，通过进行在与上述实例中描述的基准图像信息中的路面估计区域的位置相对应的位置开始的扫描，路面区域识别单元可以识别作为标志线检测对象区域的远处路面区域。

例如，基准图像信息的下端或者下部包括路面估计区域，而与车辆的行驶道路的形状无关。因此，路面区域识别单元从基准图像信息的下端或者下部开始、在向上的方向上进行扫描路面估计区域及其周围区域。这样的扫描方法排除了用于其中不出现标志线的区域的浪费的算术处理，从而降低了算术处理负荷。

在一些情况下，相比于通过以下端作为起始点进行扫描，路面区域识别单元可以通过从基准图像信息的上端在向下方向上进行扫描，能够更快地识别远处路面区域。因此，路面区域识别单元可以在基准图像信息的上端作为起始点的情况下进行扫描。另外，当基于地图信息和从车辆导航系统获得的车辆位置信息，将左转道路检测为车辆的行驶道路时，存在基准图像信息中的左侧上的路面估计区域。因此，路面区域识别单元可以从基准图像信息的左端在右方向上进行扫描。通过确定如上所述的扫描的起始点，路面区域识别单元能够当识别标志线检测对象区域时，减少算术处理负荷。

顺便提及，路面区域识别单元可以识别基准图像信息中的预定部分的路面估计区域，来作为远处路面区域，即标志线检测对象区域。作为预定的分区，预先确定通过水平分割基准图像信息而产生的分割区域的一个特定的分割区域，使得其从分割区域中选择。例如，当路面是直的、平坦的路面时，假设将被识别为远处路面区域的路面估计区域呈现在基准图像信息的中心部分中，虽然该假设依据诸如成像装置10的视角或者车辆中的齿距变化量这样的条件。因此，当在中心部分包括在其中的水平分割区域中存在路面估计区域时，路面区域识别单元可以将在该分割区域中的路面估计区域识别为远处路面区域，即标志线检测对象区域。另一方面，当在该水平分割区域中不存在路面估计区域时，路面区域识别单元判断在比该分割区域更加靠近车辆侧的另一分割区域中是否存在路面估计区域。当在该另一分割区域中存在路面估计区域时，路面区域识别单元将路面估计区域识别为远处路面区域，即标志线检测对象区域。当在该另一分割区域中不存在路面估计区域时，路面区域识别单元对更加靠近车辆侧的分割区域执行相同的算术处理。

另外，路面区域识别单元不仅可以识别这样的远处路面区域，还可以识别上述前方接近的路面区域识别为标志线检测对象区域。在该情况下，路面区域识别单元可以将在已经检测的路面估计区域上的信息直接应用到前方接近的路面区域。另外，路面区域识别单元还可以如上所述对路面估计区域再次进行扫描，并且，然后，识别前方接近的路面区域。

在该实施例中，路面区域识别单元如上所述构造，这是因为路面估计区域大致分成两部分：对于车辆的远处区域，和对于车辆的前方接近的区域。然而，当路面估计区域进一步细分成三个或者更多个区域时，期望路面区域识别单元构造成将这些区域的任意一个识别为标志线检测对象区域。

在该实施例中的标志线检测单元判断在由路面区域识别单元识别的标志线检测对象区域中是否存在标志线。标志线检测单元基于在检测对象区域上的亮度值信息检测在检测对象区域中的标志线。标志线可以利用所述技术领域中已知的方法来检测。

标志线检测单元能够细进一步划分成以下单元：边缘点检测单元、边缘点配对单元、边缘段检测单元、边缘段配对单元以及标志线选择单元。

边缘点检测单元检测在标志线检测对象区域中的边缘点(亮度从暗变化到亮或者从亮变化到暗的点)。边缘点可以利用本技术领域中已知的方法来检测。

例如，如图5和图6的上部所示，边缘点检测单元在水平方向上扫描至少基准图像信息中的标志线检测对象区域。此时，边缘点检测单元对于在检测对象区域中的每个位置处的亮度值信息使用差分滤波(例如，索贝尔滤波)。通过使用这种差分滤波，边缘点检测单元计算第一边缘点(上升边缘点)的边缘强度和第二边缘点(下降边缘点)的边缘强度，在第一边缘点处亮度从暗(主要是黑色)变化到亮(主要是白色或者黄色)，在第二边缘点处亮度从亮变化到暗(参见图6的下部的图)。即，边缘点检测单元根据在基准图像信息中的标志线检测对象区域，检测被认为是标志线的边缘点的第一边缘点和第二边缘点。暗部分主要对应于沥青部分。另一方面，亮部分主要对应于在路面上的标志线。

具有低的边缘强度的边缘点表示前面部分与后面部分之间的对比是低的。在这种情况下，由于除了标志线以外的诸如噪声或者路面上的污迹这样的因素、或者由于在标志线的部分中的擦痕，很难判断是否检测到边缘点。因此，当检测第一边缘点和第二边缘点时，边缘点检测单元将检测到的边缘点的边缘强度与阈值相对比，如果难以判断该边缘点是否是标志线的边缘点，则排除该边缘点。在该实例中，如果边缘强度包含在上限阈值与下限阈值之间的阈值范围内，则假设不需要进行稍后的算术处理而将边缘点排除(图7)。另一方面，标志线检测单元检测到其边缘强度超过上限阈值的边缘点作为第一边缘点，并且检测到其边缘强度低于下限阈值的边缘点作为第二边缘点。当将阈值应用于第一帧中的图像信息时，使用预设值；当将阈值应用于第二帧以及后续帧中的图像信息时，使用下文将描述的由检测条件计算单元计算的值。

然而，所有检测的第一边缘点和第二边缘点不需要代表标志线的边缘点。存在检测到由于噪声或者在路面上的污迹而使对比度高的边缘点的可能性。为了解决该问题，在该实施例中设置了边缘点配对单元。

边缘点配对单元从检测到的第一边缘点和第二边缘点中提取形成一对的第一边缘点和第二边缘点，并且，其后，排除没有成对而是单独的第一边缘点和第二边缘点，作为不必要的边缘点(图8)。所述一对是在一个标志线中检测到的一组第一边缘点和第二边缘点。为了判断两个边缘点是否形成一对，使用第一边缘点与第二边缘点之间的宽度以及在第一边缘点和第二边缘点上的亮度值信息。例如，当将第一边缘点和第二边缘点配对时，如果两个边缘点之间的距离相对于预设标志线的假设的宽度在预定范围之内，则边缘点配对单元形成一对第一边缘点和第二边缘点。另一方面，如果距离(宽度)相对于假设的宽度在预定范围之外，则假设第一边缘点和第二边缘点是由于噪声而被检测的不必要的边缘点，边缘点配对单元排除这些边缘点。

在被检测为一对的第一边缘点与第二边缘点之间呈现的第一边缘点或者第二边缘点被认为是由于对比的差异而检测的点。例如，由于在标志线中的擦痕，产生该差异。当检测下述的第一边缘段或者第二边缘段时，这些第一边缘点和第二边缘点是不必要的。因此，期望的是，这些边缘点作为不必要的边缘点而处理。

如上所述选择的所有的第一边缘点和第二边缘点更可能是标志线的边缘点。边缘部分检测单元对所有第一缘点和第二边缘点进行霍夫变换处理，以检测以直线形式或者曲线形式布置的线段(第一边缘段和第二边缘段)(图8)。

边缘部分配对单元计算所有检测的第一边缘段和第二边缘段的平行度或者距离，并且利用所计算的结果，提取形成一对的第一边缘段和第二边缘段(图8)。所述一对是指从一个标志线(当线是虚线时的每条线)检测的一组第一边缘段和第二边缘段。

成对的第一边缘段和第二边缘段的每个代表一个标志线的边界。标志线选择单元基于成对的第一边缘段和第二边缘段选择车辆的行驶道路的标志线。

如果当选择标志线时过去检测的车辆上的标志线信息不可用，则标志线选择单元选择由最新检测为一对的第一边缘段和第二边缘段所围绕的区域，作为车辆的标志线。如果检测到三个或者更多个标志线，则通过参考相对于每个检测的线的车辆位置或者其它车辆位置，或者通过参考其它车辆的行驶方向，标志线选择单元选择车辆的标志线。如果还不能够确定车辆的标志线，则标志线选择单元识别另一区域作为标志线检测对象区域，并且，同样考虑在新的检测对象区域中检测到的标志线的位置，来选择车辆的标志线。

另一方面，如果过去检测到的车辆上的标志线信息可用，则标志线选择单元提取与过去的标志线信息相似的一对第一边缘段和第二边缘段，而后，选择由第一边缘段和第二边缘段围绕的区域作为车辆的标志线。

过去检测到的车辆上的标志线信息是指：在当前的基准图像信息的帧之前产生的帧中检测到的车辆上的标志线信息，或者当车辆之前行驶在相同的路面上时检测到的车辆上的标志线信息。

标志线检测单元如上所述检测车辆的标志线。

标志线检测ECU20还包括估计路面形状的路面形状估计单元。基于由标志线检测单元检测到的标志线(更严格地说，标志线中的第一和第二边缘段的坐标及其边缘强度)，路面形状估计单元估计出现标志线的位置的路面形状(例如，图9)。例如，路面形状估计单元使用最小二乘法或者卡尔曼滤波来估计表示车辆的行驶道路的路面形状的行驶道路参数(曲率、曲率变化率、偏航角、横向位置)。

标志线检测ECU20可以包括投影控制单元，该投影控制单元根据行驶道路参数将路面形状和标志线投射到基准图像信息上。

标志线检测ECU20包括检测条件计算单元，该检测条件计算单元计算标志线检测条件。检测条件、即用于从基准图像信息检测标志线的条件包括：用于计算上述边缘强度的差分滤波和用于检测边缘点的阈值。例如，在标志线检测单元在当前的算术处理过程(第一帧)中使用的基准图像信息中的检测对象区域中检测到标志线、并且路面形状估计单元估计了用于该标志线的车辆的行驶道路的路面形状之后，检测条件计算单元计算检测条件，该检测条件将用于在下一算术处理过程(下一帧)中使用的基准图像信息中的标志线检测对象区域中。

为了计算所述检测条件，检测条件计算单元将在当前算术处理过程中的基准图像信息分割成多片信息，并且计算用于每个区域(下文中，称为“检测条件计算区域”)的标志线检测条件。在这种情况下，如果在当前算术处理过程中在基准图像信息中仅检测到标志线的一部分，则检测条件计算单元仅对包括标志线的检测条件计算区域计算检测条件。

在该实施例中，基准图像信息分成四个检测条件计算区域：远侧、近侧、左侧和右侧(参见图10)。远侧和近侧之间的划分可以基于由成像装置10的视角确定的照相机参数来设定。另外，考虑到车辆中的齿距变化，当需要时远侧和近侧之间的划分可以通过使得检测条件计算单元更正照相机参数而改变。远侧和近侧之间的划分还可以利用视差值信息和深度距离信息来确定。

另外，在该实施例中，检测条件计算单元计算虚拟线(下文中称为“中心线”)，该虚拟线定位在投射到车辆的车道中的两个标志线上的行驶道路参数的中间，并且，在该中心线作为边界的情况下，将基准图像信息分割成左侧和右侧。例如，检测条件计算单元计算两个标志线的行驶道路参数的X坐标的平均值以找到中心线。在该实例中，基准图像信息的水平方向(横向)是X坐标，并且垂直方向(纵向)是Y坐标。当将基准图像信息基于该中心线分割成检测条件计算区域时，只分割路面估计区域。如果行驶道路参数不可用(例如，在第一帧中)，则当设定检测条件计算区域时，可以将使基准图像信息平均分成两部分(左侧和右侧)的线用作中心线。

更具体地，利用用于当前的算术处理过程中的标志线的第一和第二边缘点的坐标、边缘强度、和行驶道路参数，检测条件计算单元计算上限阈值和下限阈值，对于与当前处理过程的检测条件计算区域相同的检测条件计算区域，该上限阈值和下限阈值将用于下一算术处理过程中。即，检测条件包括上限阈值和下限阈值。当前的算术处理过程是指对于上述的当前帧的算术处理过程。相似地，下一算术处理过程是指对于下一帧的算术处理过程。

检测条件计算单元计算标志线的第一和第二边缘点的边缘强度的平均值和标准差，该标志线位于对其将进行计算的检测条件计算区域中。其后，检测条件计算单元将计算的平均值和标准差代入下面给出的表达式1和表达式2，以计算上限阈值和下限阈值。在每个表达式中的“α”是任意的预设的值。

上限阈值＝平均值+α*标准差…(1)

下限阈值＝平均值-α*标准差…(2)

检测条件计算单元设定如上述所计算的上限阈值和下限阈值，作为用于下一算术处理过程的、在与当前算术处理过程的检测条件计算区域相同的检测条件计算区域内的上限阈值和下限阈值。

检测条件计算单元可以只将边缘强度的平均值设定为阈值。在这种情况下，确定的是，具有比阈值更大的边缘强度的边缘点可能是标志线的边缘点。

另外，对于与当前的算术处理过程的检测条件计算区域相同的检测条件计算区域，检测条件计算单元将在当前的算术处理过程中使用的差分滤波设定作为将在下一算术处理过程中使用的差分滤波。

下面通过参考图11的流程图描述标志线检测ECU20的算术处理的实例。

标志线检测ECU20接收由成像装置10捕捉的成像区域上的图像信息(步骤ST1)。

信息提取单元从图像信息提取视差值信息(步骤ST2)。如上所述提取视差值信息。其后，信息提取单元基于视差值信息计算深度距离信息(步骤ST3)。

路面区域识别单元基于深度距离信息在基准图像信息中识别预定路面区域(步骤ST4)。在该步骤中，在基准图像信息中的远处路面区域识别为标志线检测对象区域。

边缘点检测单元在基准图像信息中的预定路面区域(标志线检测对象区域)内检测第一边缘点和第二边缘点(步骤ST5)。在该步骤中，利用差分滤波、上限阈值和下限阈值从预定的路面区域(标志线检测对象区域)检测被认为是标志线的边缘点的第一边缘点和第二边缘点。

边缘点配对单元从检测的第一边缘点和第二边缘点，提取形成一对的第一边缘点和第二边缘点。通过这样做，边缘点配对单元形成一对第一边缘点和第二边缘点(步骤ST6)，并且，其后，将由噪声或者污迹引起的不必要的边缘点移除。

基于未作为不必要的边缘点而被移除的所有的第一边缘点和第二边缘点，边缘段检测单元检测第一边缘段和第二边缘段(步骤ST7)。其后，边缘段配对单元从所有检测到的第一边缘段和第二边缘段，提取形成一对的第一边缘段和第二边缘段，并且形成一对第一边缘段和第二边缘段(步骤ST8)。

基于成对的第一边缘段和第二边缘段，标志线选择单元选择在车辆的行驶道路中的标志线(步骤ST9)。其后，路面形状估计单元基于标志线来估计在预定路面区域(标志线检测对象区域)中的车辆的行驶道路的行驶道路参数(步骤ST10)。

检测条件计算单元计算将在下一算术处理过程中使用的标志线检测条件(步骤ST11)。例如，检测条件计算单元计算将在步骤ST5的处理中使用的差分滤波、上限阈值和下限阈值。

在完成上述的算术处理之后，标志线检测ECU20重复相似地用于将接收的下一帧中的图像信息的算术处理。

如上所述，在该实施例中标志线检测系统和标志线检测方法基于捕捉的图像信息利用深度距离信息(视差值信息)在基准图像信息中获得路面估计区域，并且，对于所获得的路面估计区域，进行用于检测标志线的算术处理。因此，该标志线检测系统和该标志线检测方法能够减少要求用于检测标志线的算术处理所需的负荷和时间。另外，该标志线检测系统和标志线检测方法不是对于存在立体物和背景的区域、而是对于可能存在标志线的路面估计区域进行算术处理。这增加了标志线检测精度和检测成功率。另外，该标志线检测系统和该标志线检测方法从路面估计区域识别预定的路面区域(远处路面区域)作为标志线检测对象区域，并且对该检测对象区域进行标志线检测处理。这使得该标志线检测系统和标志线检测方法能够进一步减少用于检测标志线的算术处理所需的负荷和时间。

该标志线检测系统和该标志线检测方法能够检测在远处路面区域中的车辆的标志线，而不需要如在相关技术中的系统中，从车辆的前方接近的路面区域到远处路面区域依次地检测标志线或者估计行驶道路的路面形状。因此，标志线检测系统和标志线检测方法能够避免例如在行驶期间当路面形状不能够成功地估计时，不能够检测到车辆的标志线位于远离车辆的位置的情况。这使得标志线检测系统和标志线检测方法能够增加远处标志线的检测精度。在相关技术中，当不能够成功地估计路面形状时，对不正确的区域进行了标志线检测处理。相比之下，因为减少了由于这样的不正确的识别而进行的算术处理，所以在该实施例中的标志线检测系统和标志线检测方法增加了远处标志线的检测精度并且，同时，减少了用于算术处理所需的负荷和时间。

如果车辆的行驶道路的路面形状是直的，则标志线检测系统和标志线检测方法能够通过简单地执行用于预定的路面区域(远处路面区域)的标志线检测处理，从前方接近的路面区域到远处路面区域估计标志线和路面形状。

如在该实施例中所述的，标志线检测系统和标志线检测方法执行用于远处路面区域的标志线检测处理，并且，同时，利用在该实施例中描述的方法或者在相关领域中的方法，执行用于前方接近的路面区域的标志线检测处理。在执行所述处理中，能够分开执行用于远处路面区域的算术处理和用于前方接近的路面区域的算术处理。即，标志线检测系统和标志线检测方法能够利用在该实施例中或者相关技术中的方法来检测在前方接近的路面区域中的标志线，在该处理同时或者在该处理之前，能够利用在该实施例中的方法来检测在远处路面区域中的标志线。因此，当以高速行驶时，标志线检测系统和标志线检测方法使得用户能够更早地找到远处标志线或者路面形状，从而在车道偏离防止支持控制或者车道保持支持控制期间，增加控制连续性或者车辆的运行的可靠性。另外，在标志线检测系统和标志线检测方法中，对车辆的近侧和远侧的一侧的算术处理不受对另一侧的算术处理的影响，该标志线检测系统和标志线检测方法防止在每一侧上的算术处理负荷和时间增加。

如日本专利申请公开No.2010-060371(JP2010-060371A)所公开，已知一种技术：在图像信息中的远处区域中设定消失点或者固定点并且，在该消失点作为起始点的情况下，检测标志线(白线)。在这种情况下，然而，消失点通过透镜的焦点和成像装置的成像表面而提前确定。这意味着消失点不总是在路面区域中设定，而是有时在出现立体物或者背景的区域中设定。因此，在相关领域中的技术有时不能够实现能够通过该实施例中的标志线检测系统和标志线检测方法来实现的上述效果。

在该实施例的说明中，假设标志线总是在标志线检测对象区域中出现，或者标志线总是从检测对象区域检测到。然而，标志线不总是出现在所有路面上。另外，即使出现在检测对象区域，标志线也可能被其他车辆隐藏。由于该原因，如果没有在标志线检测对象区域中检测出标志线，则路面区域识别单元在比该对象区域更接近车辆的区域中设定新的标志线检测对象区域。在该情况下，路面区域识别单元可以设定区域的部分或者整体作为新的标志线检测对象区域，该区域是未检测到标志线的检测对象区域的下一个区域并且更靠近车辆(在车辆侧)。如果在检测对象区域中没有检测到标志线，则该方法使得标志线检测系统和标志线检测方法能够重复地设定新的标志线检测对象区域直到最终检测到标志线。另外，如果最初设定的标志线检测对象区域是标志线不应当出现的区域，则该方法使得标志线检测系统和标志线检测方法能够再次设定新的标志线检测对象区域，使得能够更正检测对象区域设定错误。

[修改例]在该修改例中的标志线检测系统和标志线检测方法除了以下点以外与实施例中的标志线检测系统和标志线检测方法相似。

如图12所示，基于深度距离信息(视差值信息)，在该修改例中的路面区域识别单元在基准图像信息中不仅识别远处路面区域、还识别车辆的前方接近的路面区域，并且同时，识别在基准图像信息中的远处路面区域与前方接近的路面区域之间出现的中间路面区域。该路面区域识别单元以与实施例中的路面区域识别单元相同的方式，来识别远处路面区域作为标志线检测对象区域。另外，该路面区域识别单元识别前方接近的路面区域和中间路面区域作为标志线检测对象区域。前方接近的路面区域和中间路面区域从在实施中描述的路面估计区域来识别。在该修改例中的标志线检测单元能够以与实施例中的标志线检测单元相同的方式，同样对前方接近的路面区域和中间路面区域执行标志线检测处理。

在如在远处路面区域中一样，完成前方接近的路面区域的标志线的检测和路面形状的估计之后，在该路面区域中，在该修改例中的标志线检测单元计算将用于在该路面区域中的下一标志线检测处理过程的检测条件。用于远处路面区域的检测条件称为第一检测条件，并且用于前方接近的路面区域的检测条件称为第二检测条件。检测条件计算单元基于第一和第二检测条件，计算用于检测中间路面区域中的标志线的第三检测条件。

在该情况下，根据时区或者天气，在远处区域中捕捉的标志线与在近处区域中捕捉的标志线之间的亮度值和边缘强度存在差异。

例如，在白天，由于路面区域更远，路面区域的亮度值和边缘强度有时变得比前方接近的路面区域或者中间路面区域的亮度值和边缘强度低。因此，上述中间路面区域的上限阈值和下限阈值比前方接近的路面区域的上限阈值和下限阈值小，并且远处路面区域的上限阈值和下限阈值比中间路面区域的上限阈值和下限阈值小。因此，该修改例中的检测条件计算单元能够通过获得第一检测条件和第二检测条件，来估计第三检测条件，该第三检测条件是第一检测条件和第二检测条件之间的插值。例如，可以使用第一检测条件的值和第二检测条件的值的平均值作为第三检测条件。

在晚上或者多云时，根据车辆的前灯的光轴和成像装置10的视角，或者根据前灯是远光灯还是近光灯，靠近车辆的区域的亮度值比远处区域的亮度值小(更小的边缘强度)，或者远离车辆的区域的亮度值比近处区域的亮度值小(更小的边缘强度)。在雨天，远处区域或者近处区域的亮度值(边缘强度)有时取决于降雨量。因此，检测条件计算单元可以根据各种条件从第一检测条件和第二检测条件来估计第三检测条件。

检测条件计算单元可以提前设定用于每个上述条件的修正值，以基于用于对应的条件的修正值、第一检测条件和第二检测条件来估计第三检测条件。

在该修改例的描述中，标志线检测对象区域根据到车辆的距离分割成三个路面区域。此外，标志线检测对象区域可以根据到车辆的距离分割成四个或者更多个路面区域。在这种情况下，基于两个路面区域的每个的检测条件，检测条件计算单元可以计算在两个路面区域之间出现的路面区域的检测条件。

如上所述，该修改例中的标志线检测系统和标志线检测方法基于作为标志线检测对象区域的两个路面区域的每个的检测条件，计算用于中间路面区域的检测条件，该中间路面区域在该两个路面区域之间出现。因此，标志线检测系统和标志线检测方法能够提前估计将用于该中间路面区域的检测条件，而不需要等待在中间路面区域中的标志线检测或者路面形状估计的结束，从而提高了标志线检测精度和检测成功率。

Claims (6)

1.一种标志线检测系统(1)，其特征在于，包括：

成像装置(10)，该成像装置(10)被构造成捕捉车辆的周围环境；

信息提取单元，该信息提取单元被构造成基于由所述成像装置捕捉的成像区域中的图像信息，提取从所述成像装置到成像对象的深度距离信息；

路面区域识别单元，该路面区域识别单元被构造成基于所述深度距离信息来识别远处路面区域，所述远处路面区域是如下路面区域：在所述图像信息中排除了所述车辆的前方接近的路面区域，并且比所述前方接近的路面区域更远离所述车辆；以及

标志线检测单元，该标志线检测单元被构造成基于与所述远处路面区域的位置相对应的图像信息，检测在所述远处路面区域中的标志线。

2.根据权利要求1所述的标志线检测系统，其中

所述标志线检测单元包括检测条件计算单元，该检测条件计算单元计算用于检测所述标志线的检测条件，

所述路面区域识别单元被构造成基于所述深度距离信息，识别在所述图像信息中的所述车辆的所述前方接近的路面区域和中间路面区域，所述中间路面区域呈现在所述图像信息中的所述远处路面区域和所述前方接近的路面区域之间，并且

所述检测条件计算单元被构造成计算第一检测条件、第二检测条件和第三检测条件，所述第一检测条件是用于检测在所述远处路面区域中的所述标志线的条件，所述第二检测条件是用于检测在所述前方接近的路面区域中的标志线的条件，并且所述第三检测条件是基于所述第一检测条件和所述第二检测条件的、用于检测在所述中间路面区域中的标志线的条件。

3.根据权利要求2所述的标志线检测系统，其中

所述检测条件计算单元被构造成基于在所述前方接近的路面区域、所述中间路面区域和所述远处路面区域中的每个标志线的边缘强度，来计算所述第一检测条件、所述第二检测条件和所述第三检测条件。

4.根据权利要求1至3的任意一项所述的标志线检测系统，其中

所述路面区域识别单元被构造成当没有在所述远处路面区域中检测到所述标志线时，识别比所述远处路面区域更靠近所述车辆的新的远处路面区域。

5.根据权利要求1至3的任意一项所述的标志线检测系统，其中

所述信息提取单元、所述路面区域识别单元以及所述标志线检测单元设置在电子控制单元(20)中。

6.一种标志线检测方法，其特征在于，包括：

基于成像区域中的图像信息，提取从成像装置(10)到成像对象的深度距离信息，所述成像区域由捕捉车辆的周围环境的所述成像装置捕捉；

基于所述深度距离信息，识别远处路面区域，所述远处路面区域是如下路面区域：在所述图像信息中排除了所述车辆的前方接近的路面区域，并且比所述前方接近的路面区域距离更远离所述车辆；并且

基于与所述远处路面区域的位置相对应的图像信息，检测在所述远处路面区域中的标志线。