CN110836656B - 用于单目adas的防抖测距方法、装置和电子设备 - Google Patents

Abstract

本申请涉及用于单目ADAS的防抖测距方法、装置和电子设备。根据一实施例，提供一种用于确定车辆的抖动量的方法，包括：利用车载相机获得车辆周边环境的多帧图像；基于所述多帧图像确定车辆的第一抖动；利用惯性测量单元(IMU)确定车辆的第二抖动；以及将所述第一抖动和所述第二抖动进行融合以确定所述车辆的抖动。通过确定车辆的抖动量，可以在单目视觉测距期间补偿因抖动而产生的误差，从而实现更准确的测距。

Description

用于单目ADAS的防抖测距方法、装置和电子设备

技术领域

本申请总体上涉及辅助驾驶(ADAS)领域，更特别地，涉及一种基于惯性测量单元(IMU)的单目ADAS视觉测距防抖的方法、装置和电子设备。

背景技术

近年来，自动驾驶，或者说高级驾驶辅助系统(ADAS)，受到了广泛的关注和热烈的研究。ADAS系统需要使用各种车载传感器来感知车辆本身以及周围环境的各种状态，从而做出驾驶策略决定，最终实现自动驾驶功能。这样的车载传感器的示例包括摄像头、激光雷达、超声波雷达等，其中摄像头，也称为车载相机，由于价格低廉并且能实现多种功能，而被广泛使用。例如，摄像头可用于视觉测距从而防碰撞、车道跟踪、SLAM建图等功能。

摄像头一般可分为单目摄像头和多目摄像头，其中多目摄像头可通过多视角测距法直接获得所拍摄的图像的深度信息，从而可以容易地用于测距等应用。而单目摄像头拍摄的图像没有深度信息，因此需要将单目图像经过特定的处理以实现测距功能。目前，典型的处理方法一般分为两种，根据车宽在图像中所占的像素推算出与目标车辆的距离，以及根据目标车辆在图像上的相对位置来计算车辆的距离。然而，这些方法都有一定的缺陷。由于车辆的种类不一，车宽差别比较大，根据车辆在图像中的宽度推算的车距可能具有较差的准确性。此外，该方法还容易受到相机内参、实际距离等情况的影响，所以误差较大。对于第二类方法，通过相对位置来判断，可以对不同车型的车辆进行测距，然而前车在图像中的相对位置会受到本车起伏的影响，特别是对较远的车辆相对位置影响较大。

因此，仍需要一种方法，其能够利用单目摄像头实现准确的测距。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了基于惯性测量单元(IMU)的单目ADAS视觉测距防抖的方法、装置和电子设备，其通过结合IMU单元来准确算出本车的颠簸状况，补偿前车在图像中的相对位置，从而保证了测距的精度。

根据本申请的一个方面，提供了一种用于确定车辆的抖动量的方法，包括：利用车载相机获得车辆周边环境的多帧图像；基于所述多帧图像确定车辆的第一抖动；利用惯性测量单元(IMU)确定车辆的第二抖动；以及将所述第一抖动和所述第二抖动进行融合以确定所述车辆的抖动。

在一些实施例中，所述车载相机是单目相机。

在一些实施例中，基于所述多帧图像确定车辆的第一抖动包括：从所述多帧图像中的第一帧图像中提取多个第一特征点(P₁)；从所述多帧图像中的第二帧图像中确定与所述多个第一特征点对应的多个第二特征点(P₂)；以及基于所述多个第一特征点和所述多个第二特征点计算第一抖动。

在一些实施例中，在利用惯性测量单元(IMU)确定车辆的第二抖动之前，所述方法还包括标定所述IMU的外参。

在一些实施例中，利用惯性测量单元(IMU)确定车辆的第二抖动包括：利用惯性测量单元的测量值确定车辆与地面的夹角；以及基于所述夹角确定车辆的第二抖动。

在一些实施例中，将所述第一抖动和所述第二抖动进行融合以确定所述车辆的抖动包括：计算所述多个第一特征点和所述多个第二特征点之间的重投影误差；基于所述重投影误差确定所述第一抖动的置信度；以及利用所述置信度对所述第一抖动和所述第二抖动进行融合以确定所述车辆的抖动。

根据本申请的另一个方面，提供了一种用于确定当前车辆与目标车辆之间的距离的方法，包括：利用上述方法确定当前车辆的抖动；利用车载相机获得测距图像，所述测距图像包括所述目标车辆；确定所述目标车辆在所述测距图像中的第一位置；利用所述当前车辆的抖动对所述第一位置进行补偿，以获得第二位置；以及基于所述第二位置确定所述目标车辆与所述当前车辆之间的距离。

在一些实施例中，所述测距图像是所述车辆周边环境的多帧图像中的一帧图像。

根据本申请的另一个方面，提供了一种用于确定车辆的抖动量的装置，包括：图像获取单元，用于获取车载相机拍摄的车辆周边环境的多帧图像；第一抖动计算单元，用于基于所述多帧图像计算车辆的第一抖动；第二抖动计算单元，用于基于惯性测量单元(IMU)的测量数据计算车辆的第二抖动；以及融合单元，用于将所述第一抖动和所述第二抖动进行融合以确定所述车辆的抖动。

在一些实施例中，所述第一抖动计算单元包括：特征点提取单元，用于从所述多帧图像中的第一帧图像中提取多个第一特征点(P₁)；跟踪单元，用于跟踪所述多个第一特征点以在所述多帧图像中的第二帧图像中确定对应的多个第二特征点(P₂)；以及抖动计算单元，用于基于所述多个第一特征点和所述多个第二特征点计算所述第一抖动。

在一些实施例中，所述装置还包括：IMU标定单元，用于标定所述IMU的外参。

在一些实施例中，所述第二抖动计算单元包括：地面夹角计算单元，用于基于所述惯性测量单元的测量数据计算所述惯性测量单元与地面的夹角；以及抖动计算单元，用于基于所述夹角计算所述第二抖动。

在一些实施例中，所述融合单元包括：重投影误差计算单元，用于计算所述多个第一特征点和所述多个第二特征点之间的重投影误差；置信度计算单元，用于基于所述重投影误差确定所述第一抖动的置信度；以及抖动计算单元，用于基于所述置信度、所述第一抖动和所述第二抖动来计算所述车辆的抖动。

根据本申请的另一个方面，提供了一种用于确定当前车辆与目标车辆之间的距离的装置，包括：上述用于确定车辆的抖动量的装置，用于确定当前车辆的抖动量；图像获取单元，用于获取车载相机拍摄的测距图像，所述测距图像包括所述目标车辆；第一位置确定单元，用于确定所述目标车辆在所述测距图像中的第一位置；补偿单元，用于基于所述当前车辆的抖动对所述第一位置进行补偿，以确定第二位置；以及距离确定单元，用于基于所述第二位置确定所述目标车辆与所述当前车辆之间的距离。

根据本申请的另一个方面，提供了一种电子设备，包括：处理器；以及存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行上述方法。

根据本申请的另一个方面，提供了一种车辆，其包括上述电子设备。

根据本申请的另一个方面，提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行上述方法。

与现有技术相比，本发明的实施例实现了诸多有益的技术效果。例如，IMU单元可以避免视觉防抖在光照条件、图像模糊等方面的限制，而视觉防抖又可以避免IMU单元因累积误差导致的精度缺陷，本发明通过结合两者信息，可以得出更稳定的结果。而且，通过本发明可以实现单目测距，从而节省硬件成本。

附图说明

通过结合附图对本申请的示例性实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请的示例性实施例的进一步理解，并且构成说明书的一部分，与本申请的示例性实施例一起用于说明本申请的原理，但是并不构成对本申请的任何限制。在附图中，相同或相似的参考标号通常代表相同或相似的部件或步骤。

图1示出根据本申请一实施例的车辆防抖的应用场景的示意图。

图2示出根据本申请一实施例的用于确定车辆的抖动量的方法的流程图。

图3示出图2的方法中确定视觉抖动量的示意图。

图4示出图2的方法中的抖动融合步骤的流程图。

图5示出根据本申请一实施例的视觉测距方法的流程图。

图6示出根据本申请一实施例的车辆抖动确定装置的功能框图。

图7示出根据本申请一实施例的视觉测距装置的功能框图。

图8示出根据本申请一实施例的电子设备的结构框图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例性实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例性实施例的任何限制。

申请概述

如上所述，目前的单目视觉测距方案，一般基于前车在图像中的宽度或相对位置来估算前车的距离，这些方案都存在一定的缺陷。例如，对于基于宽度的方案，不同车辆本身的宽度可能有所不同，而且该方案还容易受到相机内参、实际距离等情况的影响，所以误差较大。对于基于相对位置的方案，容易受到本车起伏的影响，特别是对较远的车辆相对位置影响较大。

针对上述及其他问题，本申请的基本构思是提出一种确定车辆抖动的方法，其将视觉抖动量和IMU抖动量相融合，来确定车辆的抖动，从而补偿测距精度。通过视觉信息，可以判断出本车的运动状态，能有防抖的作用，但是视觉防抖很容易受到光照、运动模糊等状况的影响，所以在某些情况下会失效。IMU防抖不受该类环境条件的影响，但是长时间会出现误差累计，导致运动状态估计不准。本发明通过将二者相融合，可以得出比较稳定和准确的结果。通过确定本车的抖动量，可以准确地估算出相对车距。本申请还提出了可用于实施上述方法的装置、电子设备、车辆、计算机程序产品等。

通过结合视觉和IMU的优点，可以确保车辆在行驶过程中，在各种环境条件下都可以稳定准确地补偿车辆颠簸对前车在图像中的相对位置的变化，从而确保测距的精度。本发明的方法可对不同类型的车辆进行测距，而且精度较高，具有广泛的实用性。

在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。

示例性场景

图1示出根据本申请一实施例的车辆防抖的应用场景的示意图。

如图1所示，本申请的车辆防抖方案可应用于车辆10上，其也可以称为本车。本车10可以是配备有驾驶辅助系统(ADAS)的车辆，其在行驶时，可能需要对前方车辆(未示出)进行视觉测距，以基于离前车的距离来做出各种驾驶策略。如前所述，视觉测距可能会受到本车10的抖动的影响，因此可以在车辆10上实施本发明的防抖方案，以实现稳定准确的测距。

典型地，车辆10可包括车载相机12，其可以拍摄车辆10周围的环境图像，包括前车图像，该图像可用于执行本发明的视觉防抖和测距方案，ADAS系统可使用抖动量补偿后的视觉测距的结果来评估驾驶环境，并且做出各种相应的驾驶策略，例如刹车或踩油门等。车载相机12可以是单目相机，其拍摄的图像不包含深度信息。当然，当车载相机12是双目或更多目相机时，其也可以用于执行本发明的方案。

车辆10还可以包括惯性测量单元(IMU)14，其典型地可包括加速度计和陀螺仪，分别用于测量物体在三维空间中的角速度和角速度，并由此解算出物体的姿态，包括俯仰角、航向角和滚转角。如下面描述的，可以利用IMU单元14确定车辆10的姿态，从而确定车辆10的抖动，即俯仰角。

继续参照图1，车辆10还可以包括车载电子设备16，例如车载电脑，其具体结构将在下面进一步详细描述。车载电子设备16可以获得车载相机12拍摄的图像以及IMU单元14的测量结果，并且利用这些数据来执行下面描述的本发明的防抖及测距方法。

虽然这里以车辆为背景描述了本发明的实施例，但是应理解，本发明的原理亦可应用于其他需要视觉测距的场景，例如移动机器人等，其应被理解为被包括在所附权利要求及其等价物的范围内。

示例性方法

图2示出根据本申请一实施例的用于确定车辆的抖动量的方法100的流程图。如图2所示，方法100可始于步骤S110，利用车载相机12获得车辆10周围环境的多帧图像，其包括需要对其进行测距的前车(未示出)图像。这里，车辆10也可以称为本车、当前车辆或后车，需要进行测距的车辆也可以称为前车或目标车辆。如前所述，车载相机12可以是单目相机，虽然图1示出车载相机12安装于车辆10的顶部，但是其也可以安装在其他位置，例如车头处等。

然后在步骤S120，可以基于所获得的多帧图像来确定车辆10的抖动，这里称为第一抖动。步骤S120可以通过基于视觉确定车辆10的运动状态，进而确定其抖动量来实现。作为示例，可以采用特征点跟踪算法。为了考虑算法效率，可以不对整幅图像进行跟踪，而是选取一定的关注区域ROI，然后在ROI中提取若干特征点，这里记为第一特征点P1。例如，可以在ROI区域中沿图像宽度和图像高度方向以一定的步长均匀地提取若干特征点P1。作为示例，可以沿宽度方向以20像素为步长，沿高度方向以15像素为步长，取呈矩阵排列的48个特征点。当然，可以提取更多或更少数量的特征点，但是特征点的数量优选在4个以上。图3示出了在图像帧101上取若干特征点P1的示例，其中为了简单和清楚，仅示出了9个特征点。

然后，可以利用跟踪算法，例如KLT算法，对第一特征点P1进行跟踪，在下一帧图像中找到对应的特征点P2。在图3的示例中，在下一图像帧102中找到了同样个数的对应特征点P2。然后，即可基于对应的第一特征点P1和第二特征点P2的位置关系来确定车辆10的第一抖动量。具体而言，可以利用下面的公式1，基于对应的特征点P1和P2的坐标计算两帧图像101和102之间的变换矩阵H：

P2＝HP1 (公式1)

其中，变换矩阵H也称为单应矩阵。图像中的像素点P1和P2的坐标可表示为三维齐次矢量，单应矩阵H可表示为3*3矩阵，其具有八个自由度，基于单应矩阵H即可计算相机12的俯仰角和航向角，进而基于俯仰角可以确定抖动量dA₁，其可以表示为角度或者图像上的像素偏移量的形式。

返回参照图2，在步骤S120中利用多帧图像确定第一抖动dA₁之后，在步骤S130中，还基于IMU单元14确定车辆的第二抖动dA₂。IMU单元14可以实时输出车辆10的当前姿态，包括其俯仰角，其表示车辆10与地面之间的夹角，从而可以确定车辆10的抖动，其可以表示为俯仰角度或者因此而产生的像素偏移。在一些实施例中，在利用IMU单元14确定车辆10的抖动之前，还需要确定IMU单元14是否已经被标定。当IMU单元14安装于车辆上时，其安装方向可能与车辆之间存在一定的夹角，而且IMU单元本身可能有一定的偏移，因此需要对新安装的IMU单元14进行标定。现有技术中存在许多对IMU单元14进行标定的方法，作为示例，可以将车辆10静止停放在水平地面上，此时IMU单元14的加速度转到车辆坐标系下应只有重力加速度的信息，即G＝(0,0,9.8)，其中9.8为重力加速度的值，此时陀螺仪旋转的角度信息应为0度。在将车辆10静止停放一定时间例如50秒以上之后，取IMU的若干帧数据，优选100帧以上，例如200帧，计算出平均加速度和陀螺仪信息，从而得到陀螺仪偏移以及旋转角度q，其中旋转角度q为四元数表示。通过解算四元数旋转角q，确定IMU单元14与地面的夹角，完成对IMU单元14的标定，其表示IMU单元14相对于车辆10的姿态。应理解，在使用时，实际上IMU单元14实时输出的是其自身的姿态，包括俯仰角、偏航角和滚转角等，然后根据标定参数，转换为车辆10的姿态。

在基于IMU单元14确定车辆10的第二抖动量dA₂之后，即可在步骤S140中，对第一抖动量dA₁和第二抖动量dA₂进行融合，以确定车辆10的最终抖动量dA。为了对第一抖动量dA₁和第二抖动量dA₂进行融合，需要分别赋予它们合适的权重，在本发明中引入的置信度的概念，下面将参照图4来详细说明。

如图4所示，首先在步骤S141中，可以计算彼此对应的特征点P1和P2之间的重投影误差，其可以利用前面基于公式1计算得到的单应矩阵H通过下面的公式2来计算得到：

其中，

是P1的估计值，

是P2的估计值，其分别可通过用单应矩阵H对特征点P2和P1进行变换来得到。通过公式2，可以确定最大重投影误差ε。然后，在步骤S141中，可以利用下面的公式3确定第一抖动量dA₁的置信度conf。

conf＝0如果ε≥T

conf＝(T-ε)/T如果ε<T (公式3)

其中，T是预先设定的重投影误差阈值。当重投影误差ε达到该阈值时，则认为所计算的第一抖动量dA₁不可信，置信度conf为零。当重投影误差ε小于该阈值时，则认为所计算的第一抖动量dA₁具有可信度，根据上面的公式3来计算该置信度conf。

最后，在步骤S143中，可以利用所确定的置信度来对第一抖动dA₁和第二抖动dA₂进行融合，以确定车辆10的抖动量dA，例如如下面的公式4所示。

dA＝conf*dA₁+(1-conf)dA₂ (公式4)

在上面描述的实施例中，结合视觉图像和IMU单元二者确定了车辆10的抖动，其可以避免视觉图像容易受到光照条件、运动模糊等因素的影响，也能减轻IMU单元因累计误差而精度减小的缺陷，从而可以实现稳定、准确的抖动估计。

本发明另一实施例提供基于上面所确定的抖动量来实现视觉测距的方法，其流程图示于图5中。如图5所示，方法200可始于步骤S210，确定车辆10的抖动量，其可以利用上面参照图1-4描述的方法来进行，这里不再重复描述。然后在步骤S220中，获得包括目标车辆(或称为前车)的测距图像。应理解，这里获得包括目标车辆的测距图像可以是前面在步骤S210中确定车辆抖动量时所使用的当前帧图像，从而确保所确定的抖动对应于测距时的抖动量，从而该抖动量可以准确地补偿测距结果，如下面所述。

接下来在步骤S230中，确定目标车辆在测距图像中的第一位置，这可以基于车辆的尾部特征来实现。例如，可以通过图像识别算法在测距图像中识别目标车辆的尾部特征，从而确定其在图像中的相对位置。一般而言，该相对位置可以对应于目标车辆离本车的距离，不过由于本车的抖动，目标车辆在图像中的位置可能发生较大变化。例如，当本车的车头抬起时，目标车辆在图像中的位置下降，测距结果变近；当本车的车头下俯时，目标车辆在图像中的位置上升，测距结果变远。为了避免抖动的影响，在步骤S240中，基于所确定的本车的抖动量对目标车辆的第一位置进行补偿，以获得目标车辆的第二位置。进而，在步骤S250中，可以基于第二位置来确定目标车辆离本车的距离。

示例性装置

图6示出根据本申请一实施例的车辆抖动确定装置300的功能框图。图7示出根据本申请一实施例的视觉测距装置400的功能框图。由于这些装置中的各个单元和模块的具体功能和操作已经在上面参照图1至图5的描述中得到了详细说明，因此这里仅简要介绍，以避免重复描述。

首先参照图6，车辆抖动确定装置300包括图像获取单元310、第一抖动计算单元320、第二抖动计算单元330和融合单元340。

图像获取单元310可获取车载相机12拍摄的车辆10周边环境的多帧图像，例如其可包括前车的图像。第一抖动计算单元320可以基于所获得的多帧图像来计算车辆10的第一抖动dA1，如前面描述的那样。具体而言，第一抖动计算单元320可包括：特征点提取单元322，用于从所述多帧图像中的第一帧图像中提取多个第一特征点P1；跟踪单元324，用于跟踪多个第一特征点P1以在所述多帧图像中的第二帧图像中确定对应的多个第二特征点P2；以及抖动计算单元326，其可以基于多个第一特征点和多个第二特征点来计算第一抖动dA₁，如前面描述的那样。

第二抖动计算单元330可用于基于惯性测量单元(IMU)的测量数据计算车辆的第二抖动dA₂。具体而言，第二抖动计算单元330可包括地面夹角计算单元332，其可以基于IMU单元的测量数据确定车辆10的姿态，包括其与地面的俯仰角夹角，以及抖动计算单元334，其可以根据IMU单元确定的车辆10与地面的夹角来计算车辆10的第二抖动dA₂，其可以表示为俯仰角度或者因此而引起的像素偏移量。

融合单元340可用于将第一抖动dA₁和第二抖动dA₂进行融合以确定所述车辆的抖动量dA。在一些实施例中，融合单元340可包括：重投影误差计算单元342，其用于计算多个第一特征点P1和对应的多个第二特征点P2之间的重投影误差；置信度计算单元344，用于基于重投影误差确定第一抖动的置信度conf；以及抖动计算单元334，用于基于置信度conf对第一抖动dA₁和第二抖动dA₂进行融合，以计算车辆10的抖动量dA。这些单元的操作已经在上面参照公式1-4进行了详细描述，这里不再重复。

在一些实施例中，装置300还可以包括IMU标定单元350，其用于标定IMU单元的外参，从而能将IMU单元14输出的其自身的姿态转换成车辆10的姿态。

参照图7，视觉测距装置400可包括抖动量确定装置410，其可以实现为参照图6描述的装置300以基于前面描述的过程确定车辆10的抖动量。视觉测距装置400还包括：图像获取单元420，其可用于获取车载相机12拍摄的测距图像，该测距图像可包括目标车辆例如前车；位置确定单元430，其可用于确定目标车辆在测距图像中的第一位置；补偿单元440，其用于基于当前车辆的抖动量对第一位置进行补偿，以获得第二位置；以及距离确定单元450，其可用于基于第二位置确定目标车辆与当前车辆之间的距离。通过利用抖动量对目标车辆在图像中的相对位置进行补偿，可以实现更精确的单目视觉测距。

示例性电子设备

图8示出根据本申请一实施例的电子设备500的结构框图。电子设备500可以实施为图1所示的车辆10的车载电子设备16，或者实施为车载电子设备16中的组件。而且，图6和图7所示的装置300和400可以作为软件或固件实施在电子设备500中。

如图8所示，电子设备500可包括处理器510和存储器520。

处理器510可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备500中的其他组件以执行期望的功能。

存储器520可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器510可以运行所述程序指令，以实现上文所述的本申请的各个实施例的车辆抖动确定方法、视觉测距方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如车载相机12和IMU单元14的相关信息和驱动程序等。

在一示例中，电子设备500还可以包括第一接口530、第二接口540、以及输出单元550，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

第一接口530和第二接口540可分别连接到例如车载相机12和IMU单元14，以接收其数据。如前所述，这些数据可用于处理器510实现本申请各个实施例的车辆抖动确定方法和视觉测距方法等。输出单元550可以将结果数据例如车辆10的抖动量和所测量得到的前车距离等输出给外界装置，例如车辆10上装备的ADAS系统，以便于ADAS系统了解车辆10本身的状态和驾驶环境，从而做出正确的驾驶决策。

为了简化，图8中仅示出了电子设备500中与本申请有关的一些组件，而省略了一些相关外围或辅助组件。除此之外，根据具体应用情况，电子设备500还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的车辆抖动确定方法和视觉测距方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的车辆抖动确定方法和视觉测距方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (13)

1.一种用于确定车辆的抖动量的方法，包括：

利用车载相机获得车辆周边环境的多帧图像；

基于所述多帧图像确定车辆的第一抖动；

利用惯性测量单元确定车辆的第二抖动；以及

将所述第一抖动和所述第二抖动进行融合以确定所述车辆的抖动，

其中，基于所述多帧图像确定车辆的第一抖动包括：

从所述多帧图像中的第一帧图像中提取多个第一特征点(P₁)；

从所述多帧图像中的第二帧图像中确定与所述多个第一特征点对应的多个第二特征点(P₂)；以及

基于所述多个第一特征点和所述多个第二特征点计算第一抖动，

将所述第一抖动和所述第二抖动进行融合以确定所述车辆的抖动包括：

计算所述多个第一特征点和所述多个第二特征点之间的重投影误差；

基于所述重投影误差确定所述第一抖动的置信度；以及

利用所述置信度对所述第一抖动和所述第二抖动进行融合以确定所述车辆的抖动。

2.如权利要求1所述的方法，其中，所述车载相机是单目相机。

3.如权利要求1所述的方法，其中，在利用惯性测量单元确定车辆的第二抖动之前，所述方法还包括标定所述惯性测量单元的外参。

4.如权利要求3所述的方法，其中，利用惯性测量单元确定车辆的第二抖动包括：

利用惯性测量单元的测量值确定车辆与地面的夹角；以及

基于所述夹角确定车辆的第二抖动。

5.一种用于确定当前车辆与目标车辆之间的距离的方法，包括：

利用权利要求1-4中的任一项所述的方法确定当前车辆的抖动；

利用车载相机获得测距图像，所述测距图像包括所述目标车辆；

确定所述目标车辆在所述测距图像中的第一位置；

利用所述当前车辆的抖动对所述第一位置进行补偿，以获得第二位置；以及

基于所述第二位置确定所述目标车辆与所述当前车辆之间的距离。

6.如权利要求5所述的方法，其中，所述测距图像是所述车辆周边环境的多帧图像中的一帧图像。

7.一种用于确定车辆的抖动量的装置，包括：

图像获取单元，用于获取车载相机拍摄的车辆周边环境的多帧图像；

第一抖动计算单元，用于基于所述多帧图像计算车辆的第一抖动；

第二抖动计算单元，用于基于惯性测量单元的测量数据计算车辆的第二抖动；以及

融合单元，用于将所述第一抖动和所述第二抖动进行融合以确定所述车辆的抖动，

其中，所述第一抖动计算单元包括：

特征点提取单元，用于从所述多帧图像中的第一帧图像中提取多个第一特征点(P₁)；

跟踪单元，用于跟踪所述多个第一特征点以在所述多帧图像中的第二帧图像中确定对应的多个第二特征点(P₂)；以及

抖动计算单元，用于基于所述多个第一特征点和所述多个第二特征点计算所述第一抖动，

所述融合单元包括：

重投影误差计算单元，用于计算所述多个第一特征点和所述多个第二特征点之间的重投影误差；

置信度计算单元，用于基于所述重投影误差确定所述第一抖动的置信度；以及

抖动计算单元，用于基于所述置信度、所述第一抖动和所述第二抖动来计算所述车辆的抖动。

8.如权利要求7所述的装置，还包括：

惯性测量单元标定单元，用于标定所述惯性测量单元的外参。

9.如权利要求7所述的装置，其中，所述第二抖动计算单元包括：

地面夹角计算单元，用于利用惯性测量单元的测量值确定车辆与地面的夹角；以及

抖动计算单元，用于基于所述夹角计算车辆的第二抖动。

10.一种用于确定当前车辆与目标车辆之间的距离的装置，包括：

权利要求7-9中的任一项所述的用于确定车辆的抖动量的装置，用于确定当前车辆的抖动量；

图像获取单元，用于获取车载相机拍摄的测距图像，所述测距图像包括所述目标车辆；

第一位置确定单元，用于确定所述目标车辆在所述测距图像中的第一位置；

补偿单元，用于基于所述当前车辆的抖动对所述第一位置进行补偿，以确定第二位置；以及

距离确定单元，用于基于所述第二位置确定所述目标车辆与所述当前车辆之间的距离。

11.一种电子设备，包括：

处理器；以及

存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行权利要求1-6中的任一项所述的方法。

12.一种车辆，其包括权利要求11所述的电子设备。

13.一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行权利要求1-6中的任一项所述的方法。

Images