CN111376895A - 一种环视泊车感知方法、装置、自动泊车系统和车辆 - Google Patents

Abstract

本申请提供了一种环视泊车感知方法、装置、自动泊车系统和车辆，该方法和装置应用于车辆的自动泊车系统，具体包括接收位于车辆四周的多个鱼眼镜头所获取的多个鱼眼图像；将多个鱼眼图像拼接为鸟瞰图；利用深度学习得到的库位检测模型对鸟瞰图进行处理，得到空间库位的库位坐标和库位类型；根据库位坐标和库位类型进行路径规划，得到自动停车路径。由于本方案是直接从鸟瞰图中得到库位的相关信息并进行路径规划，因此可以适用于无库位标识的情况下实现自动泊车，从而解决了此种情况下自动泊车系统无法泊车的问题。

Description

一种环视泊车感知方法、装置、自动泊车系统和车辆

技术领域

本申请涉及车辆技术领域，更具体地说，涉及一种环视泊车感知方法、装置、自动泊车系统和车辆。

背景技术

随着智能驾驶技术的飞速发展，自动泊车系统逐渐开始在低速智能驾驶场景中得到应用。自动泊车系统可以使汽车自动寻找并且准确停靠在适当泊车位置，通过环境感知传感器感知车辆周围泊车位位置和状态，寻找合适的泊车位，然后规划出最优泊车路径，控制车辆自动完成泊车。

现有自动泊车系统的泊车位感知方案主要为基于环视摄像头的地面库位标识感知方案，该方案源于早期ADAS中的360全景环视系统(Around View Monitor，AVM)，同时结合计算机视觉技术，完成拼接鸟瞰图中泊车位的检测。近几年随着人工智能在计算机视觉的应用，基于环视的泊车位检测技术也逐步成熟，检测精度越来越高，场景覆盖越来越广，开始得到广泛的应用。然而，这种方案主要针对地面有明显清晰库位标识的泊车位，对于没有明显库位标识的泊车位则无法使自动泊车系统进行自动泊车。

发明内容

有鉴于此，本申请提供一种环视泊车感知方法、装置、自动泊车系统和车辆，用于在无明显库位标识的环境下为自动泊车系统进行路径规划，以解决此种情况下自动泊车系统无法泊车的问题。

为了实现上述目的，现提出的方案如下：

一种环视泊车感知方法，应用于车辆的自动泊车系统，所述环视泊车感知方法包括步骤：

接收位于所述车辆四周的多个鱼眼镜头所获取的多个鱼眼图像；

将所述多个鱼眼图像拼接为鸟瞰图；

利用深度学习得到的库位检测模型对所述鸟瞰图进行处理，得到空间库位的库位坐标和库位类型；

根据所述库位坐标和所述库位类型进行路径规划，得到自动停车路径。

可选的，所述将所述多个鱼眼图像拼接为鸟瞰图，包括：

对每个所述鱼眼图像进行畸变矫正；

根据每个所述鱼眼图像所对应的摄像头的标定位置，对经过矫正的所述鱼眼图像进行坐标映射；

将经过坐标映射处理后得到的多个所述鱼眼图像进行拼接，得到所述鸟瞰图。

可选的，所述库位检测模型包括目标检测神经网络和分类神经网络，所述利用深度学习得到的库位检测模型对所述鸟瞰图进行处理，包括：

利用所述目标检测神经网络对所述鸟瞰图进行处理，得到所述空间库位的图像块，并得到所述空间库位的库位坐标；

利用所述分类神经网络对所述图像块进行处理，得到所述空间库位的库位类型。

可选的，如果利用库位检测模型对鸟瞰图进行处理后无法得到空间库位，则包括步骤：

在车机的显示界面或用户的移动设备的显示界面上显示库位设置窗口；

计算用户通过所述库位设置窗口输入的虚拟泊车位的库位坐标和库位类型；

根据所述虚拟泊车位的库位坐标和库位类型执行所述根据所述库位坐标和所述库位类型进行路径规划步骤，得到所述自动泊车路径。

可选的，如果在利用所述库位检测模型对所述鸟瞰图进行处理的过程中，如果发现库位线，则包括步骤：

利用深度学习得到的空间检测模块，并根据所述库位线对所述鸟瞰图进行处理，得到实际泊车位及库位坐标和库位类型；

执行所述根据所述库位坐标和所述库位类型进行路径规划步骤，得到所述自动停车路径。

一种环视泊车感知装置，应用于车辆的自动泊车系统，所述环视泊车感知装置包括：

图像接收模块，用于接收位于所述车辆四周的多个鱼眼镜头所获取的多个鱼眼图像；

图像拼接模块，用于将所述多个鱼眼图像拼接为鸟瞰图；

第一库位处理模块，用于利用深度学习得到的库位检测模型对所述鸟瞰图进行处理，得到空间库位的库位坐标和库位类型；

路径规划模块，用于根据所述库位坐标和所述库位类型进行路径规划，得到自动停车路径。

可选的，所述图像拼接模块包括：

畸变矫正单元，用于对每个所述鱼眼图像进行畸变矫正；

坐标映射单元，用于根据每个所述鱼眼图像所对应的摄像头的标定位置，对经过矫正的所述鱼眼图像进行坐标映射；

拼接处理模块，用于将经过坐标映射处理后得到的多个所述鱼眼图像进行拼接，得到所述鸟瞰图。

可选的，所述库位检测模型包括目标检测神经网络和分类神经网络，所述第一库位处理模块包括：

第一处理单元，用于利用所述目标检测神经网络对所述鸟瞰图进行处理，得到所述空间库位的图像块，并得到所述空间库位的库位坐标；

第二处理单元，用于利用所述分类神经网络对所述图像块进行处理，得到所述空间库位的库位类型。

可选的，还包括：

显示控制模块，用于如果利用库位检测模型对鸟瞰图进行处理后无法得到空间库位，则在车机的显示界面或用户的移动设备的显示界面上显示库位设置窗口；

数据计算模块，用于计算用户通过所述库位设置窗口输入的虚拟泊车位的库位坐标和库位类型；

第一驱动模块，用于驱动所述路径规划模块根据所述库位坐标和所述库位类型进行路径规划，得到所述自动泊车路径。

可选的，还包括：

第二库位处理模块，用于当所述第一库位处理模块在利用所述库位检测模型对所述鸟瞰图进行处理的过程中发现库位线时，利用深度学习得到的空间检测模块，并根据所述库位线对所述鸟瞰图进行处理，得到实际泊车位及库位坐标和库位类型；

第二驱动模块，用于确定所述路径规划模块根据所述库位坐标和所述库位类型进行路径规划，得到所述自动停车路径。

一种自动泊车系统，应用于车辆，设置有如上所述的环视泊车感知装置。

一种自动泊车系统，应用于车辆包括至少一个处理器和与其相连接的存储器，所述存储器存储有计算机程序或指令，所述处理器用于执行所述计算机程序或指令，以使所述自动泊车系统执行如下操作：

接收位于所述车辆四周的多个鱼眼镜头所获取的多个鱼眼图像；

将所述多个鱼眼图像拼接为鸟瞰图；

利用深度学习得到的库位检测模型对所述鸟瞰图进行处理，得到空间库位的库位坐标和库位类型；

根据所述库位坐标和所述库位类型进行路径规划，得到自动停车路径。

可选的，如果利用库位检测模型对鸟瞰图进行处理后无法得到空间库位，所述自动泊车系统还用于执行如下操作：

在车机的显示界面或用户的移动设备的显示界面上显示库位设置窗口；

计算用户通过所述库位设置窗口输入的虚拟泊车位的库位坐标和库位类型；

根据所述虚拟泊车位的库位坐标和库位类型执行所述根据所述库位坐标和所述库位类型进行路径规划步骤，得到所述自动泊车路径。

可选的，如果在利用所述库位检测模型对所述鸟瞰图进行处理的过程中，如果发现库位线，所述自动泊车系统还用于执行如下操作：

利用深度学习得到的空间检测模块，并根据所述库位线对所述鸟瞰图进行处理，得到实际泊车位及库位坐标和库位类型；

执行所述根据所述库位坐标和所述库位类型进行路径规划步骤，得到所述自动停车路径。

一种车辆，设置有如上所述的自动泊车系统。

从上述的技术方案可以看出，本申请公开了一种环视泊车感知方法、装置、自动泊车系统和车辆，该方法和装置应用于车辆的自动泊车系统，具体包括接收位于车辆四周的多个鱼眼镜头所获取的多个鱼眼图像；将多个鱼眼图像拼接为鸟瞰图；利用深度学习得到的库位检测模型对鸟瞰图进行处理，得到空间库位的库位坐标和库位类型；根据库位坐标和库位类型进行路径规划，得到自动停车路径。由于本方案是直接从鸟瞰图中得到库位的相关信息并进行路径规划，因此可以适用于无库位标识的情况下实现自动泊车，从而解决了此种情况下自动泊车系统无法泊车的问题。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种环视泊车感知方法的步骤流程图；

图2为本申请实施例提供的另一种环视泊车感知方法的步骤流程图；

图3为本申请实施例提供的又一种环视泊车感知方法的步骤流程图；

图4为本申请实施例提供的一种环视泊车感知装置的结构框图；

图5为本申请实施例提供的另一种环视泊车感知装置的结构框图；

图6为本申请实施例提供的又一种环视泊车感知装置的结构框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

实施例一

图1为本申请实施例提供的一种环视泊车感知方法的步骤流程图。

如图1所示，本实施例提供的环视泊车感知方法应用于车辆的自动泊车系统，用于利用环视方案为自动泊车系统提供进行泊车所需的自动停车路径，该环视泊车感知方法具体包括如下步骤：

S101、接收多个鱼眼镜头所获取的多个鱼眼图像。

本方案所能够应用的车辆四周设置有多个鱼眼镜头，以拍摄相应位置的鱼眼图像。本实施例的车辆采用四个FOV在180°以上的高清鱼眼镜头，并设置在车辆上前、后、左和右四周，并提前标定好每个鱼眼镜头相对于该车辆的位置。

作为感知的基础，在每个鱼眼镜头获取相应鱼眼图像后，接收每个鱼眼镜头所得到的鱼眼图像，从而得到四个鱼眼图像。这里图像的概念包括图片或者视频影像。

S102、将多个鱼眼图像拼接为鸟瞰图。

在接收到多个鱼眼图像后，经过相应的处理后拼接为鸟瞰图。具体过程为：首先，对每个鱼眼图像进行畸变矫正；然后，根据获取相应语言图像的鱼眼镜头的位置对经过畸变矫正的鱼眼图像进行坐标映射，这里鱼眼镜头的位置通过人工方式进行标定所得；最后，将经过坐标映射后的多个鱼眼图像进行图像拼接，从而得到相应的鸟瞰图。

S103、利用库位检测模型对鸟瞰图进行处理。

即利用深度学习所得到的库位检测模型对鸟瞰图进行处理，从鸟瞰图中得到空间库位，以及该空间库位的库位坐标和库位类型。整个鸟瞰图可以覆盖超过10米的范围，通过处理可以得到其中每个像素相对于车辆的坐标位置，同样，在得到反应空间库位的图斑后，该图斑的坐标自然也就可以得到了。

这里库位检测模块是通过深度学习方法所得到的神经网络。为了得到该库位检测模型，需要采集不同场景下的原始鱼眼图像，并按上述方法进行拼接得到不同场景下的鸟瞰图，并在不同场景下的鸟瞰图上进行标记，即在鸟瞰图上标记相应的库位，包括库位的长度、宽度、库位角相对于车辆的坐标、库位类型等信息；然后，利用高性能GPU进行离线训练，提取各种类型库位在不同场景下的有效特征，最终得到上述库位检测模型。

另外，上述的库位检测模型分别包括目标检测神经网络和分类神经网络，在无法从鸟瞰图中获取到库位角等库位标识的情况下，利用目标检测神经网络对鸟瞰图进行处理，得到空间库位的图像块及图像块的坐标，图像块的坐标即库位坐标；然后再利用分类神经网络对上述图像块进行处理，从而得到空间库位的库位类型，库位类型包括平行库位、垂直库位、斜向库位等。

S104、根据库位坐标和库位类型进行路径规划。

在得到空间库位的库位坐标和库位类型后，利用库位坐标和库位类型进行路径规划，即规划车辆当前位置到空间库位之间的行车方式、方向、距离等参数，从而得到使车辆进行泊车所需的自动停车路径。自动泊车系统能够根据该自动泊车路径实现对车辆的自动泊车控制，从而使车辆在无需用户干预的情况下停靠到上述空间库位。

从上述技术方案可以看出，本实施例提供了一种环视泊车感知方法，应用于车辆的自动泊车系统，具体包括接收位于车辆四周的多个鱼眼镜头所获取的多个鱼眼图像；将多个鱼眼图像拼接为鸟瞰图；利用深度学习得到的库位检测模型对鸟瞰图进行处理，得到空间库位的库位坐标和库位类型；根据库位坐标和库位类型进行路径规划，得到自动停车路径。由于本方案是直接从鸟瞰图中得到库位的相关信息并进行路径规划，因此可以适用于无库位标识的情况下实现自动泊车，从而解决了此种情况下自动泊车系统无法泊车的问题。

实施例二

图2为本申请实施例提供的另一种环视泊车感知方法的步骤流程图。

如图2所示，本实施例提供的环视泊车感知方法包括如下步骤：

S201、接收多个鱼眼镜头所获取的多个鱼眼图像。

本方案所能够应用的车辆四周设置有多个鱼眼镜头，以拍摄相应位置的鱼眼图像。本实施例的车辆采用四个FOV在180°以上的高清鱼眼镜头，并设置在车辆上前、后、左和右四周，并提前标定好每个鱼眼镜头相对于该车辆的位置。

作为感知的基础，在每个鱼眼镜头获取相应鱼眼图像后，接收每个鱼眼镜头所得到的鱼眼图像，从而得到四个鱼眼图像。这里图像的概念包括图片或者视频影像。

S202、将多个鱼眼图像拼接为鸟瞰图。

在接收到多个鱼眼图像后，经过相应的处理后拼接为鸟瞰图。具体过程为：首先，对每个鱼眼图像进行畸变矫正；然后，根据获取相应语言图像的鱼眼镜头的位置对经过畸变矫正的鱼眼图像进行坐标映射，这里鱼眼镜头的位置通过人工方式进行标定所得；最后，将经过坐标映射后的多个鱼眼图像进行图像拼接，从而得到相应的鸟瞰图。

S203、利用库位检测模型对鸟瞰图进行处理。

即利用深度学习所得到的库位检测模型对鸟瞰图进行处理，从鸟瞰图中得到空间库位，以及该空间库位的库位坐标和库位类型。如果通过处理无法得到空间库位，则直接执行下一步骤；只有在能够得到该空间库位及库位坐标和库位类型的情况下才计算库位坐标和库位类型。

整个鸟瞰图可以覆盖超过10米的范围，通过处理可以得到其中每个像素相对于车辆的坐标位置，同样，在得到反应空间库位的图斑后，该图斑的坐标自然也就可以得到了。

这里库位检测模块是通过深度学习方法所得到的神经网络。为了得到该库位检测模型，需要采集不同场景下的原始鱼眼图像，并按上述方法进行拼接得到不同场景下的鸟瞰图，并在不同场景下的鸟瞰图上进行标记，即在鸟瞰图上标记相应的库位，包括库位的长度、宽度、库位角相对于车辆的坐标、库位类型等信息；然后，利用高性能GPU进行离线训练，提取各种类型库位在不同场景下的有效特征，最终得到上述库位检测模型。

另外，上述的库位检测模型分别包括目标检测神经网络和分类神经网络，在无法从鸟瞰图中获取到库位角等库位标识的情况下，利用目标检测神经网络对鸟瞰图进行处理，得到空间库位的图像块及图像块的坐标，图像块的坐标即库位坐标；然后再利用分类神经网络对上述图像块进行处理，从而得到空间库位的库位类型，库位类型包括平行库位、垂直库位、斜向库位等。

S204、显示库位设置窗口。

这一步骤的前提为在利用库位检测模型对鸟瞰图进行处理时无法得到空间库位的情况，此种情况下通过执行相应的显示指令控制车辆的车机或者提前绑定的移动设备显示库位设置窗口，具体即利用车机的显示界面或者移动设备的显示界面显示该库位设置窗口。库位设置窗口用于供用户利用相应的输入手段、如数据输入、拖动、划线方式输入虚拟泊车位。

所谓虚拟泊车位实际是指用户在库位设置窗口显示的鸟瞰图上进行操作，从该鸟瞰图上选定预设尺寸的方框作为该虚拟泊车位。

S205、根据用户输入的虚拟泊车位计算库位坐标和库位类型。

在用户通过库位设置窗口输入虚拟泊车位时，接收该虚拟泊车位并对其进行计算。具体来说是利用上述的库位检测模型对虚拟泊车位进行计算，得到该虚拟泊车位的库位坐标和库位类型。

S206、根据库位坐标和库位类型进行路径规划。

在得到空间库位的库位坐标和库位类型后，利用库位坐标和库位类型进行路径规划，即规划车辆当前位置到空间库位之间的行车方式、方向、距离等参数，从而得到使车辆进行泊车所需的自动停车路径。自动泊车系统能够根据该自动泊车路径实现对车辆的自动泊车控制，从而使车辆在无需用户干预的情况下停靠到上述空间库位。

值得指出的是，如果在库位检测模型能够检测到空间库位，则这里进行路径规划所依据是该库位检测模型所计算出空间库位的库位坐标和库位类型；相反，如果不能检测到空间库位，则进行路径规划所依据的是虚拟泊车为的库位坐标和库位类型。

相比上一实施例来说，本实施例通过接收用户输入的虚拟泊车位，可以拓宽该自动泊车的应用场景，从而即使在无法根据鸟瞰图得到空间库位的情况下还能够根据用户输入的虚拟泊车位进行路径规划，从而提高了用户的使用体验。

实施例三

图3为本申请实施例提供的又一种环视泊车感知方法的步骤流程图。

如图3所示，本实施例提供的环视泊车感知方法具体包括如下步骤：

S301、接收多个鱼眼镜头所获取的多个鱼眼图像。

本方案所能够应用的车辆四周设置有多个鱼眼镜头，以拍摄相应位置的鱼眼图像。本实施例的车辆采用四个FOV在180°以上的高清鱼眼镜头，并设置在车辆上前、后、左和右四周，并提前标定好每个鱼眼镜头相对于该车辆的位置。

作为感知的基础，在每个鱼眼镜头获取相应鱼眼图像后，接收每个鱼眼镜头所得到的鱼眼图像，从而得到四个鱼眼图像。这里图像的概念包括图片或者视频影像。

S302、将多个鱼眼图像拼接为鸟瞰图。

在接收到多个鱼眼图像后，经过相应的处理后拼接为鸟瞰图。具体过程为：首先，对每个鱼眼图像进行畸变矫正；然后，根据获取相应语言图像的鱼眼镜头的位置对经过畸变矫正的鱼眼图像进行坐标映射，这里鱼眼镜头的位置通过人工方式进行标定所得；最后，将经过坐标映射后的多个鱼眼图像进行图像拼接，从而得到相应的鸟瞰图。

S303、利用库位检测模型对鸟瞰图进行处理。

即利用深度学习所得到的库位检测模型对鸟瞰图进行处理，从鸟瞰图中得到空间库位，以及该空间库位的库位坐标和库位类型。如果在利用库位检测模块对鸟瞰图进行处理过程中，在鸟瞰图中发现了库位线，则执行步骤S304；如果没有发现库位线并无法得到空间库位，则直接执行S305；只有在能够得到该空间库位及库位坐标和库位类型的情况下才直接计算库位坐标和库位类型。

整个鸟瞰图可以覆盖超过10米的范围，通过处理可以得到其中每个像素相对于车辆的坐标位置，同样，在得到反应空间库位的图斑后，该图斑的坐标自然也就可以得到了。

这里库位检测模块是通过深度学习方法所得到的神经网络。为了得到该库位检测模型，需要采集不同场景下的原始鱼眼图像，并按上述方法进行拼接得到不同场景下的鸟瞰图，并在不同场景下的鸟瞰图上进行标记，即在鸟瞰图上标记相应的库位，包括库位的长度、宽度、库位角相对于车辆的坐标、库位类型等信息；然后，利用高性能GPU进行离线训练，提取各种类型库位在不同场景下的有效特征，最终得到上述库位检测模型。

另外，上述的库位检测模型分别包括目标检测神经网络和分类神经网络，在无法从鸟瞰图中获取到库位角等库位标识的情况下，利用目标检测神经网络对鸟瞰图进行处理，得到空间库位的图像块及图像块的坐标，图像块的坐标即库位坐标；然后再利用分类神经网络对上述图像块进行处理，从而得到空间库位的库位类型，库位类型包括平行库位、垂直库位、斜向库位等。

S304、利用空间检测模块对鸟瞰图进行处理。

通过对库位线的处理可以初步得到停车区域，此时还需通过空间检测模块对鸟瞰图进行处理，得到停车区域中障碍物的位置，并根据停车区域和障碍物的位置最终确定实际泊车位；并进一步利用库位检测模块得到实际泊车位的库位坐标和库位类型，对库位坐标和库位类型的计算在前面已经介绍，这里不再赘述。

空间检测模型也需要分为训练和在线检测过程。首先采集不同场景下的原始鱼眼图像，进行鸟瞰图拼接，在鸟瞰图上完成车辆周围通过空间数据标注，利用高性能GPU进行离线训练。在检测推理阶段，利用语义分割网络在图像平面上对每一个像素进行分类，判断该像素是否属于可通行区域，获取不同分类的物体边界轮廓及在图像平面的分布，利用边界轮廓在鸟瞰图中的位置得到障碍物的距离信息，从而最终得到空间检测模型。

S305、显示库位设置窗口。

这一步骤的前提为在利用库位检测模型对鸟瞰图进行处理时无法得到空间库位的情况，此种情况下通过执行相应的显示指令控制车辆的车机或者提前绑定的移动设备显示库位设置窗口，具体即利用车机的显示界面或者移动设备的显示界面显示该库位设置窗口。库位设置窗口用于供用户利用相应的输入手段、如数据输入、拖动、划线方式输入虚拟泊车位。

所谓虚拟泊车位实际是指用户在库位设置窗口显示的鸟瞰图上进行操作，从该鸟瞰图上选定预设尺寸的方框作为该虚拟泊车位。

S306、根据用户输入的虚拟泊车位计算库位坐标和库位类型。

在用户通过库位设置窗口输入虚拟泊车位时，接收该虚拟泊车位并对其进行计算。具体来说是利用上述的库位检测模型对虚拟泊车位进行计算，得到该虚拟泊车位的库位坐标和库位类型。

S307、根据库位坐标和库位类型进行路径规划。

在得到空间库位的库位坐标和库位类型后，利用库位坐标和库位类型进行路径规划，即规划车辆当前位置到空间库位之间的行车方式、方向、距离等参数，从而得到使车辆进行泊车所需的自动停车路径。自动泊车系统能够根据该自动泊车路径实现对车辆的自动泊车控制，从而使车辆在无需用户干预的情况下停靠到上述空间库位。

值得指出的是，如果存在库位线的情况下，进行路径规划所依据的库位坐标和库位类型为对实际泊车位进行计算所得；仅在无库位线且在库位检测模型能够检测到空间库位时，进行路径规划所依据是该库位检测模型所计算出空间库位的库位坐标和库位类型；相反，如果不能检测到空间库位，则进行路径规划所依据的是虚拟泊车为的库位坐标和库位类型。

相比上两个实施例来说，本实施例能够在检测到库位线的情况下直接检测实际泊车位，并根据实际泊车位进行路径规划，避免了后续复杂的计算，从而提高了路径规划的效率。

实施例四

图4为本申请实施例提供的一种环视泊车感知装置的结构框图。

如图4所示，本实施例提供的环视泊车感知装置应用于车辆的自动泊车系统，用于利用环视方案为自动泊车系统提供进行泊车所需的自动停车路径，该环视泊车感知装置具体包括图像接收模块10、图像拼接模块20、第一库位处理模块30和路径规划模块40。

图像接收模块用于接收多个鱼眼镜头所获取的多个鱼眼图像。

本方案所能够应用的车辆四周设置有多个鱼眼镜头，以拍摄相应位置的鱼眼图像。本实施例的车辆采用四个FOV在180°以上的高清鱼眼镜头，并设置在车辆上前、后、左和右四周，并提前标定好每个鱼眼镜头相对于该车辆的位置。

作为感知的基础，在每个鱼眼镜头获取相应鱼眼图像后，接收每个鱼眼镜头所得到的鱼眼图像，从而得到四个鱼眼图像。这里图像的概念包括图片或者视频影像。

图像拼接模块用于将多个鱼眼图像拼接为鸟瞰图。

在接收到多个鱼眼图像后，经过相应的处理后拼接为鸟瞰图。该模块具体包括畸变校正单元、坐标映射单元和拼接处理单元，畸变校正单元用于对每个鱼眼图像进行畸变矫正；坐标映射单元用于根据获取相应语言图像的鱼眼镜头的位置对经过畸变矫正的鱼眼图像进行坐标映射，这里鱼眼镜头的位置通过人工方式进行标定所得；拼接处理单元则将经过坐标映射后的多个鱼眼图像进行图像拼接，从而得到相应的鸟瞰图。

第一库位处理模块用于利用库位检测模型对鸟瞰图进行处理。

即利用深度学习所得到的库位检测模型对鸟瞰图进行处理，从鸟瞰图中得到空间库位，以及该空间库位的库位坐标和库位类型。整个鸟瞰图可以覆盖超过10米的范围，通过处理可以得到其中每个像素相对于车辆的坐标位置，同样，在得到反应空间库位的图斑后，该图斑的坐标自然也就可以得到了。

这里库位检测模块是通过深度学习方法所得到的神经网络。为了得到该库位检测模型，需要采集不同场景下的原始鱼眼图像，并按上述方法进行拼接得到不同场景下的鸟瞰图，并在不同场景下的鸟瞰图上进行标记，即在鸟瞰图上标记相应的库位，包括库位的长度、宽度、库位角相对于车辆的坐标、库位类型等信息；然后，利用高性能GPU进行离线训练，提取各种类型库位在不同场景下的有效特征，最终得到上述库位检测模型。

另外，上述的库位检测模型分别包括目标检测神经网络和分类神经网络，对应的该模块包括第一处理单元和第二处理单元，第一处理单元用于在无法从鸟瞰图中获取到库位角等库位标识的情况下，利用目标检测神经网络对鸟瞰图进行处理，得到空间库位的图像块及图像块的坐标，图像块的坐标即库位坐标；第二处理单元则利用分类神经网络对上述图像块进行处理，从而得到空间库位的库位类型，库位类型包括平行库位、垂直库位、斜向库位等。

路劲规划模块则根据库位坐标和库位类型进行路径规划。

在得到空间库位的库位坐标和库位类型后，利用库位坐标和库位类型进行路径规划，即规划车辆当前位置到空间库位之间的行车方式、方向、距离等参数，从而得到使车辆进行泊车所需的自动停车路径。自动泊车系统能够根据该自动泊车路径实现对车辆的自动泊车控制，从而使车辆在无需用户干预的情况下停靠到上述空间库位。

从上述技术方案可以看出，本实施例提供了一种环视泊车感知最终，应用于车辆的自动泊车系统，具体包括接收位于车辆四周的多个鱼眼镜头所获取的多个鱼眼图像；将多个鱼眼图像拼接为鸟瞰图；利用深度学习得到的库位检测模型对鸟瞰图进行处理，得到空间库位的库位坐标和库位类型；根据库位坐标和库位类型进行路径规划，得到自动停车路径。由于本方案是直接从鸟瞰图中得到库位的相关信息并进行路径规划，因此可以适用于无库位标识的情况下实现自动泊车，从而解决了此种情况下自动泊车系统无法泊车的问题。

实施例五

图5为本申请实施例提供的另一种环视泊车感知最终的结构框图。

如图5所示，本实施例提供的环视泊车感知装置是在上一实施例的基础上增设了显示控制模块50、数据计算模块60和第一驱动模块70。

显示控制模块用于显示库位设置窗口。

即在第一库位处理模块利用库位检测模型对鸟瞰图进行处理时无法得到空间库位时，该显示控制模块通过执行相应的显示指令控制车辆的车机或者提前绑定的移动设备显示库位设置窗口，具体即利用车机的显示界面或者移动设备的显示界面显示该库位设置窗口。库位设置窗口用于供用户利用相应的输入手段、如数据输入、拖动、划线方式输入虚拟泊车位。

所谓虚拟泊车位实际是指用户在库位设置窗口显示的鸟瞰图上进行操作，从该鸟瞰图上选定预设尺寸的方框作为该虚拟泊车位。

数据计算模块用于根据用户输入的虚拟泊车位计算库位坐标和库位类型。

在用户通过库位设置窗口输入虚拟泊车位时，接收该虚拟泊车位并对其进行计算。具体来说是利用上述的库位检测模型对虚拟泊车位进行计算，得到该虚拟泊车位的库位坐标和库位类型。

第一驱动模块用于驱动路径驱动模块根据库位坐标和库位类型进行路径规划。

即规划车辆当前位置到空间库位之间的行车方式、方向、距离等参数，从而得到使车辆进行泊车所需的自动停车路径。自动泊车系统能够根据该自动泊车路径实现对车辆的自动泊车控制，从而使车辆在无需用户干预的情况下停靠到上述空间库位。

值得指出的是，如果在库位检测模型能够检测到空间库位，则这里进行路径规划所依据是该库位检测模型所计算出空间库位的库位坐标和库位类型；相反，如果不能检测到空间库位，则进行路径规划所依据的是虚拟泊车为的库位坐标和库位类型。

相比上一实施例来说，本实施例通过接收用户输入的虚拟泊车位，可以拓宽该自动泊车的应用场景，从而即使在无法根据鸟瞰图得到空间库位的情况下还能够根据用户输入的虚拟泊车位进行路径规划，从而提高了用户的使用体验。

实施例六

图6为本申请实施例提供的又一种环视泊车感知装置的结构框图。

如图6所示，本实施例提供的环视泊车感知装置是在上一实施例的基础上增设了第二库位处理模块80和第二驱动模块90。

第二库位处理模块用于利用空间检测模块对鸟瞰图进行处理。

具体是在第一库位处理模块经过对鸟瞰图处理发现其中存在库位线的情况下，通过对库位线的处理初步得到停车区域，此时进一步通过空间检测模块对鸟瞰图进行处理，得到停车区域中障碍物的位置，并根据停车区域和障碍物的位置最终确定实际泊车位；并进一步利用库位检测模块得到实际泊车位的库位坐标和库位类型，对库位坐标和库位类型的计算在前面已经介绍，这里不再赘述。

第二驱动模块用于根据库位坐标和库位类型进行路径规划。

即规划车辆当前位置到空间库位之间的行车方式、方向、距离等参数，从而得到使车辆进行泊车所需的自动停车路径。自动泊车系统能够根据该自动泊车路径实现对车辆的自动泊车控制，从而使车辆在无需用户干预的情况下停靠到上述空间库位。

值得指出的是，如果存在库位线的情况下，进行路径规划所依据的库位坐标和库位类型为对实际泊车位进行计算所得；仅在无库位线且在库位检测模型能够检测到空间库位时，进行路径规划所依据是该库位检测模型所计算出空间库位的库位坐标和库位类型；相反，如果不能检测到空间库位，则进行路径规划所依据的是虚拟泊车为的库位坐标和库位类型。

相比上两个实施例来说，本实施例能够在检测到库位线的情况下直接检测实际泊车位，并根据实际泊车位进行路径规划，避免了后续复杂的计算，从而提高了路径规划的效率。

实施例七

本实施例提供了一种自动泊车系统，该系统应用于车辆上，设置有实施例四～六中任一实施例所提供的环视泊车感知装置。该环视泊车感知装置用于接收位于车辆四周的多个鱼眼镜头所获取的多个鱼眼图像；将多个鱼眼图像拼接为鸟瞰图；利用深度学习得到的库位检测模型对鸟瞰图进行处理，得到空间库位的库位坐标和库位类型；根据库位坐标和库位类型进行路径规划，得到自动停车路径。由于本方案是直接从鸟瞰图中得到库位的相关信息并进行路径规划，因此可以适用于无库位标识的情况下实现自动泊车，从而解决了此种情况下自动泊车系统无法泊车的问题。

实施例八

本实施例提供了一种自动泊车系统，该自动泊车系统应用于车辆上，包括至少一个处理器和存储器，两者通过数据总线相连接。

该存储器用于存储计算机程序或指令，处理器则通过数据总线从存储器中获取该计算机程序或指令并予以执行，通过执行该计算机程序或指令，能够使该自动泊车系统执行如下操作：

接收位于车辆四周的多个鱼眼镜头所获取的多个鱼眼图像；

将多个鱼眼图像拼接为鸟瞰图；

利用深度学习得到的库位检测模型对鸟瞰图进行处理，得到空间库位的库位坐标和库位类型；

根据库位坐标和库位类型进行路径规划，得到自动停车路径。

还能够使该自动泊车系统在利用库位检测模型对鸟瞰图进行处理后无法得到空间库位使，执行如下操作：

在车机的显示界面或用户的移动设备的显示界面上显示库位设置窗口；

接收用户通过库位设置窗口输入的虚拟泊车位；

计算虚拟泊车位的库位坐标和库位类型；

根据虚拟泊车位的库位坐标和库位类型执行根据库位坐标和库位类型进行路径规划步骤，得到自动泊车路径。

另外，在利用库位检测模型对鸟瞰图进行处理的过程中，如果发现库位线，自动泊车系统还用于执行如下操作：

利用深度学习得到的空间检测模块，并根据库位线对鸟瞰图进行处理，得到实际泊车位及库位坐标和库位类型；

执行根据库位坐标和库位类型进行路径规划步骤，得到自动停车路径。

实施例九

本实施例提供了一种车辆个，该车辆设置有实施例七或实施例八中的自动泊车系统，该自动泊车系统设置有环视泊车感知装置，该装置用于接收位于车辆四周的多个鱼眼镜头所获取的多个鱼眼图像；将多个鱼眼图像拼接为鸟瞰图；利用深度学习得到的库位检测模型对鸟瞰图进行处理，得到空间库位的库位坐标和库位类型；根据库位坐标和库位类型进行路径规划，得到自动停车路径。由于本方案是直接从鸟瞰图中得到库位的相关信息并进行路径规划，因此可以适用于无库位标识的情况下实现自动泊车，从而解决了此种情况下自动泊车系统无法泊车的问题。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本申请实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本申请所提供的技术方案进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (15)

1.一种环视泊车感知方法，应用于车辆的自动泊车系统，其特征在于，所述环视泊车感知方法包括步骤：

接收位于所述车辆四周的多个鱼眼镜头所获取的多个鱼眼图像；

将所述多个鱼眼图像拼接为鸟瞰图；

利用深度学习得到的库位检测模型对所述鸟瞰图进行处理，得到空间库位的库位坐标和库位类型；

根据所述库位坐标和所述库位类型进行路径规划，得到自动停车路径。

2.如权利要求1所述的环视泊车感知方法，其特征在于，所述将所述多个鱼眼图像拼接为鸟瞰图，包括：

对每个所述鱼眼图像进行畸变矫正；

根据每个所述鱼眼图像所对应的摄像头的标定位置，对经过矫正的所述鱼眼图像进行坐标映射；

将经过坐标映射处理后得到的多个所述鱼眼图像进行拼接，得到所述鸟瞰图。

3.如权利要求1所述的环视泊车感知方法，其特征在于，所述库位检测模型包括目标检测神经网络和分类神经网络，所述利用深度学习得到的库位检测模型对所述鸟瞰图进行处理，包括：

利用所述目标检测神经网络对所述鸟瞰图进行处理，得到所述空间库位的图像块，并得到所述空间库位的库位坐标；

利用所述分类神经网络对所述图像块进行处理，得到所述空间库位的库位类型。

4.如权利要求1所述的环视泊车感知方法，其特征在于，如果利用库位检测模型对鸟瞰图进行处理后无法得到空间库位，则包括步骤：

在车机的显示界面或用户的移动设备的显示界面上显示库位设置窗口；

计算用户通过所述库位设置窗口输入的虚拟泊车位的库位坐标和库位类型；

根据所述虚拟泊车位的库位坐标和库位类型执行所述根据所述库位坐标和所述库位类型进行路径规划步骤，得到所述自动泊车路径。

5.如权利要求1所述的环视泊车感知方法，其特征在于，如果在利用所述库位检测模型对所述鸟瞰图进行处理的过程中，如果发现库位线，则包括步骤：

利用深度学习得到的空间检测模块，并根据所述库位线对所述鸟瞰图进行处理，得到实际泊车位及库位坐标和库位类型；

执行所述根据所述库位坐标和所述库位类型进行路径规划步骤，得到所述自动停车路径。

6.一种环视泊车感知装置，应用于车辆的自动泊车系统，其特征在于，所述环视泊车感知装置包括：

图像接收模块，用于接收位于所述车辆四周的多个鱼眼镜头所获取的多个鱼眼图像；

图像拼接模块，用于将所述多个鱼眼图像拼接为鸟瞰图；

第一库位处理模块，用于利用深度学习得到的库位检测模型对所述鸟瞰图进行处理，得到空间库位的库位坐标和库位类型；

路径规划模块，用于根据所述库位坐标和所述库位类型进行路径规划，得到自动停车路径。

7.如权利要求6所述的环视泊车感知装置，其特征在于，所述图像拼接模块包括：

畸变矫正单元，用于对每个所述鱼眼图像进行畸变矫正；

坐标映射单元，用于根据每个所述鱼眼图像所对应的摄像头的标定位置，对经过矫正的所述鱼眼图像进行坐标映射；

拼接处理模块，用于将经过坐标映射处理后得到的多个所述鱼眼图像进行拼接，得到所述鸟瞰图。

8.如权利要求6所述的环视泊车感知装置，其特征在于，所述库位检测模型包括目标检测神经网络和分类神经网络，所述第一库位处理模块包括：

第一处理单元，用于利用所述目标检测神经网络对所述鸟瞰图进行处理，得到所述空间库位的图像块，并得到所述空间库位的库位坐标；

第二处理单元，用于利用所述分类神经网络对所述图像块进行处理，得到所述空间库位的库位类型。

9.如权利要求6所述的环视泊车感知装置，其特征在于，还包括：

显示控制模块，用于如果利用库位检测模型对鸟瞰图进行处理后无法得到空间库位，则在车机的显示界面或用户的移动设备的显示界面上显示库位设置窗口；

数据计算模块，用于计算用户通过所述库位设置窗口输入的虚拟泊车位的库位坐标和库位类型；

第一驱动模块，用于驱动所述路径规划模块根据所述库位坐标和所述库位类型进行路径规划，得到所述自动泊车路径。

10.如权利要求6所述的环视泊车感知装置，其特征在于，还包括：

第二库位处理模块，用于当所述第一库位处理模块在利用所述库位检测模型对所述鸟瞰图进行处理的过程中发现库位线时，利用深度学习得到的空间检测模块，并根据所述库位线对所述鸟瞰图进行处理，得到实际泊车位及库位坐标和库位类型；

第二驱动模块，用于确定所述路径规划模块根据所述库位坐标和所述库位类型进行路径规划，得到所述自动停车路径。

11.一种自动泊车系统，应用于车辆，其特征在于，设置有如权利要求6～10任一项所述的环视泊车感知装置。

12.一种自动泊车系统，应用于车辆，其特征在于，包括至少一个处理器和与其相连接的存储器，所述存储器存储有计算机程序或指令，所述处理器用于执行所述计算机程序或指令，以使所述自动泊车系统执行如下操作：

接收位于所述车辆四周的多个鱼眼镜头所获取的多个鱼眼图像；

将所述多个鱼眼图像拼接为鸟瞰图；

利用深度学习得到的库位检测模型对所述鸟瞰图进行处理，得到空间库位的库位坐标和库位类型；

根据所述库位坐标和所述库位类型进行路径规划，得到自动停车路径。

13.如权利要求12所述的自动泊车系统，其特征在于，如果利用库位检测模型对鸟瞰图进行处理后无法得到空间库位，所述自动泊车系统还用于执行如下操作：

在车机的显示界面或用户的移动设备的显示界面上显示库位设置窗口；

计算用户通过所述库位设置窗口输入的虚拟泊车位的库位坐标和库位类型；

根据所述虚拟泊车位的库位坐标和库位类型执行所述根据所述库位坐标和所述库位类型进行路径规划步骤，得到所述自动泊车路径。

14.如权利要求12所述的环视泊车感知方法，其特征在于，如果在利用所述库位检测模型对所述鸟瞰图进行处理的过程中，如果发现库位线，所述自动泊车系统还用于执行如下操作：

利用深度学习得到的空间检测模块，并根据所述库位线对所述鸟瞰图进行处理，得到实际泊车位及库位坐标和库位类型；

执行所述根据所述库位坐标和所述库位类型进行路径规划步骤，得到所述自动停车路径。

15.一种车辆，其特征在于，设置有如权利要求11～14任一项所述的自动泊车系统。

Images