CN112348035A - 车辆关键点检测方法、装置及电子设备 - Google Patents

Abstract

本发明提供了一种车辆关键点检测方法、装置及电子设备，涉及智能驾驶技术领域，包括将样本图像输入至预先训练好的检测模型；样本图像包括待检测车辆的当前帧图像、当前帧图像的历史帧图像以及历史帧图像的第一检测结果；根据预先训练好的检测模型确定待检测车辆的车辆关键点的第二检测结果和图像偏移量；基于第二检测结果和图像偏移量确定待检测车辆的关键点位置。本发明可以提升车辆关键点检测的准确性。

Description

车辆关键点检测方法、装置及电子设备

技术领域

本发明涉及智能驾驶技术领域，尤其是涉及一种车辆关键点检测方法、装置及电子设备。

背景技术

随着自动驾驶技术的不断发展，对于车辆的准确性检测提出了更高的要求。现有的车辆关键点检测方法通过对车辆进行检测，并进一步通过关键点回归并进行缺失点计算的方式，对车辆的关键点进行检测，然而，在初步检测车辆时，可能会存在检测结果不准确导致最终关键点检测的准确性较低的情况，容易导致检测不准和检测性能较低的情况。

综上，针对现有方案在进行车辆关键点检测时存在的检测准确性较低的问题，目前尚未有效的解决方案。

发明内容

本发明的目的在于提供一种车辆关键点检测方法、装置及电子设备，可以提升车辆关键点检测的准确性。

第一方面，本发明实施例提供一种车辆关键点检测方法，方法包括：将样本图像输入至预先训练好的检测模型；样本图像包括待检测车辆的当前帧图像、当前帧图像的历史帧图像以及历史帧图像的第一检测结果；根据预先训练好的检测模型确定待检测车辆的车辆关键点的第二检测结果和图像偏移量；基于第二检测结果和图像偏移量确定待检测车辆的关键点位置。

在可选的实施方式中，第二检测结果包括待检测车辆的整车热图；方法还包括：判断待检测车辆的整车热图响应是否低于指定阈值；如果是，则检测结束。

在可选的实施方式中，历史帧图像包括当前帧图像的上一帧图像；将样本图像输入至预先训练好的检测模型的步骤，包括：获取上一帧图像的第一热图，并将第一热图确定为第一检测结果；将当前帧图像、上一帧图像以及上一帧图像的第一热图输入至预先训练好的检测模型。

在可选的实施方式中，根据预先训练好的检测模型确定待检测车辆的车辆关键点的第二检测结果和图像偏移量的步骤，包括：根据预先训练好的检测模型确定待检测车辆的车辆关键点的第二热图和图像偏移量；其中，第二热图包括车辆关键点热图和关键部分中心点热图。

在可选的实施方式中，基于第二检测结果和图像偏移量确定待检测车辆的关键点位置的步骤，包括：确定图像偏移量的偏移方向和偏移距离；基于车辆关键点的第二热图、偏移方向和偏移距离确定待检测车辆的关键点位置。

在可选的实施方式中，方法还包括：将关键点位置与预先设定的车辆三维模型进行匹配，以便对待检测车辆进行3D构建；预先设定的车辆三维模型包括车辆CAD模型。

第二方面，本发明实施例提供一种车辆关键点检测装置，装置包括：图像输入模块，用于将样本图像输入至预先训练好的检测模型；样本图像包括待检测车辆的当前帧图像、当前帧图像的历史帧图像以及历史帧图像的第一检测结果；第一确定模块，用于根据预先训练好的检测模型确定待检测车辆的车辆关键点的第二检测结果和图像偏移量；第二确定模块，用于基于第二检测结果和图像偏移量确定待检测车辆的关键点位置。

在可选的实施方式中，第二检测结果包括待检测车辆的整车热图；上述装置还包括：校验模块，用于判断所述待检测车辆的整车热图响应是否低于指定阈值；如果是，则检测结束。

第三方面，本发明实施例提供一种电子设备，包括处理器和存储器；存储器上存储有计算机程序，计算机程序在被处理器运行时执行如前述实施方式任一项的方法。

第四方面，本发明实施例提供一种计算机可读存储介质，用于储存如前述实施方式任一项方法所用的计算机软件指令。

本发明提供的车辆关键点检测方法、装置及电子设备，该车辆关键点检测方法首先将样本图像输入至预先训练好的检测模型，样本图像包括待检测车辆的当前帧图像、当前帧图像的历史帧图像以及历史帧图像的第一检测结果，然后根据预先训练好的检测模型确定待检测车辆的车辆关键点的第二检测结果和图像偏移量，最后基于第二检测结果和图像偏移量确定待检测车辆的关键点位置。上述方式通过待检测车辆的当前帧图像、当前帧图像的历史帧图像以及历史帧图像的第一检测结果输入至预先训练好的检测模型，可以提升样本的丰富度，从而使得检测结果更加准确，通过待检测车辆的车辆关键点的第二检测结果和图像偏移量确定待检测车辆的关键点位置，可以进一步提升车辆关键点检测的准确性。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种车辆关键点检测方法的流程示意图；

图2为本发明实施例提供的另一种车辆关键点检测方法的流程示意图；

图3为本发明实施例提供的一种车辆关键点检测装置的结构示意图；

图4为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本发明的描述中，需要说明的是，术语“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

为便于理解，首先对本发明实施例提供的车辆关键点检测方法进行详细说明，参见图1所示的一种车辆关键点检测方法的流程示意图，该方法主要包括以下步骤S102至步骤S106：

步骤S102，将样本图像输入至预先训练好的检测模型。

在一种实施方式中，样本图像可以包括待检测车辆的当前帧图像、当前帧图像的历史帧图像以及历史帧图像的第一检测结果，历史帧图像为在当前帧图像之前的图像帧，诸如，可以为当前帧图像的上一帧图像，也可以选择当前帧图像的前几帧图像。第一检测结果为针对历史帧图像的热图(也即HEARMAP)，可以理解的是，当历史帧图像为当前帧图像的上一帧图像时，第一检测结果为上一帧图像的关键点热图；当历史帧图像为当前帧图像的前几帧图像时，第一检测结果可以为前几帧图像的关键点热图。

步骤S104，根据预先训练好的检测模型确定待检测车辆的车辆关键点的第二检测结果和图像偏移量。

预先训练好的检测模型诸如可以为目标检测模型，诸如，该预先训练好的检测模型可以包括预先训练好的MobileNet模型，通过将样本图像输入至预先训练好的检测模型，可以对样本图像进行检测，从而得到针对样本图像的第二检测结果以及图像偏移量，第二检测结果可以包括车辆关键点的热图和中心点的热图，其中，车辆关键点可以包括诸如车牌、车顶等关键部分的中心点。通过增加该车辆关键点的热图作为纠正，可以提高检测的准确率。

步骤S106，基于第二检测结果和图像偏移量确定待检测车辆的关键点位置。

在一种实施方式中，由于模型得到的第二检测结果可能存在误差，因此通过图像偏移量进行偏移补偿，从而可以得到准确的检测结果。可以理解的是，第二检测结果(也即上述车辆关键点的热图和中心点的热图)可能会存在不同距离或者不同方向的偏移，因此，针对不同距离或者不同方向的偏移，通过图像偏移量对第二检测结果执行相应的操作(诸如加和或者减去操作)，从而得到最终关键点的位置。

本发明实施例提供的车辆关键点检测方法，通过待检测车辆的当前帧图像、当前帧图像的历史帧图像以及历史帧图像的第一检测结果输入至预先训练好的检测模型，可以提升样本的丰富度，从而使得检测结果更加准确，通过待检测车辆的车辆关键点的第二检测结果和图像偏移量确定待检测车辆的关键点位置，可以进一步提升车辆关键点检测的准确性。

在一种实施方式中，上述第二检测结果还可以包括待检测车辆的整车热图，判断待检测车辆的整车热图响应是否低于指定阈值，如果整车热图响应低于指定阈值，则不进行车辆关键点提取及3D转化的后处理过程，检测结束，如果整车热图响应是否高于指定阈值，则继续进行关键点提取。通过判定整车的热图响应，对响应较低的情况直接不作进一步检测，可以提升检测效率。

上述根据预先训练好的检测模型确定待检测车辆的车辆关键点的第二检测结果和图像偏移量时，可以首先根据预先训练好的检测模型确定待检测车辆的车辆关键点的第二热图和图像偏移量，其中，第二热图包括车辆关键点热图和关键部分中心点热图，车辆关键点包括诸如车牌、车顶等的关键区域的关键点以及中心点。由于图像可能存在不同距离及方向的偏移，因此进一步确定图像偏移量的偏移方向和偏移距离，从而可以基于车辆关键点的第二热图、图像偏移量的偏移方向和偏移距离确定待检测车辆的关键点位置。

此外，在得到最终的关键点位置后，还可以进一步将关键点位置与预先设定的车辆三维模型进行匹配，以便对待检测车辆进行3D构建，从而更加准确直观的确定待检测车辆，以便对其进行识别及目标跟踪，其中，预先设定的车辆三维模型可以包括车辆CAD模型。

本发明实施例还提供了另一种车辆关键点检测方法，参见图2所示的另一种车辆关键点检测方法的流程示意图，该方法主要包括以下步骤S202至步骤S208：

步骤S202，将前一帧图像、当前帧图像和前一帧图像检测的热图(也即heatmap)结果输入至已经训练好的模型。

步骤S204，经过模型得到目标热图(包括关键点的热图和中心点的热图)结果、偏移量结果(也即offset)以及整车的热图结果；

步骤S206，根据目标热图和偏移量结果得到关键点的位置。

步骤S208，根据已有的CAD模型将关键点的位置转匹配为3D点的位置。

本发明实施例提供的车辆关键点检测方法，通过增加关键part(如车牌、车顶等)中心点的heatmap作为纠正，可以提高准确率；通过增加连续图像(也即当前帧图像和上一帧图像)的跟踪，多帧提高准确率；输出增加整车的heatmap，如果heatmap响应高则继续做关键点提取，如果响应低则直接舍去，提高检测效率。

针对上述图1所示的车辆关键点检测方法，本发明实施例提供了一种车辆关键点检测装置，参见图3所示的一种车辆关键点检测装置的结构示意图，该装置主要包括以下结构：

图像输入模块302，用于将样本图像输入至预先训练好的检测模型；样本图像包括待检测车辆的当前帧图像、当前帧图像的历史帧图像以及历史帧图像的第一检测结果；

第一确定模块304，用于根据预先训练好的检测模型确定待检测车辆的车辆关键点的第二检测结果和图像偏移量；

第二确定模块306，用于基于第二检测结果和图像偏移量确定待检测车辆的关键点位置。

本发明实施例提供的车辆关键点检测装置，通过待检测车辆的当前帧图像、当前帧图像的历史帧图像以及历史帧图像的第一检测结果输入至预先训练好的检测模型，可以提升样本的丰富度，从而使得检测结果更加准确，通过待检测车辆的车辆关键点的第二检测结果和图像偏移量确定待检测车辆的关键点位置，可以进一步提升车辆关键点检测的准确性。

在一种实施方式中，第二检测结果包括待检测车辆的整车热图；上述装置还包括：校验模块，用于判断待检测车辆的整车热图响应是否低于指定阈值；如果是，则检测结束。

在一种实施方式中，历史帧图像包括当前帧图像的上一帧图像；上述图像输入模块302，还用于获取上一帧图像的第一热图，并将第一热图确定为第一检测结果；将当前帧图像、上一帧图像以及上一帧图像的第一热图输入至预先训练好的检测模型。

在一种实施方式中，第一确定模块304，还用于根据预先训练好的检测模型确定待检测车辆的车辆关键点的第二热图和图像偏移量；其中，第二热图包括车辆关键点热图和关键部分中心点热图。

在一种实施方式中，第二确定模块306，还用于确定图像偏移量的偏移方向和偏移距离；基于车辆关键点的第二热图、偏移方向和偏移距离确定待检测车辆的关键点位置。

在一种实施方式中，上述装置还包括：3D构建模块，用于将关键点位置与预先设定的车辆三维模型进行匹配，以便对待检测车辆进行3D构建；预先设定的车辆三维模型包括车辆CAD模型。

本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

本发明实施例提供了一种电子设备，具体的，该电子设备包括处理器和存储装置；存储装置上存储有计算机程序，计算机程序在被所述处理器运行时执行如上所述实施方式的任一项所述的方法。

图4为本发明实施例提供的一种电子设备的结构示意图，该电子设备100包括：处理器40，存储器41，总线42和通信接口43，所述处理器40、通信接口43和存储器41通过总线42连接；处理器40用于执行存储器41中存储的可执行模块，例如计算机程序。

其中，存储器41可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口43(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。

总线42可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

其中，存储器41用于存储程序，所述处理器40在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器40中，或者由处理器40实现。

处理器40可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器40中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器40可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器41，处理器40读取存储器41中的信息，结合其硬件完成上述方法的步骤。

本发明实施例所提供的车辆关键点检测方法、装置及电子设备的计算机程序产品，包括存储了处理器可执行的非易失的程序代码的计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统具体工作过程，可以参考前述实施例中的对应过程，在此不再赘述。

本发明实施例所提供的可读存储介质的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种车辆关键点检测方法，其特征在于，所述方法包括：

将样本图像输入至预先训练好的检测模型；所述样本图像包括待检测车辆的当前帧图像、所述当前帧图像的历史帧图像以及所述历史帧图像的第一检测结果；

根据所述预先训练好的检测模型确定所述待检测车辆的车辆关键点的第二检测结果和图像偏移量；

基于所述第二检测结果和所述图像偏移量确定所述待检测车辆的关键点位置。

2.根据权利要求1所述的方法，其特征在于，所述第二检测结果包括所述待检测车辆的整车热图；所述方法还包括：

判断所述待检测车辆的整车热图响应是否低于指定阈值；

如果是，则检测结束。

3.根据权利要求1所述的方法，其特征在于，所述历史帧图像包括所述当前帧图像的上一帧图像；所述将样本图像输入至预先训练好的检测模型的步骤，包括：

获取所述上一帧图像的第一热图，并将所述第一热图确定为所述第一检测结果；

将所述当前帧图像、所述上一帧图像以及所述上一帧图像的第一热图输入至所述预先训练好的检测模型。

4.根据权利要求1所述的方法，其特征在于，所述根据所述预先训练好的检测模型确定所述待检测车辆的车辆关键点的第二检测结果和图像偏移量的步骤，包括：

根据所述预先训练好的检测模型确定所述待检测车辆的车辆关键点的第二热图和所述图像偏移量；其中，所述第二热图包括车辆关键点热图和关键部分中心点热图。

5.根据权利要求4所述的方法，其特征在于，所述基于所述第二检测结果和所述图像偏移量确定所述待检测车辆的关键点位置的步骤，包括：

确定所述图像偏移量的偏移方向和偏移距离；

基于所述车辆关键点的第二热图、所述偏移方向和所述偏移距离确定所述待检测车辆的关键点位置。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将所述关键点位置与预先设定的车辆三维模型进行匹配，以便对所述待检测车辆进行3D构建；所述预先设定的车辆三维模型包括车辆CAD模型。

7.一种车辆关键点检测装置，其特征在于，所述装置包括：

图像输入模块，用于将样本图像输入至预先训练好的检测模型；所述样本图像包括待检测车辆的当前帧图像、所述当前帧图像的历史帧图像以及所述历史帧图像的第一检测结果；

第一确定模块，用于根据所述预先训练好的检测模型确定所述待检测车辆的车辆关键点的第二检测结果和图像偏移量；

第二确定模块，用于基于所述第二检测结果和所述图像偏移量确定所述待检测车辆的关键点位置。

8.根据权利要求7所述的装置，其特征在于，第二检测结果包括待检测车辆的整车热图；所述装置还包括：

校验模块，用于判断所述待检测车辆的整车热图响应是否低于指定阈值；如果是，则检测结束。

9.一种电子设备，其特征在于，包括处理器和存储器；

所述存储器上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如权利要求1至6任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，用于储存如权利要求1至6任一项所述方法所用的计算机软件指令。

Images