CN108710828B - 识别目标物的方法、装置和存储介质以及车辆 - Google Patents
识别目标物的方法、装置和存储介质以及车辆 Download PDFInfo
- Publication number
- CN108710828B CN108710828B CN201810350799.5A CN201810350799A CN108710828B CN 108710828 B CN108710828 B CN 108710828B CN 201810350799 A CN201810350799 A CN 201810350799A CN 108710828 B CN108710828 B CN 108710828B
- Authority
- CN
- China
- Prior art keywords
- target
- position information
- clustering
- optical flow
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本公开涉及一种识别目标物的方法、装置和存储介质以及车辆，包括：获取车辆周围预设范围内的当前帧图像和上一帧图像；根据当前帧图像和上一帧图像获取目标特征，并确定目标特征在当前帧图像中的第一位置信息，以及根据第一位置信息确定目标特征的光流；根据第一位置信息和光流对目标特征进行聚类得到第一目标物；获取车辆周围预设范围内的待聚类目标的第二位置信息和速度信息，并根据第二位置信息和速度信息对待聚类目标进行聚类得到第二目标物；根据第一位置信息、第二位置信息和光流以及速度信息识别第一目标物和第二目标物是否为同一目标物。
Description
技术领域
本公开涉及车辆技术领域，具体地，涉及一种识别目标物的方法、装置和存储介质以及车辆。
背景技术
为了提高单一传感器检测的准确率和可靠性，多传感器信息融合技术在车辆安全保障研究领域受到越来越多的重视。
目前，为了提高无人驾驶汽车对前方环境识别的准确性，通常采用雷达传感器和视觉传感器进行信息融合的方式，其中，可以将雷达传感器设置于车辆前保险杠的上方位置，视觉传感器设置于前挡风玻璃上，但是，由于上述信息融合过程主要依靠位置信息进行融合，而视觉传感器容易受天气状况和光照条件变化的影响，视觉检测效果也相应地受到影响，并且不同目标物重合时，单纯地依靠图像中目标物的位置无法将其分辨开来，这样，单纯地依靠位置信息并不能准确识别视觉传感器和雷达传感器采集到的目标物，从而导致信息融合失败。
发明内容
为了解决上述问题，本公开提出了一种识别目标物的方法、装置和存储介质以及车辆。
根据本公开实施例的第一方面，提供一种识别目标物的方法，应用于车辆，包括：
获取车辆周围预设范围内的当前帧图像和上一帧图像；
根据所述当前帧图像和所述上一帧图像获取目标特征，并确定所述目标特征在所述当前帧图像中的第一位置信息，以及根据所述第一位置信息确定所述目标特征的光流；
根据所述第一位置信息和所述光流对所述目标特征进行聚类得到第一目标物；
获取所述车辆周围预设范围内的待聚类目标的第二位置信息和速度信息，并根据所述第二位置信息和所述速度信息对所述待聚类目标进行聚类得到第二目标物；
根据所述第一位置信息、所述第二位置信息和所述光流以及所述速度信息识别所述第一目标物和所述第二目标物是否为同一目标物。
可选地，所述根据所述当前帧图像和所述上一帧图像获取目标特征包括：
分别检测所述当前帧图像和所述上一帧图像中的图像特征点；
对所述图像特征点进行临近区域匹配得到所述目标特征。
可选地，所述根据所述第一位置信息确定所述目标特征的光流包括：
获取所述目标特征在所述上一帧图像中的第三位置信息；
根据所述第一位置信息和所述第三位置信息确定所述目标特征的光流。
可选地，所述根据所述第一位置信息和所述第三位置信息确定所述目标特征的光流包括：
根据所述第一位置信息和所述第三位置信息确定所述目标特征的移动距离；
根据所述移动距离和预设采集周期获取所述目标特征的光流。
可选地，所述根据所述第一位置信息和所述光流对所述目标特征进行聚类得到第一目标物包括：
根据所述第一位置信息将所述目标特征进行聚类得到第一聚类结果；
将所述第一聚类结果中的目标特征按照所述光流进行聚类得到所述第一目标物。
可选地，所述根据所述第二位置信息和所述速度信息对所述待聚类目标进行聚类得到第二目标物包括：
根据所述第二位置信息对所述待聚类目标进行聚类得到第二聚类结果；
将所述第二聚类结果中的待聚类目标按照所述速度信息进行聚类得到所述第二目标物。
可选地，所述根据所述第一位置信息、所述第二位置信息和所述光流以及所述速度信息识别所述第一目标物和所述第二目标物是否为同一目标物包括：
根据所述第一位置信息和所述第二位置信息确定所述第一目标物和所述第二目标物是否位置匹配；
在满足所述第一目标物和所述第二目标物位置匹配时，继续确定所述第一目标物的光流是否与所述第二目标物的速度信息匹配；
在所述第一目标物的光流与所述第二目标物的速度信息匹配时，确定所述第一目标物和所述第二目标物为同一目标物。
可选地，在所述确定所述第一目标物的光流是否与所述第二目标物的速度信息匹配前，还包括：
将所述第一目标物的光流和所述第二目标物的速度信息分别进行归一化；
所述确定所述第一目标物的光流是否与所述第二目标物的速度信息匹配包括：
确定所述归一化后的光流与所述归一化后的速度信息的差值是否小于或者等于预设阈值；
在所述归一化后的光流与所述归一化后的速度信息的差值小于或者等于所述预设阈值时，确定所述第一目标物的光流与所述第二目标物的速度信息匹配。
根据本公开实施例的第二方面，提供一种识别目标物的装置，应用于车辆，包括：
获取模块，用于获取车辆周围预设范围内的当前帧图像和上一帧图像；
处理模块，用于根据所述当前帧图像和所述上一帧图像获取目标特征，并确定所述目标特征在所述当前帧图像中的第一位置信息，以及根据所述第一位置信息确定所述目标特征的光流；
第一聚类模块，用于根据所述第一位置信息和所述光流对所述目标特征进行聚类得到第一目标物；
第二聚类模块，用于获取所述车辆周围预设范围内的待聚类目标的第二位置信息和速度信息，并根据所述第二位置信息和所述速度信息对所述待聚类目标进行聚类得到第二目标物；
识别模块，用于根据所述第一位置信息、所述第二位置信息和所述光流以及所述速度信息识别所述第一目标物和所述第二目标物是否为同一目标物。
可选地，所述处理模块包括：
检测子模块，用于分别检测所述当前帧图像和所述上一帧图像中的图像特征点；
匹配模块，用于对所述图像特征点进行临近区域匹配得到所述目标特征。
可选地，所述处理模块包括：
获取子模块，用于获取所述目标特征在所述上一帧图像中的第三位置信息；
第一确定子模块，用于根据所述第一位置信息和所述第三位置信息确定所述目标特征的光流。
可选地，所述第一确定子模块，用于根据所述第一位置信息和所述第三位置信息确定所述目标特征的移动距离；并根据所述移动距离和预设采集周期获取所述目标特征的光流。
可选地，所述第一聚类模块包括：
第一聚类子模块，用于根据所述第一位置信息将所述目标特征进行聚类得到第一聚类结果；
第二聚类子模块，用于将所述第一聚类结果中的目标特征按照所述光流进行聚类得到所述第一目标物。
可选地，所述第二聚类模块包括：
第三聚类子模块，用于根据所述第二位置信息对所述待聚类目标进行聚类得到第二聚类结果；
第四聚类子模块，用于将所述第二聚类结果中的待聚类目标按照所述速度信息进行聚类得到所述第二目标物。
可选地，所述识别模块包括：
第二确定子模块，用于根据所述第一位置信息和所述第二位置信息确定所述第一目标物和所述第二目标物是否位置匹配；
第三确定子模块，用于在满足所述第一目标物和所述第二目标物位置匹配时，继续确定所述第一目标物的光流是否与所述第二目标物的速度信息匹配；
第四确定子模块，用于在所述第一目标物的光流与所述第二目标物的速度信息匹配时，确定所述第一目标物和所述第二目标物为同一目标物。
可选地，还包括：
归一化子模块，用于将所述第一目标物的光流和所述第二目标物的速度信息分别进行归一化；
所述第三确定子模块，用于确定所述归一化后的光流与所述归一化后的速度信息的差值是否小于或者等于预设阈值；在所述归一化后的光流与所述归一化后的速度信息的差值小于或者等于所述预设阈值时，确定所述第一目标物的光流与所述第二目标物的速度信息匹配。
根据本公开实施例的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述所述方法的步骤。
根据本公开实施例的第四方面，提供一种识别目标物的装置，包括：
存储器，其上存储有计算机程序；以及
一个或者多个处理器，用于执行所述存储器中的程序，实现上述所述方法的步骤。
根据本公开实施例的第五方面，提供一种车辆，包括上述所述的识别目标物的装置。
通过上述技术方案，获取车辆周围预设范围内的当前帧图像和上一帧图像；根据所述当前帧图像和所述上一帧图像获取目标特征，并确定所述目标特征在所述当前帧图像中的第一位置信息，以及根据所述第一位置信息确定所述目标特征的光流；根据所述第一位置信息和所述光流对所述目标特征进行聚类得到第一目标物；获取所述车辆周围预设范围内的待聚类目标的第二位置信息和速度信息，并根据所述第二位置信息和所述速度信息对所述待聚类目标进行聚类得到第二目标物；根据所述第一位置信息、第二位置信息和所述光流以及所述速度信息识别所述第一目标物和所述第二目标物是否为同一目标物，从而实现了可以准确识别目标物，解决了现有技术中根据位置信息识别目标物造成的识别正确率较低的问题。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1是本公开示例性实施例示出的一种识别目标物的方法的流程图；
图2是本公开示例性实施例示出的又一种识别目标物的方法的流程图；
图3是本公开示例性实施例示出的第一种识别目标物的装置框图；
图4是本公开示例性实施例示出的第二种识别目标物的装置框图；
图5是本公开示例性实施例示出的第三种识别目标物的装置框图；
图6是本公开示例性实施例示出的第四种识别目标物的装置框图；
图7是本公开示例性实施例示出的第五种识别目标物的装置框图；
图8是本公开示例性实施例示出的第六种识别目标物的装置框图；
图9是本公开示例性实施例示出的第七种识别目标物的装置框图；
图10是本公开示例性实施例示出的第八种识别目标物的装置框图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
本公开可以应用于信息融合的场景，在该场景下，可以在车辆中安装视觉传感器和雷达传感器以及处理器，该视觉传感器用于按照预设采集周期采集车辆周围预设范围内的图像，该雷达传感器用于采集车辆周围预设范围内的待聚类目标的角度信息、距离信息和速度信息，该处理器可以根据视觉传感器采集的上一帧图像和当前帧图像确定出当前帧图像中的第一目标物，以及根据雷达传感器采集的待聚类目标的角度信息、距离信息和速度信息确定出第二目标物，这样，根据该第一目标物的第一位置信息和光流，和该第二目标物的第二位置信息和速度信息判断该第一目标物和该第二目标物是否为同一目标，并在该第一目标物和第二目标物为同一目标物时进行信息融合，从而实现了可以准确识别目标物，解决了现有技术中根据位置信息识别目标物造成的识别正确率较低的问题。
下面结合具体实施例对本公开进行详细说明。
图1是本公开示例性实施例示出的一种识别目标物的方法的流程图，如图1所示，应用于车辆，该方法包括：
S101、获取车辆周围预设范围内的当前帧图像和上一帧图像。
在本公开中，可以通过在车辆中安装的视觉传感器(如摄像机等)按照预设采集周期采集该车辆周围预设范围内的图像，该当前帧图像为视觉传感器在当前采集周期采集到的图像，该上一帧图像为视觉传感器在上一采集周期采集到的图像。
S102、根据该当前帧图像和该上一帧图像获取目标特征，并确定该目标特征在该当前帧图像中的第一位置信息，以及根据该第一位置信息确定该目标特征的光流。
其中，可以分别检测该当前帧图像和该上一帧图像中的图像特征点，例如，该图像特征点可以是SURF特征点、SIFT特征点等；并对该图像特征点进行临近区域匹配得到该目标特征，需要说明的是，该目标特征通常包括多个，示例地，该目标特征可以是该当前帧图像和该上一帧图像中都存在的同一第一目标物的各个部分，如该当前帧图像和上一帧图像中都存在同一辆车，则该目标特征可以是该同一辆车的左后车门、后车窗、左后车胎等，另外，在该当前帧图像和该上一帧图像中都存在多个同一第一目标物时，该目标特征可以是多个同一第一目标物对应的各个部分，上述示例只是举例说明，本公开对此不作限定。
在本步骤中，该目标特征的光流可以通过获取该目标特征在该上一帧图像中的第三位置信息，并根据该第一位置信息和该第三位置信息确定该目标特征的光流。
S103、根据该第一位置信息和该光流对该目标特征进行聚类得到第一目标物。
在一种可能的实现方式中，根据该第一位置信息将该目标特征进行聚类得到第一聚类结果，并将该第一聚类结果中的目标特征按照该光流进行聚类得到该第一目标物。
S104、获取该车辆周围预设范围内的待聚类目标的第二位置信息和速度信息，并根据该第二位置信息和该速度信息对该待聚类目标进行聚类得到第二目标物。
其中，由于雷达传感器可能将该第二目标物划分成多个部分分别进行检测，因此，该待聚类目标为该第二目标物中的各个部分，这样，本步骤可以将多个第二目标物对应的各个部分分别进行聚类得到多个第二目标物。
在一种可能的实现方式中，可以通过在车辆中安装的雷达传感器采集该车辆周围预设范围内的待聚类目标的角度信息、距离信息和速度信息，可见，可以根据该角度信息和该距离信息得到该待聚类目标的第二位置信息。
S105、根据该第一位置信息、该第二位置信息和该光流以及该速度信息识别该第一目标物和该第二目标物是否为同一目标物。
在本步骤中，可以根据该第一位置信息和该第二位置信息确定该第一目标物和该第二目标物是否位置匹配；在满足该第一目标物和该第二目标物位置匹配时，继续确定该第一目标物的光流是否与该第二目标物的速度信息匹配；在该第一目标物的光流与该第二目标物的速度信息匹配时，确定该第一目标物和该第二目标物为同一目标物。
采用上述方法，可以分别获取视觉传感器采集到的第一目标物和雷达传感器采集到的第二目标物，并在第一目标物的第一位置信息和第二目标物的二位置信息匹配后，对第一目标物的光流和第二目标物的速度信息进行匹配，这样，在位置信息匹配的基础上进行光流和速度信息的匹配，从而实现了可以准确识别目标物，解决了现有技术中根据位置信息识别目标物造成的识别正确率较低的问题。
图2是本公开示例性实施例示出的一种识别目标物的方法的流程图，如图2所示，应用于车辆，所述方法包括：
S201、获取车辆周围预设范围内的当前帧图像和上一帧图像。
在本公开中，可以通过在车辆中安装的视觉传感器(如摄像机等)按照预设采集周期采集该车辆周围预设范围内的图像，该当前帧图像为视觉传感器在当前采集周期采集到的图像，该上一帧图像为视觉传感器在上一采集周期采集到的图像。
S202、分别检测该当前帧图像和该上一帧图像中的图像特征点。
由于SURF特征和SIFT特征都具有尺度不变特征，且适用于检测图像中的局部性特征，因此，本公开中可以采用SURF特征或者SIFT特征的提取方法提取该当前帧图像和该上一帧图像中的图像特征点(即SURF特征点或者SIFT特征点)，SURF特征或者SIFT特征的提取方法可参考现有技术，不再赘述，上述图像特征点的提取方法只是举例说明，本公开对此不作限定。
需要说明的是，该图像特征点可以包括多个，其中，考虑到该图像特征点通常为图像中最易识别的像素点(如角点、拐点以及交叉点等)，从而在后续步骤中可以根据该图像特征点进行临近区域匹配。
S203、对该图像特征点进行临近区域匹配得到该目标特征。
在本步骤中，可以确定图像特征点分别在该当前帧图像和该上一帧图像中的点位置，并获取该当前帧图像和该上一帧图像中的该点位置周围预设范围内存在的匹配点，从而可以确定该匹配点和该图像特征点构成该目标特征，上述确定该目标特征的方法只是举例说明，本公开对此不作限定。
S204、确定该目标特征在该当前帧图像中的第一位置信息。
S205、获取该目标特征在该上一帧图像中的第三位置信息。
S206、根据该第一位置信息和该第三位置信息确定该目标特征的光流。
其中，可以根据该第一位置信息和该第三位置信息确定该目标特征的移动距离，并根据该移动距离和预设采集周期获取该目标特征的光流。
S207、根据该第一位置信息将该目标特征进行聚类得到第一聚类结果。
在一种可能的实现方式中，可以将该当前帧图像划分为多个区域，此时，将该每一区域中的目标特征聚为一类，划分区域的区域数量大于或者等于预设数量，从而使得聚类准确性较高，上述示例只是举例说明，本公开对此不作限定。
S208、将该第一聚类结果中的目标特征按照该光流进行聚类得到第一目标物。
由于在通过该第一位置信息进行聚类时，可能错误地将不同的第一目标物的目标特征聚为一类，为了避免该问题，基于不同第一目标物的光流不同，本公开可以将第一聚类结果中的目标特征继续按照光流进行聚类，从而提高了对不同第一目标物进行聚类的准确度。
S209、获取该车辆周围预设范围内的待聚类目标的第二位置信息和速度信息。
其中，由于雷达传感器可能将该第二目标物划分成多个部分分别进行检测，因此，该待聚类目标为该第二目标物中的各个部分，这样，后续步骤可以将多个第二目标物对应的各个部分分别进行聚类得到多个第二目标物。
在一种可能的实现方式中，可以通过在车辆中安装的雷达传感器采集该车辆周围预设范围内的待聚类目标的角度信息、距离信息和速度信息，可见，可以根据该角度信息和该距离信息得到该待聚类目标的第二位置信息。
S210、根据该第二位置信息对该待聚类目标进行聚类得到第二聚类结果。
由于获取的该第二位置信息通常为三维坐标，因此，可以将该车辆周围预设范围划分为多个三维空间，从而确定该待聚类目标所在的目标三维空间，进而实现对该待聚类目标进行聚类，上述示例只是举例说明，当然，本公开还可以将该三维坐标进行坐标转换得到二维坐标，从而可以在二维平面中对该待聚类目标进行聚类，本公开对此不作限定。
S211、将该第二聚类结果中的待聚类目标按照该速度信息进行聚类得到该第二目标物。
同样地，在该第二聚类结果中的待聚类目标可能是不同第二目标物的部分，因此，可以通过速度信息将该目标三维空间中的不同第二目标物的部分进行聚类，从而提高了不同第二目标物的聚类准确度。
S212、根据该第一位置信息和该第二位置信息确定该第一目标物和该第二目标物是否位置匹配。
由于该第一位置信息是二维坐标，而该第二位置信息是三维坐标，因此，需要将该第一位置信息与该第二位置信息进行坐标转换，从而进行位置匹配，上述坐标转换过程参考现有技术，不再赘述。
在一种可能的实现方式中，可以采用GNN算法确定该第一目标物和该第二目标物是否位置匹配，上述示例只是举例说明，本公开对此不作限定。
在该第一目标物和该第二目标物位置匹配时，继续执行步骤S213；
在该第一目标物和该第二目标物位置不匹配时，执行步骤S214。
S213、确定该第一目标物的光流是否与该第二目标物的速度信息匹配。
需要说明的是，由于该光流和速度信息属于不同当量，因此，无法直接将该光流和速度信息进行匹配，综上，在确定该第一目标物的光流是否与该第二目标物的速度信息匹配前，需要将该第一目标物的光流和该第二目标物的速度信息分别进行归一化，这样，确定该第一目标物的光流是否与该第二目标物的速度信息匹配包括：确定归一化后的光流与归一化后的速度信息的差值是否小于或者等于预设阈值；在归一化后的光流与归一化后的速度信息的差值小于或者等于该预设阈值时，确定该第一目标物的光流与该第二目标物的速度信息匹配，在归一化后的光流与归一化后的速度信息的差值大于该预设阈值时，确定该第一目标物的光流与该第二目标物的速度信息不匹配。
在该第一目标物的光流与该第二目标物的速度信息匹配时，执行步骤S215；
在该第一目标物的光流与该第二目标物的速度信息不匹配时，执行步骤S214。
S214、确定该第一目标物和该第二目标物为不同目标物。
S215、确定该第一目标物和该第二目标物为同一目标物。
这样，可以通过该视觉传感器采集到的当前帧图像确定该目标物的类别信息，并将该类别信息与雷达传感器采集到的速度信息进行融合，从而实现视觉传感器和雷达传感器的精确融合。
需要说明的是，对于上述方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本公开并不受所描述的动作顺序的限制，因为依据本公开，某些步骤可以采用其他顺序或者同时进行，例如，步骤S201-S208为获取第一目标物的过程，步骤S209-S211为获取第二目标物的过程，该两个过程为独立过程，因此，步骤S209-S211可以在步骤S201-S208之前执行，或者该两个过程同时执行；其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本公开所必须的。
采用上述方法，可以分别获取视觉传感器采集到的第一目标物和雷达传感器采集到的第二目标物，并在第一目标物的第一位置信息和第二目标物的二位置信息匹配后，对第一目标物的光流和第二目标物的速度信息进行匹配，这样，在位置信息匹配的基础上进行光流和速度信息的匹配，从而可以准确识别目标物，解决了现有技术中根据位置信息识别目标物造成的识别正确率较低的问题。
图3是本公开示例性实施例示出的一种识别目标物的装置框图，如图3所示，应用于车辆，包括：
获取模块301，用于获取车辆周围预设范围内的当前帧图像和上一帧图像；
处理模块302，用于根据该当前帧图像和该上一帧图像获取目标特征，并确定该目标特征在该当前帧图像中的第一位置信息，以及根据该第一位置信息确定该目标特征的光流；
第一聚类模块303，用于根据该第一位置信息和该光流对该目标特征进行聚类得到第一目标物；
第二聚类模块304，用于获取该车辆周围预设范围内的待聚类目标的第二位置信息和速度信息，并根据该第二位置信息和该速度信息对该待聚类目标进行聚类得到第二目标物；
识别模块305，用于根据该第一位置信息、该第二位置信息和该光流以及该速度信息识别该第一目标物和该第二目标物是否为同一目标物。
图4是本公开示例性实施例示出的一种识别目标物的装置框图，如图4所示，该处理模块302包括：
检测子模块3021，用于分别检测该当前帧图像和该上一帧图像中的图像特征点；
匹配模块3022，用于对该图像特征点进行临近区域匹配得到该目标特征。
图5是本公开示例性实施例示出的一种识别目标物的装置框图，如图5所示，该处理模块302包括：
获取子模块3023，用于获取该目标特征在该上一帧图像中的第三位置信息；
第一确定子模块3024，用于根据该第一位置信息和该第三位置信息确定该目标特征的光流。
可选地，该第一确定子模块3024，用于根据该第一位置信息和该第三位置信息确定该目标特征的移动距离；并根据该移动距离和预设采集周期获取该目标特征的光流。
图6是本公开示例性实施例示出的一种识别目标物的装置框图，如图6所示，该第一聚类模块303包括：
第一聚类子模块3031，用于根据该第一位置信息将该目标特征进行聚类得到第一聚类结果；
第二聚类子模块3032，用于将该第一聚类结果中的目标特征按照该光流进行聚类得到该第一目标物。
图7是本公开示例性实施例示出的一种识别目标物的装置框图，如图7所示，该第二聚类模块304包括：
第三聚类子模块3041，用于根据该第二位置信息对该待聚类目标进行聚类得到第二聚类结果；
第四聚类子模块3042，用于将该第二聚类结果中的待聚类目标按照该速度信息进行聚类得到该第二目标物。
图8是本公开示例性实施例示出的一种识别目标物的装置框图，如图8所示，该识别模块305包括：
第二确定子模块3051，用于根据该第一位置信息和该第二位置信息确定该第一目标物和该第二目标物是否位置匹配；
第三确定子模块3052，用于在满足该第一目标物和该第二目标物位置匹配时，继续确定该第一目标物的光流是否与该第二目标物的速度信息匹配；
第四确定子模块3053，用于在该第一目标物的光流与该第二目标物的速度信息匹配时，确定该第一目标物和该第二目标物为同一目标物。
图9是本公开示例性实施例示出的一种识别目标物的装置框图，如图9所示，还包括：
归一化子模块3054，用于将该第一目标物的光流和该第二目标物的速度信息分别进行归一化；
该第三确定子模块3053，用于确定该归一化后的光流与该归一化后的速度信息的差值是否小于或者等于预设阈值；在该归一化后的光流与该归一化后的速度信息的差值小于或者等于该预设阈值时，确定该第一目标物的光流与该第二目标物的速度信息匹配。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
采用上述装置，可以分别获取视觉传感器采集到的第一目标物和雷达传感器采集到的第二目标物，并在第一目标物的第一位置信息和第二目标物的二位置信息匹配后，对第一目标物的光流和第二目标物的速度信息进行匹配，这样，在位置信息匹配的基础上进行光流和速度信息的匹配，从而可以准确识别目标物，解决了现有技术中根据位置信息识别目标物造成的识别正确率较低的问题。
图10是根据一示例性实施例示出的一种识别目标物的装置1000框图。如图10所示，该装置1000可以包括：处理器1001，存储器1002。该装置1000还可以包括多媒体组件1003，输入/输出(I/O)接口1004，以及通信组件1005中的一者或多者。
其中，处理器1001用于控制该装置1000的整体操作，以完成上述的识别目标物的方法中的全部或部分步骤。存储器1002用于存储各种类型的数据以支持在该装置1000的操作，这些数据例如可以包括用于在该装置1000上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器1002可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件1003可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1002或通过通信组件1005发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口1004为处理器1001和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件1005用于该装置1000与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near FieldCommunication，简称NFC)，2G、3G或4G，或它们中的一种或几种的组合，因此相应的该通信组件1005可以包括：Wi-Fi模块，蓝牙模块，NFC模块。
在一示例性实施例中，装置1000可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的识别目标物的方法。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的识别目标物的方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器1002，上述程序指令可由装置1000的处理器1001执行以完成上述的识别目标物的方法。
在又一示例性实施例中，还提供一种车辆，包括上述所述的识别目标物的装置。
以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。
此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。
Claims (17)
1.一种识别目标物的方法，其特征在于，应用于车辆，包括：
获取车辆周围预设范围内的当前帧图像和上一帧图像；
根据所述当前帧图像和所述上一帧图像获取目标特征，并确定所述目标特征在所述当前帧图像中的第一位置信息，以及根据所述第一位置信息确定所述目标特征的光流；
根据所述第一位置信息和所述光流对所述目标特征进行聚类得到第一目标物；
获取所述车辆周围预设范围内的待聚类目标的第二位置信息和速度信息，并根据所述第二位置信息和所述速度信息对所述待聚类目标进行聚类得到第二目标物；
根据所述第一位置信息、所述第二位置信息和所述光流以及所述速度信息识别所述第一目标物和所述第二目标物是否为同一目标物；
所述根据所述第一位置信息和所述光流对所述目标特征进行聚类得到第一目标物包括：
根据所述第一位置信息将所述目标特征进行聚类得到第一聚类结果；
将所述第一聚类结果中的目标特征按照所述光流进行聚类得到所述第一目标物；
所述根据所述第一位置信息将所述目标特征进行聚类得到第一聚类结果包括：
将所述当前帧图像划分为多个区域，将每个所述区域中的所述目标特征聚为一类，得到所述第一聚类结果。
2.根据权利要求1所述的方法，其特征在于，所述根据所述当前帧图像和所述上一帧图像获取目标特征包括：
分别检测所述当前帧图像和所述上一帧图像中的图像特征点；
对所述图像特征点进行临近区域匹配得到所述目标特征。
3.根据权利要求2所述的方法，其特征在于，所述根据所述第一位置信息确定所述目标特征的光流包括：
获取所述目标特征在所述上一帧图像中的第三位置信息；
根据所述第一位置信息和所述第三位置信息确定所述目标特征的光流。
4.根据权利要求3所述的方法，其特征在于，所述根据所述第一位置信息和所述第三位置信息确定所述目标特征的光流包括：
根据所述第一位置信息和所述第三位置信息确定所述目标特征的移动距离；
根据所述移动距离和预设采集周期获取所述目标特征的光流。
5.根据权利要求1所述的方法，其特征在于，所述根据所述第二位置信息和所述速度信息对所述待聚类目标进行聚类得到第二目标物包括：
根据所述第二位置信息对所述待聚类目标进行聚类得到第二聚类结果；
将所述第二聚类结果中的待聚类目标按照所述速度信息进行聚类得到所述第二目标物。
6.根据权利要求5所述的方法，其特征在于，所述根据所述第一位置信息、所述第二位置信息和所述光流以及所述速度信息识别所述第一目标物和所述第二目标物是否为同一目标物包括：
根据所述第一位置信息和所述第二位置信息确定所述第一目标物和所述第二目标物是否位置匹配；
在满足所述第一目标物和所述第二目标物位置匹配时，继续确定所述第一目标物的光流是否与所述第二目标物的速度信息匹配；
在所述第一目标物的光流与所述第二目标物的速度信息匹配时，确定所述第一目标物和所述第二目标物为同一目标物。
7.根据权利要求6所述的方法，其特征在于，在所述确定所述第一目标物的光流是否与所述第二目标物的速度信息匹配前，还包括：
将所述第一目标物的光流和所述第二目标物的速度信息分别进行归一化；
所述确定所述第一目标物的光流是否与所述第二目标物的速度信息匹配包括：
确定所述归一化后的光流与所述归一化后的速度信息的差值是否小于或者等于预设阈值；
在所述归一化后的光流与所述归一化后的速度信息的差值小于或者等于所述预设阈值时，确定所述第一目标物的光流与所述第二目标物的速度信息匹配。
8.一种识别目标物的装置，其特征在于，应用于车辆，包括：
获取模块，用于获取车辆周围预设范围内的当前帧图像和上一帧图像；
处理模块，用于根据所述当前帧图像和所述上一帧图像获取目标特征，并确定所述目标特征在所述当前帧图像中的第一位置信息，以及根据所述第一位置信息确定所述目标特征的光流；
第一聚类模块，用于根据所述第一位置信息和所述光流对所述目标特征进行聚类得到第一目标物；
第二聚类模块，用于获取所述车辆周围预设范围内的待聚类目标的第二位置信息和速度信息，并根据所述第二位置信息和所述速度信息对所述待聚类目标进行聚类得到第二目标物；
识别模块，用于根据所述第一位置信息、所述第二位置信息和所述光流以及所述速度信息识别所述第一目标物和所述第二目标物是否为同一目标物；
所述第一聚类模块包括：
第一聚类子模块，用于根据所述第一位置信息将所述目标特征进行聚类得到第一聚类结果；
第二聚类子模块，用于将所述第一聚类结果中的目标特征按照所述光流进行聚类得到所述第一目标物；
所述第一聚类子模块，具体用于将所述当前帧图像划分为多个区域，将每个所述区域中的所述目标特征聚为一类，得到所述第一聚类结果。
9.根据权利要求8所述的装置，其特征在于，所述处理模块包括：
检测子模块，用于分别检测所述当前帧图像和所述上一帧图像中的图像特征点；
匹配模块，用于对所述图像特征点进行临近区域匹配得到所述目标特征。
10.根据权利要求9所述的装置，其特征在于，所述处理模块包括：
获取子模块，用于获取所述目标特征在所述上一帧图像中的第三位置信息；
第一确定子模块，用于根据所述第一位置信息和所述第三位置信息确定所述目标特征的光流。
11.根据权利要求10所述的装置，其特征在于，所述第一确定子模块，用于根据所述第一位置信息和所述第三位置信息确定所述目标特征的移动距离；并根据所述移动距离和预设采集周期获取所述目标特征的光流。
12.根据权利要求8所述的装置，其特征在于，所述第二聚类模块包括：
第三聚类子模块，用于根据所述第二位置信息对所述待聚类目标进行聚类得到第二聚类结果；
第四聚类子模块，用于将所述第二聚类结果中的待聚类目标按照所述速度信息进行聚类得到所述第二目标物。
13.根据权利要求12所述的装置，其特征在于，所述识别模块包括：
第二确定子模块，用于根据所述第一位置信息和所述第二位置信息确定所述第一目标物和所述第二目标物是否位置匹配；
第三确定子模块，用于在满足所述第一目标物和所述第二目标物位置匹配时，继续确定所述第一目标物的光流是否与所述第二目标物的速度信息匹配；
第四确定子模块，用于在所述第一目标物的光流与所述第二目标物的速度信息匹配时，确定所述第一目标物和所述第二目标物为同一目标物。
14.根据权利要求13所述的装置，其特征在于，还包括：
归一化子模块，用于将所述第一目标物的光流和所述第二目标物的速度信息分别进行归一化；
所述第三确定子模块，用于确定所述归一化后的光流与所述归一化后的速度信息的差值是否小于或者等于预设阈值；在所述归一化后的光流与所述归一化后的速度信息的差值小于或者等于所述预设阈值时，确定所述第一目标物的光流与所述第二目标物的速度信息匹配。
15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-7中任一项所述方法的步骤。
16.一种识别目标物的装置，其特征在于，包括：
存储器，其上存储有计算机程序；以及
一个或者多个处理器，用于执行所述存储器中的程序，实现权利要求1-7中任一项所述方法的步骤。
17.一种车辆，其特征在于，包括：
权利要求8-14任一项所述的识别目标物的装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810350799.5A CN108710828B (zh) | 2018-04-18 | 2018-04-18 | 识别目标物的方法、装置和存储介质以及车辆 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810350799.5A CN108710828B (zh) | 2018-04-18 | 2018-04-18 | 识别目标物的方法、装置和存储介质以及车辆 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108710828A CN108710828A (zh) | 2018-10-26 |
| CN108710828B true CN108710828B (zh) | 2021-01-01 |
Family
ID=63867209
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810350799.5A Active CN108710828B (zh) | 2018-04-18 | 2018-04-18 | 识别目标物的方法、装置和存储介质以及车辆 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108710828B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110262503B (zh) * | 2019-07-01 | 2022-06-03 | 百度在线网络技术（北京）有限公司 | 无人售卖车调度方法、装置、设备和可读存储介质 |
| CN110633625A (zh) * | 2019-07-31 | 2019-12-31 | 北京木牛领航科技有限公司 | 识别方法和系统 |
| WO2021217518A1 (zh) * | 2020-04-29 | 2021-11-04 | 华为技术有限公司 | 雷达点云聚类方法和装置 |
| CN114442101B (zh) * | 2022-01-28 | 2023-11-14 | 南京慧尔视智能科技有限公司 | 基于成像毫米波雷达的车辆导航方法、装置、设备及介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106204640A (zh) * | 2016-06-29 | 2016-12-07 | 长沙慧联智能科技有限公司 | 一种运动目标检测系统及方法 |
| CN107507231A (zh) * | 2017-09-29 | 2017-12-22 | 智造未来（北京）机器人系统技术有限公司 | 三目视觉识别追踪装置及方法 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101930609B (zh) * | 2010-08-24 | 2012-12-05 | 东软集团股份有限公司 | 接近的目标物检测方法及装置 |
| CN102542843A (zh) * | 2010-12-07 | 2012-07-04 | 比亚迪股份有限公司 | 防止车辆碰撞的预警方法及装置 |
| JP5812064B2 (ja) * | 2012-11-22 | 2015-11-11 | 株式会社デンソー | 物標検出装置 |
| CN103246896B (zh) * | 2013-05-24 | 2016-02-10 | 成都方米科技有限公司 | 一种鲁棒性车辆实时检测与跟踪方法 |
| CN103587467B (zh) * | 2013-11-21 | 2015-11-18 | 中国科学院合肥物质科学研究院 | 一种危险超车预警提示方法 |
| CN104658249A (zh) * | 2013-11-22 | 2015-05-27 | 上海宝康电子控制工程有限公司 | 基于帧差和光流实现车辆快速检测的方法 |
| CN105701479B (zh) * | 2016-02-26 | 2019-03-08 | 重庆邮电大学 | 基于目标特征的智能车辆多激光雷达融合识别方法 |
| CN106379319B (zh) * | 2016-10-13 | 2019-11-19 | 上汽大众汽车有限公司 | 一种汽车辅助驾驶系统及控制方法 |
| CN106842188B (zh) * | 2016-12-27 | 2018-01-09 | 上海思致汽车工程技术有限公司 | 一种基于多传感器的目标物探测融合装置及方法 |
| CN107918386B (zh) * | 2017-10-25 | 2021-01-01 | 北京汽车集团有限公司 | 用于车辆的多传感器数据融合方法、装置及车辆 |
| CN107705560B (zh) * | 2017-10-30 | 2020-10-02 | 福州大学 | 一种融合视觉特征和卷积神经网络的道路拥堵检测方法 |
-
2018
- 2018-04-18 CN CN201810350799.5A patent/CN108710828B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106204640A (zh) * | 2016-06-29 | 2016-12-07 | 长沙慧联智能科技有限公司 | 一种运动目标检测系统及方法 |
| CN107507231A (zh) * | 2017-09-29 | 2017-12-22 | 智造未来（北京）机器人系统技术有限公司 | 三目视觉识别追踪装置及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108710828A (zh) | 2018-10-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108710828B (zh) | 识别目标物的方法、装置和存储介质以及车辆 | |
| CN109816701B (zh) | 一种目标跟踪方法及装置、存储介质 | |
| CN108885699B (zh) | 字符识别方法、装置、存储介质及电子设备 | |
| EP3338248B1 (en) | Systems and methods for object tracking | |
| CN108027877B (zh) | 用于非障碍区检测的系统和方法 | |
| US10943141B2 (en) | Object detection device and object detection method | |
| CN110268440B (zh) | 图像解析装置、图像解析方法、以及存储介质 | |
| CN111369590A (zh) | 多目标跟踪方法、装置、存储介质及电子设备 | |
| CA2993421C (en) | Object detecting method and object detecting device | |
| CN111292531B (zh) | 交通信号灯的跟踪方法、装置、设备及存储介质 | |
| CN109447074B (zh) | 一种车牌识别方法及终端设备 | |
| CN109977776A (zh) | 一种车道线检测方法、装置及车载设备 | |
| JP7185419B2 (ja) | 車両のための、対象物を分類するための方法および装置 | |
| CN111783665A (zh) | 一种动作识别方法、装置、存储介质和电子设备 | |
| JP6795224B2 (ja) | 移動体検知装置、移動体検知方法、及びプログラム | |
| CN110866428A (zh) | 目标跟踪方法、装置、电子设备及存储介质 | |
| CN110390252B (zh) | 基于先验地图信息的障碍物检测方法、装置和存储介质 | |
| CN111291749A (zh) | 手势识别方法、装置及机器人 | |
| CN111832349A (zh) | 遗留物错误检测的识别方法、装置及图像处理设备 | |
| CN110852261B (zh) | 目标检测方法、装置、电子设备和可读存储介质 | |
| CN113763425A (zh) | 道路区域标定方法及电子设备 | |
| CN112292847B (zh) | 图像处理设备、移动设备、方法和存储介质 | |
| US20240127567A1 (en) | Detection-frame position-accuracy improving system and detection-frame position correction method | |
| JP2017091530A (ja) | 交通事故の検出方法、交通事故の検出装置及び電子機器 | |
| CN113205059A (zh) | 车位的检测方法、系统、终端及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |