CN111860084B - 图像特征的匹配、定位方法及装置、定位系统 - Google Patents
图像特征的匹配、定位方法及装置、定位系统 Download PDFInfo
- Publication number
- CN111860084B CN111860084B CN201910365705.6A CN201910365705A CN111860084B CN 111860084 B CN111860084 B CN 111860084B CN 201910365705 A CN201910365705 A CN 201910365705A CN 111860084 B CN111860084 B CN 111860084B
- Authority
- CN
- China
- Prior art keywords
- semantic
- result
- matching
- image
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 230000000007 visual effect Effects 0.000 claims abstract description 140
- 230000011218 segmentation Effects 0.000 claims abstract description 119
- 230000007704 transition Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 10
- 238000003709 image segmentation Methods 0.000 abstract description 10
- 238000004891 communication Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000010276 construction Methods 0.000 description 7
- 238000000605 extraction Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- WYTGDNHDOZPMIW-RCBQFDQVSA-N alstonine Natural products C1=CC2=C3C=CC=CC3=NC2=C2N1C[C@H]1[C@H](C)OC=C(C(=O)OC)[C@H]1C2 WYTGDNHDOZPMIW-RCBQFDQVSA-N 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 230000001932 seasonal effect Effects 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明适用于定位技术领域，提供了一种图像特征的匹配、定位方法及装置、定位系统，所述匹配方法包括：采集图像；对所采集的图像进行分割，得到分割结果，所述分割结果包括一个以上语义标志牌；基于所述分割结果及视觉语义图进行语义序列匹配，得到语义序列匹配结果；基于所述语义序列匹配结果进行图像特征的匹配，得到图像特征匹配结果。本发明中，基于图像分割结果进行语义序列匹配，基于语义序列匹配结果来匹配图像特征，可提高特征匹配精度。
Description
技术领域
本发明属于定位技术领域，尤其涉及一种图像特征的匹配、定位方法及装置、定位系统。
背景技术
随着智能驾驶和智慧城市的快速发展，车辆的高精度位置信息的作用日益凸显。基于车载相机的视觉定位技术因为其成本相对较低，而受到了广泛的关注。在视觉定位技术中，图像特征的提取和匹配有着至关重要的作用。道路两旁通常会分布有语义标志牌(道路交通标志牌、广告牌等形状规则的物体)，其外部轮廓显著性相对较高，外部轮廓的几何特征点由于可适应光照条件变化，而且不会受到季节因素的影响而在视觉定位中得到应用。
视觉定位技术主要分为两个阶段：定位地图构建阶段和定位阶段。在定位地图构建阶段，车载相机采集水平视角影像，高精度RTK和惯导等设备实时测量位姿信息。将带有位姿信息的影像通过SFM(StructureforMotion)/SLAM等技术构建视觉定位地图。在定位阶段，定位车辆只需装备相机，通过相机采集水平视角影像，提取图像特征，使用RANSAC算法与定位地图中的图像特征进行匹配，使用PnP算法估计车辆的精确位置。
现有技术中，图像特征提取的方式主要包括SIFT/SURF/ORB等，图像特征由关键点和描述子两部分构成。对于汽车定位而言，由于道路两旁的绿化植被的外观会发生季节性变化，光照条件在同一天中也会发生巨大变化，无法以绿化植被作为图像特征。道路两旁通常会分布有语义标志牌，其外部轮廓显著性相对较高，因此视觉语义特征(语义标志牌外部轮廓的几何特征)可以较大程度的适应光照条件变化，而且不会受到季节因素的影响。
视觉语义特征的提取可以分为实例分割和几何特征点提取。实例分割通过深度学习对图像的物体进行检测，分割出语义标志牌并确定其语义信息；在几何特征点提取阶段，对多边形的语义标志牌的外部轮廓直线拟合，外部轮廓的角点和几何中心点作为几何特征点。由于几何特征点的匹配过程需要依赖语义标志牌的分割结果，当发生误分割，或者一幅影像中包含多个语义相同的语义标志牌时，几何特征点可能会匹配错误，因此匹配精度不高。
发明内容
本发明实施例提供了一种图像特征的匹配、定位方法及装置、定位系统，旨在解决现有技术中由于依赖语义标志牌的分割结果导致特征匹配精度不高的问题。
一种图像特征的匹配方法，包括：
采集图像；
对所采集的图像进行分割，得到分割结果，所述分割结果包括一个以上语义标志牌；
基于所述分割结果及视觉语义图进行语义序列匹配，得到语义序列匹配结果；
基于所述语义序列匹配结果进行图像特征的匹配，得到图像特征匹配结果。优选地，对所采集的图像进行分割，得到分割结果包括：
对所采集的图像进行分割，得到每一所述语义标志牌的分割结果，所述分割结果包括对应语义标志牌的语义信息；
利用边缘算法提取每一语义标志牌的边缘信息；
基于所述边缘信息确定对应语义标志牌的形状；
对形状为多边形的语义标志牌的边界进行直线拟合，得到对应的多边形数据，所述多边形数据包括对应的几何特征。
优选地，采集图像之前还包括：
构建视觉语义图。
优选地，构建视觉语义图包括：
采集基准图像；
获取所述基准图像中的每一语义标志牌的状态信息，所述状态信息包括对应语义标志牌的语义信息及几何特征；
基于所述语义标志牌的语义信息及几何特征生成对应的语义特征；
基于所生成的语义特征构建视觉语义图。
优选地，所述状态信息还包括目标车辆的位姿信息；基于所生成的语义特征构建视觉语义图包括：
基于所述位姿信息确定所述语义特征所在的位置；
基于所确定的语义特征所在位置定义两个以上节点；
基于所定义的两个以上节点构建视觉语义图。
优选地，基于所述分割结果及视觉语义图进行语义序列匹配，得到语义序列匹配结果具体为：
采用以下模型基于所述分割结果及视觉语义图进行语义序列匹配，得到语义序列匹配结果，所述模型为：<π，A，B>，所述π为初始概率分布；A为状态转移概；B为发散概率。
优选地，基于所述语义序列匹配结果进行图像特征的匹配，得到图像特征匹配结果包括：
基于语义序列匹配结果得到分割结果中每一语义标志牌的语义信息；
基于分割结果中每一语义标志牌的语义信息及几何特征构建对应的语义特征；
基于所构建的语义特征及所述视觉语义图进行图像特征的匹配，得到图像特征匹配结果。
优选地，
基于所构建的语义特征及所述视觉语义图进行图像特征的匹配，得到图像特征匹配结果包括：
基于所构建的语义特征计算所采集的图像与所述视觉语义图之间的语义特征相似度；
若相似度大于阈值时，确定匹配，将所构建的语义特征作为所采集图像的图像特征。
本发明还提供一种图像特征的匹配装置，包括：
采集单元，用于采集图像；
分割单元，用于对所采集的图像进行分割，得到分割结果，所述分割结果包括一个以上语义标志牌的语义信息；
序列匹配单元，用于基于所述分割结果及视觉语义图进行语义序列匹配，得到语义序列匹配结果；
特征匹配单元，用于基于所述语义序列匹配结果进行图像特征的匹配，得到图像特征匹配结果。
本发明还提供一种基于视觉语义的定位方法，包括：
采集图像；
对所采集的图像进行分割，得到分割结果，所述分割结果包括一个以上语义标志牌；
基于所述分割结果及视觉语义图进行语义序列匹配，得到语义序列匹配结果；
基于所述语义序列匹配结果进行图像特征的匹配，得到图像特征匹配结果；
基于所所述图像特征匹配结果进行定位，得到定位结果。
本发明还提供一种基于视觉语义的定装置，包括：
采集单元，用于采集图像；
分割单元，用于对所采集的图像进行分割，得到分割结果，所述分割结果包括一个以上语义标志牌；
序列匹配单元，用于基于所述分割结果及视觉语义图进行语义序列匹配，得到分割结果中语义标志牌与视觉语义图中语义标志牌的对应关系；
特征匹配单元，用于基于所述语义序列匹配结果进行图像特征的匹配，得到图像特征匹配结果；
定位单元，用于基于特征匹配单元，用于基于所述语义序列匹配结果进行图像特征的匹配，得到图像特征匹配结果进行定位，得到定位结果。
本发明还提供一种定位系统，包括定位装置，所述定位装置包括：
采集单元，用于采集图像；
分割单元，用于对所采集的图像进行分割，得到分割结果，所述分割结果包括一个以上语义标志牌；
序列匹配单元，用于基于所述分割结果及视觉语义图进行语义序列匹配，得到分割结果中语义标志牌与视觉语义图中语义标志牌的对应关系；
特征匹配单元，用于基于所述语义序列匹配结果进行图像特征的匹配，得到图像特征匹配结果；
定位单元，用于基于特征匹配单元，用于基于所述语义序列匹配结果进行图像特征的匹配，得到图像特征匹配结果进行定位，得到定位结果。
本发明还提供一种存储器，所述存储器存储有计算机程序，所述计算机程序被处理器执行如下步骤：
采集图像；
对所采集的图像进行分割，得到分割结果，所述分割结果包括一个以上语义标志牌；
基于所述分割结果及视觉语义图进行语义序列匹配，得到语义序列匹配结果；
基于所述语义序列匹配结果进行图像特征的匹配，得到图像特征匹配结果。
本发明还提供一种定位终端，包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
采集图像；
对所采集的图像进行分割，得到分割结果，所述分割结果包括一个以上语义标志牌；
基于所述分割结果及视觉语义图进行语义序列匹配，得到语义序列匹配结果；
基于所述语义序列匹配结果进行图像特征的匹配，得到图像特征匹配结果。
本发明实施例中，基于图像分割结果进行语义序列匹配，基于语义序列匹配结果来匹配图像特征，可提高特征匹配精度。
附图说明
图1为本发明第一实施例提供的一种图像特征的匹配方法的流程图；
图2为本发明第一实施例提供的一种图像特征的匹配方法的步骤S5的具体流程图；
图3为本发明第一实施例提供的一种图像特征的匹配方法的步骤S4的具体流程图；
图4a为本发明第一实施例提供的一种图像特征的匹配方法的视觉语义图；
图4b为本发明第一实施例提供的一种图像特征的匹配方法的语义标志牌的示意图；
图5为本发明第二实施例提供的一种图像特征的匹配装置的结构图；
图6为本发明第三实施例提供的一种定位方法的流程图；
图7为本发明第四实施例提供的一种定位装置的结构图；
图8为本发明第三实施例提供的一种定位终端的结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例中，一种图像特征的匹配方法，包括：采集图像；对所采集的图像进行分割，得到分割结果，所述分割结果包括一个以上语义标志牌；基于所述分割结果及视觉语义图进行语义序列匹配，得到语义序列匹配结果；基于所述语义序列匹配结果进行图像特征的匹配，得到图像特征匹配结果。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
实施例一：
图1示出了本发明第一实施例提供的一种图像特征的匹配方法的流程图，该匹配方法包括：
步骤S1，采集图像；
具体地，采用双目相机采集图像，优选地，本实施例中，通过双目相机来采集车在行驶过程中所在道路的图像，以便于后续对车辆进行定位处理。该车辆所行驶的道路两旁设置有若干语义标志牌，所述语义标志牌即为道路交通标志牌、广告牌等形状规则物体等。
步骤S2，对所采集的图像进行分割，得到分割结果；
具体地，在Detecron框架下使用mask-RCNN模型对水平视角图像进行实例分割(利用深度学习自动从图像中用目标检测方法框出不同实例，再用语义分割法在不同实例区域内进行逐像素标记)，得到分割结果，该分割结果包括一个以上语义标志牌的语义信息、包围盒(例如该语义标志牌的外围框架结构、坐标等信息)。
进一步地，具体分割过程如下：
对所采集的图像进行分割，得到每一所述语义标志牌的分割结果，所述分割结果包括对应语义标志牌的语义信息；
利用边缘算法提取每一语义标志牌的边缘信息；
基于所述边缘信息确定对应语义标志牌的形状；
当形状为多边形的语义标志牌的边界进行直线拟合，得到对应的多边形数据，所述多边形数据包括对应的几何特征。
步骤S3，基于分割结果及视觉语义图进行语义序列匹配，得到语义序列匹配结果；
具体地，基于前述分割结果及预先构建的视觉语义图进行语义序列匹配，得到语义序列匹配结果，进一步地，该语义序列匹配结果包括：分割结果中语义标志牌与视觉语义图中语义标志牌的对应关系；
步骤S4，基于语义序列匹配结果进行图像特征的匹配，得到图像特征匹配结果；
具体地，基于前述语义匹配结果及视觉语义图进行图像特征的匹配，将分割结果的语义特征与对应视觉语义图中的语义标志牌的语义特征根据语义信息和几何信息进行匹配，得到匹配结果，其中，该图像特征优选为视觉语义特征。
在本实施例中，基于图像分割结果进行语义序列匹配，基于语义序列匹配结果来匹配图像特征，可提高特征匹配精度。
在本实施例的一个优选方案中，该步骤S1之前还包括：
步骤S5，构建视觉语义图；
具体地，预先根据语义标志牌的语义信息、几何特征的空间位置及道路信息构建视觉语义图。
在本实施例的一个优选方案中，如图2所示，为本发明第一实施例提供的一种图像特征的匹配方法的步骤S5的具体流程图，所示步骤S5具体包括：
步骤S51，采集基准图像；
具体地，首先采集车辆行驶道路的基准图像，优选地，采用双目相机采集图像，该基准图像包括道路两旁的语义标志牌。
步骤S52，获取基准图像中的每一语义标志牌的状态信息；
具体地，从基准图像中获取每一语义标志牌的状态信息，该状态信息可包括语义标志牌的语义信息及几何特征，例如，在Detecron框架下使用mask-RCNN模型对采集的处于水平视角的基准图像进行分割，提取每一标志牌的语义信息及包围盒，对语义标志牌的状态信息进行人工校验，消除误检的问题，采用canny边缘检算法提取每一语义标志牌的边缘数据，通过模板算法确定每一语义标志牌的类型，优选地，语义标志牌的类型可为三角形、四边形、圆、五边形、六边形等，然后对语义标志牌的边界进行直线拟合，确定语义标志牌的边界交点及几何特征(例如几何中心点)。
步骤S53，基于语义标志牌的语义信息及几何特征生成对应的语义特征；
具体地，基于语义标志牌的语义信息及几何特征生成对应的语义特征，具体过程为：Feature＝<semantic，type，ori1，ori2>；
其中，semantic为语义特征的语义信息，type为几何特征点的类别，包括边角点和几何中心点。对于几何特征类别为边角点的语义特征，ori1，ori2分别表示以当前角点为起点，以相邻语义特征为终点的向量的方向。对于几何特征类别为几何中心点的语义特征，由于不存在相邻的语义特征，ori1，ori2可设置为0。
步骤S54，基于所生成的语义特征构建视觉语义图；
具体地，根据所生成的语义特征构建视觉语义图，具体过程为：
基于位姿信息确定所述语义特征所在的位置；
具体地，采集车辆的位姿信息，通过对极几何确定语义特征的位置；
基于所确定的语义特征所在位置定义两个以上节点；
基于所定义的两个以上节点构建视觉语义图；
优选地，根据车辆对应的位姿信息，通过对极几何确定语义特征的位置，通过语义特征的位置判断当前采集的图像中标志牌是否共面，将共面的标志牌按照以左上角为起点按照蛇形排序，作为视觉语义图中的一个节点，将未与其他标志牌共面的标志牌独立作为一个节点(即将与当前采集的图像中的标志牌均不共面的标志牌独立作为一个节点，例如，当前采集图像中包括标志牌A、B、C、D，标志牌D与标志牌A、B、C均不共面，而标志牌A、B、C彼此共面，此时将标志牌D作为一个节点，将标志牌A、B、C作为一个节点)，构建视觉语义图，根据道路拓扑信息和车道行车方向确定节点间的联通关系，构建视觉语义图模型，该模型为无向图，定义如下：
G＝<nodes，edges>；
其中，G表示视觉语义图模型，nodes为语义图中的节点集合，edges为语义图中的边集合，节点node的定义为：node＝<Nid，S>
其中，Nid为语义图节点的序号，S为该节点所在平面中的语义标志牌集合，视觉语义图模型的边的定义如下：
edge＝<Eid，Ni，Nj>
其中，Eid为视觉语义图的边的序号，Ni，Nj表示处于该边连接的两个节点的序号分别为Ni和Nj。
在本实施例的一个优选方案中，该步骤S3具体为：
采用以下模型基于所述分割结果及视觉语义图进行语义序列匹配，得到语义序列匹配结果，所述模型为：<π，A，B>，π为初始概率分布，表示定位过程中车辆在初始位置观测到视觉语义图中所有节点的概率；A为状态转移概率，表示定位过程中，得到一个观测量时隐藏状态之间转移关系，主要由视觉语义图中的边确定；B为发散概率，表示视觉语义图中的节点与观测量之间的相似度。
具体地，采用隐式马尔可夫模型对语义序列匹配进行建模，其中为视觉语义图中的节点作为隐藏状态，采集的图像中每一组共面的语义标志牌序列作为观测变量，由于一幅图像中可能包括多个或零个共面的语义标志牌序列，因此一幅图像可能包含多个或零个观测量。对于一幅图像存在多个观测量的情况，使用对极几何求出观测变量与定位车辆的距离关系，按照距离由近及远的顺序排列观测量。
进一步优选地，假设定位车辆配置有GNSS定位设备，可获取低精度的定位结果。根据精度较低的定位结果以及相应的定位精度信息，确定定位车辆可能处于的位置。根据定位车辆的可能位置与车载相机的有效视距信息，确定首次可能被采集到的隐藏状态，并赋予相同的初始概率，而不可能被观测到的隐藏状态的概率赋值为零。在后续过程中，每一次的到观测变量时，将根据视觉语义图中边集合确定隐藏状态之间转移的概率，使用转移概率更新隐藏状态的概率。其次，根据观测量与隐藏状态之间的相似度计算发散概率，相似度越高则发散概率的值越大，使用发散概率更新隐藏状态的概率。详细地，计算发散概率的过程中，要求输入信息为语义标志牌识别的结果，即语义标志牌类别的概率。将观测量中包含的语义标志牌序列与隐藏状态中的语义标志牌序列使用DTW(Dynamic Time Warping，动态时间归整)算法求出相似度，通过相似度计算发散概率。最终，对所有隐藏状态的概率进行排序，选择概率最大的隐藏状态作为观测量的估计结果。
在本实施例的一个优选方案中，如图3所示，为本发明第一实施例提供的一种图像特征的匹配方法的步骤S4的具体流程图，该步骤S4具体包括：
步骤S41，基于语义序列匹配结果得到分割结果中每一语义标志牌的语义信息；
具体地，首先基于前述语义序列匹配结果得到每一语义标志牌的语义信息，进一步地，得到分割结果与视觉语义图中语义标志牌的对应关系；
优选地，进行语义序列匹配的目的是为了确定分割结果与视觉语义图中语义标志牌的对应关系。进一步地，使用隐式马尔可夫模型进行匹配，确定观察量(采集的图像，包含一组分割结果)与隐藏状态(视觉语义图中的节点，包含一组语义标志牌)之间的对应关系。使用DTW方法计算发散概率，对于每一个隐藏状态，DTW会根据采集影像的分割结果集合和隐藏状态的语义标志牌集合进行匹配，得到匹配的概率作为发散概率。当得到一次观测量后，使用转移概率和发散概率更新所有隐藏状态的概率，概率最大的隐藏状态就是观测量的对应值。随后，根据对应的DTW的匹配结果即可确定每一个分割结果与语义图节点中的语义标志牌的对应关系。
步骤S42，基于每一语义标志牌的语义信息及几何特征构建对应的语义特征；
具体地，基于每一语义标志牌的语义信息及对应的几何特征构建对应的语义特征；
进一步地，采用公式Feature＝<semantic，type，ori1，ori2>来构建，其中，semantic为语义特征的语义信息，type为几何特征点的类别，包括边角点和几何中心点。对于几何特征类别为边角点的语义特征，ori1，ori2分别表示以当前角点为起点，以相邻语义特征为终点的向量的方向。对于几何特征类别为几何中心点的语义特征，由于不存在相邻的语义特征，ori1，ori2设置为0。
步骤S43，基于所构建的语义特征及所述视觉语义图进行图像特征的匹配，得到图像特征匹配结果；
具体地，基于所构建的语义特征及所述视觉语义图进行图像特征的匹配，得到匹配结果；该匹配结果包括
优选地，基于所构建的语义特征计算所采集的图像与所述视觉语义图之间的语义特征相似度；若相似度大于阈值时，匹配所构建的语义特征为所采集图像的图像特征；
进一步地，该图像特征优选为语义特征(是语义几何特征的简写，表示带有语义信息的几何特征)，在现实中表示影像中路牌的角点和几何中心点。如图4a所示，该采集的图像中包括四个语义标志牌m，以其中一个语义标志牌为例，如图4b所示，该标志牌包括五个语义特征(见图4b的圆点，包括四个角点n及一个几何中心点c)
具体地，在获取语义序列匹配结果后，得到观测变量中包含的语义标志牌序列与隐藏状态中包含的语义标志牌序列的匹配关系，即可以确定检测到的语义标志牌的语义信息；根据检测到的语义标志牌的语义信息和几何特征，构建语义特征。对于一组匹配的语义标志牌，按照如下方式计算语义特征的相似性：
D＝λ(Featurei，Featurej)·d(Featurei，Featurej)
其中，Featurei，Featurej为待匹配的语义特征，λ(·)用于计算语义特征的类别相似性，d(·)用于计算语义特征的几何相似性。
λ(·)的定义如下：
其中，Featurei·type表示语义特征对应的几何特征的类别。
d(·)的定义如下：
其中，σ为语义特征的几何信息中方向估计的标准差，orii，1和orii，2分别为语义特征Featurei的几何信息中的方向信息。当语义特征的相似程度大于经验阈值时，判定匹配成功，即确定该语义特征点与视觉语义图中特征点的对应关系。
在本实施例中，首先进行语义序列匹配，确定分割结果与视觉语义图节点中的语义标志牌的对应关系，然后基于前述分割结果及确定的对应关系基础上，对已经建立对应关系的分割结果和语义标志牌确定其上的语义特征的对应关系，即图4b中的红色点与视觉语义图中的语义特征点之间的关系。
在本实施例中，基于图像分割结果进行语义序列匹配，确定分割结果与视觉语义图中语义标志牌的对应关系，基于语义序列匹配结果来匹配图像特征，可提高特征匹配精度。
实施例二：
基于上述实施例一，如图5所示，为本发明第二实施例提供的一种图像特征的匹配装置的结构图，该匹配装置包括：采集单元1、与采集单元1连接的分割单元2、与分割单元2连接的序列匹配单元3、与序列匹配单元3连接的特征匹配单元4，其中：
采集单元1，用于采集图像；
具体地，该采集单元1优选为双目相机，利用双目相机来采集图像，优选地，本实施例中，对行驶中的车辆进行图像采集，以便于后续对车辆进行定位处理。该车辆所行驶的道路两旁设置有若干语义标志牌，所述语义标志牌即为道路交通标志牌、广告牌等形状规则物体等。
分割单元2，用于对所采集的图像进行分割，得到分割结果；
具体地，在Detecron框架下使用mask-RCNN模型对水平视角图像进行实例分割(利用深度学习自动从图像中用目标检测方法框出不同实例，再用语义分割法在不同实例区域内进行逐像素标记)，得到分割结果，该分割结果包括一个以上语义标志牌的语义信息、包围盒(例如该语义标志牌的外围框架结构、坐标等信息)。
进一步地，具体分割过程如下：
对所采集的图像进行分割，得到每一所述语义标志牌的分割结果，所述分割结果包括对应语义标志牌的语义信息；
利用边缘算法提取每一语义标志牌的边缘信息；
基于所述边缘信息确定对应语义标志牌的形状；
当形状为多边形的语义标志牌的边界进行直线拟合，得到对应的多边形数据，所述多边形数据包括对应的几何特征。
序列匹配单元3，用于基于分割结果及视觉语义图进行语义序列匹配，得到语义序列匹配结果；
具体地，基于前述分割结果及预先构建的视觉语义图进行语义系列匹配，得到对应的语义序列匹配结果，进一步地，该语义序列匹配结果包括：分割结果中语义标志牌与视觉语义图中语义标志牌的对应关系；
特征匹配单元4，用于基于语义序列匹配结果进行图像特征的匹配，得到图像特征匹配结果；
具体地，基于前述语义匹配结果及视觉语义图进行图像特征的匹配，将分割结果的语义特征与对应视觉语义图中的语义标志牌的语义特征根据语义信息和几何信息进行匹配，得到匹配结果，其中，该图像特征优选为视觉语义特征。
在本实施例中，基于图像分割结果进行语义序列匹配，基于语义序列匹配结果来匹配图像特征，可提供特征匹配精度。
在本实施例的一个优选方案中，该匹配装置还包括：与采集单元1连接的构建单元5，其中：
构建单元5，用于构建视觉语义图；
具体地，预先根据语义标志牌的语义信息、几何特征的空间位置及道路信息构建视觉语义图。
在本实施例的一个优选方案中，该构建单元5用于构建视觉语义图的过程如下：
采集基准图像；
具体地，首先采集车辆行驶道路的基准图像，优选地，采用双目相机采集图像，该基准图像包括道路两旁的语义标志牌。
获取基准图像中的每一语义标志牌的状态信息；
具体地，从基准图像中获取每一语义标志牌的状态信息，该状态信息可包括语义标志牌的语义信息及几何特征，例如，在Detecron框架下使用mask-RCNN模型对采集的处于水平视角的基准图像进行分割，提取每一标志牌的语义信息及包围盒，对语义标志牌的状态信息进行人工校验，消除误检的问题，采用canny边缘检算法提取每一语义标志牌的边缘数据，通过模板算法确定每一语义标志牌的类型，优选地，语义标志牌的类型可为三角形、四边形、圆、五边形、六边形等，然后对语义标志牌的边界进行直线拟合，确定语义标志牌的边界交点及几何特征(例如几何中心点)。
基于语义标志牌的语义信息及几何特征生成对应的语义特征；
具体地，基于语义标志牌的语义信息及几何特征生成对应的语义特征，具体过程为：Feature＝<semantic，type，ori1，ori2>；
其中，semantic为语义特征的语义信息，type为几何特征点的类别，包括边角点和几何中心点。对于几何特征类别为边角点的语义特征，ori1，ori2分别表示以当前角点为起点，以相邻语义特征为终点的向量的方向。对于几何特征类别为几何中心点的语义特征，由于不存在相邻的语义特征，ori1，ori2设置为0。
基于所生成的语义特征构建视觉语义图；
具体地，根据所生成的语义特征构建视觉语义图，具体过程为：
基于位姿信息确定所述语义特征所在的位置；
具体地，采集车辆的位姿信息，通过对极几何确定语义特征的位置；
基于所确定的语义特征所在位置定义两个以上节点；
基于所定义的两个以上节点构建视觉语义图；
优选地，根据车辆对应的位姿信息，通过对极几何确定语义特征的位置，通过语义特征的位置判断当前采集的图像中标志牌是否共面，将共面的标志牌按照以左上角为起点按照蛇形排序，作为视觉语义图中的一个节点，将未与其他标志牌共面的标志牌独立作为一个节点(即将与当前采集的图像中的标志牌均不共面的标志牌独立作为一个节点，例如，当前采集图像中包括标志牌A、B、C、D，标志牌D与标志牌A、B、C均不共面，而标志牌A、B、C彼此共面，此时将标志牌D作为一个节点，将标志牌A、B、C作为一个节点)，构建视觉语义图，根据道路拓扑信息和车道行车方向确定节点间的联通关系，构建视觉语义图模型，该模型为无向图，定义如下：
G＝<nodes，edges>
其中，G表示视觉语义图模型，nodes为语义图中的节点集合，edges为语义图中的边集合，节点node的定义为：node＝<Nid，S>
其中，Nid为语义图节点的序号，S为该节点所在平面中的语义标志牌集合，视觉语义图模型的边的定义如下：
edge＝<Eid，Ni，Nj>
其中，Eid为视觉语义图的边的序号，Ni，Nj表示处于该边连接的两个节点的序号分别为Ni和Ni。
在本实施例的一个优选方案中，该匹配单元3具体用于：
采用以下模型基于所述分割结果及视觉语义图进行语义序列匹配，得到语义序列匹配结果，所述模型为：<π，A，B>，π为初始概率分布，表示定位过程中车辆在初始位置观测到视觉语义图中所有节点的概率；A为状态转移概率，表示定位过程中，得到一个观测量时隐藏状态之间转移关系，主要由视觉语义图中的边确定；B为发散概率，表示视觉语义图中的节点与观测量之间的相似度。
具体地，采用隐式马尔可夫模型对语义序列匹配进行建模，其中为视觉语义图中的节点作为隐藏状态，采集的图像中每一组共面的语义标志牌序列作为观测变量，由于一幅图像中可能包括多个或零个共面的语义标志牌序列，因此一幅图像可能包含多个或零个观测量。对于一幅图像存在多个观测量的情况，使用对极几何求出观测变量与定位车辆的距离关系，按照距离由近及远的顺序排列观测量。
进一步优选地，假设定位车辆配置有GNSS定位设备，可获取低精度的定位结果。根据精度较低的定位结果以及相应的定位精度信息，确定定位车辆可能处于的位置。根据定位车辆的可能位置与车载相机的有效视距信息，确定首次可能被采集到的隐藏状态，并赋予相同的初始概率，而不可能被观测到的隐藏状态的概率赋值为零。在后续过程中，每一次的到观测变量时，将根据视觉语义图中边集合确定隐藏状态之间转移的概率，使用转移概率更新隐藏状态的概率。其次，根据观测量与隐藏状态之间的相似度计算发散概率，相似度越高则发散概率的值越大，使用发散概率更新隐藏状态的概率。详细地，计算发散概率的过程中，要求输入信息为语义标志牌识别的结果，即语义标志牌类别的概率。将观测量中包含的语义标志牌序列与隐藏状态中的语义标志牌序列使用DTW算法求出相似度，通过相似度计算发散概率。最终，对所有隐藏状态的概率进行排序，选择概率最大的隐藏状态作为观测量的估计结果。
在本实施例的一个优选方案中，该特征匹配单元4具体用于：
首先，基于语义序列匹配结果得到每一语义标志牌的语义信息；
具体地，首先基于前述语义序列匹配结果得到每一语义标志牌的语义信息，进一步地，得到分割结果中语义标志牌与视觉语义图中语义标志牌的对应关系；
优选地，语义序列匹配的目的是为了确定分割结果与视觉语义图中语义标志牌的对应关系。进一步地，使用隐式马尔可夫模型进行匹配，确定观察量(采集的图像，包含一组分割结果)与隐藏状态(视觉语义图中的节点，包含一组语义标志牌)之间的对应关系。使用DTW方法计算发散概率，对于每一个隐藏状态，DTW会根据采集影像的分割结果集合和隐藏状态的语义标志牌集合进行匹配，得到匹配的概率作为发散概率。当得到一次观测量后，使用转移概率和发散概率更新所有隐藏状态的概率，概率最大的隐藏状态就是观测量的对应值。随后，根据对应的DTW的匹配结果即可确定每一个分割结果的语义标志牌的节点与语义视觉图的语义标志牌的节点的对应关系。
其次，基于分割结果中每一语义标志牌的语义信息及几何特征构建对应的语义特征；
具体地，基于分割结果中的每一语义标志牌的语义信息及对应的几何特征构建对应的语义特征；
进一步地，采用公式Feature＝<semantic，type，ori1，ori2>来构建，其中，semantic为语义特征的语义信息，type为几何特征点的类别，包括边角点和几何中心点。对于几何特征类别为边角点的语义特征，ori1，ori2分别表示以当前角点为起点，以相邻语义特征为终点的向量的方向。对于几何特征类别为几何中心点的语义特征，由于不存在相邻的语义特征，ori1，ori2设置为0。
再者，基于所构建的语义特征及所述视觉语义图进行图像特征的匹配，得到匹配结果；具体地，基于所构建的语义特征及所述视觉语义图进行图像特征的匹配，得到匹配结果，该匹配结果包括图像特征及分割结果中语义标志牌与视觉语义图中语义标志牌的对应关系；
优选地，进行语义序列匹配的目的是为了确定分割结果与视觉语义图中语义标志牌的对应关系。进一步地，使用隐式马尔可夫模型进行匹配，确定观察量(采集的图像，包含一组分割结果)与隐藏状态(视觉语义图中的节点，包含一组语义标志牌)之间的对应关系。使用DTW方法计算发散概率，对于每一个隐藏状态，DTW会根据采集影像的分割结果集合和隐藏状态的语义标志牌集合进行匹配，得到匹配的概率作为发散概率。当得到一次观测量后，使用转移概率和发散概率更新所有隐藏状态的概率，概率最大的隐藏状态就是观测量的对应值。随后，根据对应的DTW的匹配结果即可确定每一个分割结果与语义图节点中的语义标志牌的对应关系。
基于所构建的语义特征及所述视觉语义图进行图像特征的匹配，得到匹配结果的具体过程为：
基于所构建的语义特征计算所采集的图像与所述视觉语义图之间的语义特征相似度；若相似度大于阈值时，将所构建的语义特征作为所采集图像的图像特征；
具体地，在获取语义序列匹配结果后，得到观测变量中包含的语义标志牌序列与隐藏状态中包含的语义标志牌序列的匹配关系，即可以确定检测到的语义标志牌的语义信息；根据检测到的语义标志牌的语义信息和几何特征，构建语义特征。对于一组匹配的语义标志牌，按照如下方式计算语义特征的相似性：
D＝λ(Featurei，Featurej)·d(Featurei，Featurej)
其中，Featurei，Featurej为待匹配的语义特征，λ(·)用于计算语义特征的类别相似性，d(·)用于计算语义特征的几何相似性。
λ(·)的定义如下：
其中，Featurei·type表示语义特征所包含的几何特征的类别。
d(·)的定义如下：
其中，σ为语义特征几何信息中方向估计的标准差，orii，1和orii，2为语义特征Featurei的几何信息中的方向信息。当语义特征的相似程度大于经验阈值时，判定匹配成功，基于该匹配成功的图像的语义特征作为图像特征。
在本实施例中，基于图像分割结果进行语义序列匹配，基于语义序列匹配结果来匹配图像特征，可提供特征匹配精度。
实施例三：
基于上述实施例一，如图6示出了本发明第三实施例提供的一种定位方法的流程图，该定位方法包括：
步骤A1，采集图像；
具体地，采用双目相机采集图像，优选地，本实施例中，对行驶中的车辆进行图像采集，以便于后续对车辆进行定位处理。该车辆所行驶的道路两旁设置有若干语义标志牌，所述语义标志牌即为道路交通标志牌、广告牌等形状规则物体等。
步骤A2，对所采集的图像进行分割，得到分割结果；
具体地，在Detecron框架下使用mask-RCNN模型对水平视角图像进行实例分割，得到分割结果，该分割结果包括一个以上语义标志牌的语义信息、包围盒(例如该语义标志牌的外围框架结构、坐标等信息)。
进一步地，具体分割过程如下：
对所采集的图像进行分割，得到每一所述语义标志牌的分割结果，所述分割结果包括对应语义标志牌的语义信息；
利用边缘算法提取每一语义标志牌的边缘信息；
基于所述边缘信息确定对应语义标志牌的形状；
当形状为多边形的语义标志牌的边界进行直线拟合，得到对应的多边形数据，所述多边形数据包括对应的几何特征。
步骤A3，基于分割结果及视觉语义图进行语义序列匹配，得到语义序列匹配结果；
具体地，基于前述分割结果及预先构建的视觉语义图进行语义系列匹配，得到对应的语义序列匹配结果；
步骤A4，基于语义序列匹配结果进行图像特征的匹配，得到图像特征匹配结果；
具体地，基于前述语义匹配结果及视觉语义图进行图像特征的匹配，得到图像特征匹配结果。
步骤A5，基于所述图像特征匹配结果进行定位，得到定位结果。
在本实施例的一个优选方案中，该步骤A1之前还包括：
步骤A6，构建视觉语义图；
具体地，预先根据语义标志牌的语义信息、几何特征的空间位置及道路信息构建视觉语义图。
在本实施例中，步骤A1～A4、A6分别与上述实施例一的步骤S1～S4、步骤S5的具体实现过程一致，具体可参看上述实施例一，此处不再赘述。
在本实施例中，基于图像分割结果进行语义序列匹配，基于语义序列匹配结果来匹配图像特征，可提供特征匹配精度。
实施例四：
基于上述实施例三，如图7示出了本发明第四实施例提供的一种定位装置的结构图，该定位装置包括：采集单元71、与采集单元71连接的分割单元72、与分割单元72连接的匹配单元73、与匹配单元73连接的匹配单元74、与匹配单元74连接的定位单元75，其中：
采集单元71，用于采集图像；
具体地，该采集单元1优选为双目相机，利用双目相机来采集图，本实施例中，对行驶中的车辆进行图像采集，以便于后续对车辆进行定位处理。该车辆所行驶的道路两旁设置有若干语义标志牌，所述语义标志牌即为道路交通标志牌、广告牌等形状规则物体等。
分割单元72，用于对所采集的图像进行分割，得到分割结果；
具体地，在Detecron框架下使用mask-RCNN模型对水平视角图像进行实例分割，得到分割结果，该分割结果包括一个以上语义标志牌的语义信息、包围盒(例如该语义标志牌的外围框架结构、坐标等信息)。
进一步地，具体分割过程如下：
对所采集的图像进行分割，得到每一所述语义标志牌的分割结果，所述分割结果包括对应语义标志牌的语义信息；
利用边缘算法提取每一语义标志牌的边缘信息；
基于所述边缘信息确定对应语义标志牌的形状；
当形状为多边形的语义标志牌的边界进行直线拟合，得到对应的多边形数据，所述多边形数据包括对应的几何特征。
序列匹配单元73，用于基于分割结果及视觉语义图进行语义序列匹配，得到语义序列匹配结果；
具体地，基于前述分割结果及预先构建的视觉语义图进行语义系列匹配，得到对应的语义序列匹配结果；
特征匹配单元74，用于基于语义序列匹配结果进行图像特征的匹配，得到图像特征匹配结果；
具体地，基于前述语义匹配结果及视觉语义图进行图像特征的匹配，得到图像特征匹配结果。
定位单元75，用于基于所述图像特征匹配结果进行定位，得到定位结果。
在本实施例的一个优选方案中，该定位装置还包括：与采集单元71连接的构建单元76，其中：
构建单元76，用于构建视觉语义图；
具体地，预先根据语义标志牌的语义信息、几何特征的空间位置及道路信息构建视觉语义图。
在本实施例中，该采集单元71、分割单元72、匹配单元73及匹配单元74分别与上述实施例二所述的采集单元1、分割单元2、匹配单元3及匹配单元4的具体结构、工作原理一致，具体可参看上述实施例二的描述，此处不再赘述。
在本实施例中，基于图像分割结果进行语义序列匹配，基于语义序列匹配结果来匹配图像特征，可提供特征匹配精度。
在本发明中，还提供一种定位系统，该定位系统包括如上述实施例四描述的定位装置，该定位装置的具体结构、工作原理及所带来的技术效果与上述实施例四的描述基本一致，此处不再赘述。
优选地，该定位系统可以为车载导航系统。
实施例五：
图8示出了本发明第五实施例提供一种定位终端的结构图，该定位终端包括：存储器(memory)81、处理器(processor)82、通信接口(Communications Interface)83和总线84，该处理器82、存储器81、通信接口83通过总线84完成相互之间的交互通信。
存储器81，用于存储各种数据；
具体地，存储器81用于存储各种数据，例如通信过程中的数据、接收的数据等，此处对此不作限制，该存储器还包括有多个计算机程序。
通信接口83，用于该定位终端的通信设备之间的信息传输；
处理器82，用于调用存储器81中的各种计算机程序，以执行上述实施例一所提供的一种图像特征的匹配方法，例如：
采集图像；
对所采集的图像进行分割，得到分割结果，所述分割结果包括一个以上语义标志牌的语义信息；
基于所述分割结果及视觉语义图进行语义序列匹配，得到语义序列匹配结果；
基于所述语义序列匹配结果进行图像特征的匹配，得到图像特征匹配结果。
本实施例中，基于图像分割结果进行语义序列匹配，基于语义序列匹配结果来匹配图像特征，可提供特征匹配精度。
本发明还提供一种存储器，该存储器存储有多个计算机程序，该多个计算机程序被处理器调用执行上述实施例一所述的一种图像特征的匹配方法。
本发明中，基于图像分割结果进行语义序列匹配，基于语义序列匹配结果来匹配图像特征，可提高特征匹配精度。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。
专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (12)
1.一种图像特征的匹配方法，其特征在于，包括：
采集图像；
对所采集的图像进行分割，得到分割结果，所述分割结果包括一个以上语义标志牌；
基于所述分割结果及视觉语义图进行语义序列匹配，得到语义序列匹配结果，所述语义序列匹配结果包括：分割结果中语义标志牌与视觉语义图中语义标志牌的对应关系；
基于所述语义序列匹配结果进行图像特征的匹配，得到图像特征匹配结果；
所述基于所述语义序列匹配结果进行图像特征的匹配，得到图像特征匹配结果包括：
基于语义序列匹配结果得到分割结果中每一语义标志牌的语义信息；
基于分割结果中每一语义标志牌的语义信息及几何特征构建对应的语义特征；
基于所构建的语义特征计算所采集的图像与所述视觉语义图之间的语义特征相似度；
若相似度大于阈值时，确定匹配，将所构建的语义特征作为所采集图像的图像特征。
2.根据权利要求1所述的匹配方法，其特征在于，对所采集的图像进行分割，得到分割结果包括：
对所采集的图像进行分割，得到每一所述语义标志牌的分割结果，所述分割结果包括对应语义标志牌的语义信息；
利用边缘算法提取每一语义标志牌的边缘信息；
基于所述边缘信息确定对应语义标志牌的形状；
对形状为多边形的语义标志牌的边界进行直线拟合，得到对应的多边形数据，所述多边形数据包括对应的几何特征。
3.根据权利要求1所述的匹配方法，其特征在于，采集图像之前还包括：
构建视觉语义图 。
4.根据权利要求3所述的匹配方法，其特征在于，构建视觉语义图包括：
采集基准图像；
获取所述基准图像中的每一语义标志牌的状态信息，所述状态信息包括对应语义标志牌的语义信息及几何特征；
基于所述语义标志牌的语义信息及几何特征生成对应的语义特征；
基于所生成的语义特征构建视觉语义图。
5.根据权利要求4所述的匹配方法，其特征在于，所述状态信息还包括目标车辆的位姿信息；基于所生成的语义特征构建视觉语义图包括：
基于所述位姿信息确定所述语义特征所在的位置；
基于所确定的语义特征所在位置定义两个以上节点；
基于所定义的两个以上节点构建视觉语义图。
6.根据权利要求2所述的匹配方法，其特征在于，基于所述分割结果及视觉语义图进行语义序列匹配，得到语义序列匹配结果具体为：
采用以下模型基于所述分割结果及视觉语义图进行语义序列匹配，得到语义序列匹配结果，所述模型为：，所述/>为初始概率分布，表示定位过程中车辆在初始位置观测到视觉语义图中所有节点的概率；/>为状态转移概率，表示定位过程中，得到一个观测量时隐藏状态之间转移关系；/>为发散概率，表示视觉语义图中的节点与观测量之间的相似度，其中，视觉语义图中的节点作为隐藏状态，采集图像得到的分割结果作为观测量。
7.一种图像特征的匹配装置，其特征在于，包括：
采集单元，用于采集图像；
分割单元，用于对所采集的图像进行分割，得到分割结果，所述分割结果包括一个以上语义标志牌的语义信息；
序列匹配单元，用于基于所述分割结果及视觉语义图进行语义序列匹配，得到语义序列匹配结果，所述语义序列匹配结果包括：分割结果中语义标志牌与视觉语义图中语义标志牌的对应关系；
特征匹配单元，用于基于所述语义序列匹配结果进行图像特征的匹配，得到图像特征匹配结果；
所述特征匹配单元，具体用于：基于语义序列匹配结果得到分割结果中每一语义标志牌的语义信息；基于分割结果中每一语义标志牌的语义信息及几何特征构建对应的语义特征；基于所构建的语义特征计算所采集的图像与所述视觉语义图之间的语义特征相似度；若相似度大于阈值时，确定匹配，将所构建的语义特征作为所采集图像的图像特征。
8.一种基于视觉语义的定位方法，其特征在于，包括：
采集图像；
对所采集的图像进行分割，得到分割结果，所述分割结果包括一个以上语义标志牌；
基于所述分割结果及视觉语义图进行语义序列匹配，得到语义序列匹配结果，所述语义序列匹配结果包括：分割结果中语义标志牌与视觉语义图中语义标志牌的对应关系；
基于所述语义序列匹配结果进行图像特征的匹配，得到图像特征匹配结果；
基于所述图像特征匹配结果进行定位，得到定位结果；
所述基于所述语义序列匹配结果进行图像特征的匹配，得到图像特征匹配结果包括：
基于语义序列匹配结果得到分割结果中每一语义标志牌的语义信息；
基于分割结果中每一语义标志牌的语义信息及几何特征构建对应的语义特征；
基于所构建的语义特征计算所采集的图像与所述视觉语义图之间的语义特征相似度；
若相似度大于阈值时，确定匹配，将所构建的语义特征作为所采集图像的图像特征。
9.一种基于视觉语义的定位装置，其特征在于，包括：
采集单元，用于采集图像；
分割单元，用于对所采集的图像进行分割，得到分割结果，所述分割结果包括一个以上语义标志牌；
序列匹配单元，用于基于所述分割结果及视觉语义图进行语义序列匹配，得到语义序列匹配结果，所述语义序列匹配结果包括：分割结果中语义标志牌与视觉语义图中语义标志牌的对应关系；
特征匹配单元，用于基于所述语义序列匹配结果进行图像特征的匹配，得到图像特征匹配结果；
定位单元，用于基于所述图像特征匹配结果进行定位，得到定位结果；
所述特征匹配单元，具体用于：基于语义序列匹配结果得到分割结果中每一语义标志牌的语义信息；基于分割结果中每一语义标志牌的语义信息及几何特征构建对应的语义特征；基于所构建的语义特征计算所采集的图像与所述视觉语义图之间的语义特征相似度；若相似度大于阈值时，确定匹配，将所构建的语义特征作为所采集图像的图像特征。
10.一种定位系统，其特征在于，包括如权利要求9所述的定位装置。
11.一种存储器，所述存储器存储有计算机程序，其特征在于，所述计算机程序被处理器执行如下步骤：
采集图像；
对所采集的图像进行分割，得到分割结果，所述分割结果包括一个以上语义标志牌；
基于所述分割结果及视觉语义图进行语义序列匹配，得到语义序列匹配结果，所述语义序列匹配结果包括：分割结果中语义标志牌与视觉语义图中语义标志牌的对应关系；
基于所述语义序列匹配结果进行图像特征的匹配，得到图像特征匹配结果；
所述基于所述语义序列匹配结果进行图像特征的匹配，得到图像特征匹配结果包括：
基于语义序列匹配结果得到分割结果中每一语义标志牌的语义信息；
基于分割结果中每一语义标志牌的语义信息及几何特征构建对应的语义特征；
基于所构建的语义特征计算所采集的图像与所述视觉语义图之间的语义特征相似度；
若相似度大于阈值时，确定匹配，将所构建的语义特征作为所采集图像的图像特征。
12.一种定位终端，包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任意一项所述的图像特征的匹配方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910365705.6A CN111860084B (zh) | 2019-04-30 | 2019-04-30 | 图像特征的匹配、定位方法及装置、定位系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910365705.6A CN111860084B (zh) | 2019-04-30 | 2019-04-30 | 图像特征的匹配、定位方法及装置、定位系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111860084A CN111860084A (zh) | 2020-10-30 |
| CN111860084B true CN111860084B (zh) | 2024-04-16 |
Family
ID=72965952
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910365705.6A Active CN111860084B (zh) | 2019-04-30 | 2019-04-30 | 图像特征的匹配、定位方法及装置、定位系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111860084B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112418232B (zh) * | 2020-11-18 | 2024-07-09 | 北京有竹居网络技术有限公司 | 图像分割方法、装置、可读介质及电子设备 |
| CN113656582B (zh) * | 2021-08-17 | 2022-11-18 | 北京百度网讯科技有限公司 | 神经网络模型的训练方法、图像检索方法、设备和介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170098071A (ko) * | 2016-02-19 | 2017-08-29 | 국방과학연구소 | 자율주행차량에 대한 위치추정장치 및 그 제어방법 |
| CN107742311A (zh) * | 2017-09-29 | 2018-02-27 | 北京易达图灵科技有限公司 | 一种视觉定位的方法及装置 |
| CN108416808A (zh) * | 2018-02-24 | 2018-08-17 | 斑马网络技术有限公司 | 车辆重定位的方法及装置 |
| CN108846333A (zh) * | 2018-05-30 | 2018-11-20 | 厦门大学 | 标志牌地标数据集生成及车辆定位方法 |
| CN109284678A (zh) * | 2018-08-17 | 2019-01-29 | 宽凳（北京）科技有限公司 | 路牌语义识别方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106767812B (zh) * | 2016-11-25 | 2017-12-08 | 郭得科 | 一种基于语义信息提取的室内语义地图更新方法与系统 |
-
2019
- 2019-04-30 CN CN201910365705.6A patent/CN111860084B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170098071A (ko) * | 2016-02-19 | 2017-08-29 | 국방과학연구소 | 자율주행차량에 대한 위치추정장치 및 그 제어방법 |
| CN107742311A (zh) * | 2017-09-29 | 2018-02-27 | 北京易达图灵科技有限公司 | 一种视觉定位的方法及装置 |
| CN108416808A (zh) * | 2018-02-24 | 2018-08-17 | 斑马网络技术有限公司 | 车辆重定位的方法及装置 |
| CN108846333A (zh) * | 2018-05-30 | 2018-11-20 | 厦门大学 | 标志牌地标数据集生成及车辆定位方法 |
| CN109284678A (zh) * | 2018-08-17 | 2019-01-29 | 宽凳（北京）科技有限公司 | 路牌语义识别方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 基于SLAM算法和深度神经网络的语义地图构建研究;白云汉;;计算机应用与软件(第01期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111860084A (zh) | 2020-10-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110148196B (zh) | 一种图像处理方法、装置以及相关设备 | |
| EP3407294B1 (en) | Information processing method, device, and terminal | |
| US10429193B2 (en) | Method and apparatus for generating high precision map | |
| Yenikaya et al. | Keeping the vehicle on the road: A survey on on-road lane detection systems | |
| CN111209770B (zh) | 一种车道线识别方法及装置 | |
| Li et al. | Springrobot: A prototype autonomous vehicle and its algorithms for lane detection | |
| US20190102897A1 (en) | Computer Vision Systems and Methods for Detecting and Modeling Features of Structures in Images | |
| US20180189577A1 (en) | Systems and methods for lane-marker detection | |
| CN111801711A (zh) | 图像标注 | |
| JP6442834B2 (ja) | 路面高度形状推定方法とシステム | |
| CN115717894B (zh) | 一种基于gps和普通导航地图的车辆高精度定位方法 | |
| CN108052904B (zh) | 车道线的获取方法及装置 | |
| CN115049700A (zh) | 一种目标检测方法及装置 | |
| CN109815831B (zh) | 一种车辆朝向获取方法及相关装置 | |
| WO2021017211A1 (zh) | 一种基于视觉的车辆定位方法、装置及车载终端 | |
| CN112907746B (zh) | 电子地图的生成方法、装置、电子设备及存储介质 | |
| CN106558051A (zh) | 一种改进的从单幅图像检测道路的方法 | |
| CN114612616A (zh) | 建图方法、装置、电子设备和存储介质 | |
| CN111860084B (zh) | 图像特征的匹配、定位方法及装置、定位系统 | |
| CN113836251B (zh) | 一种认知地图构建方法、装置、设备及介质 | |
| CN109523570A (zh) | 运动参数计算方法及装置 | |
| CN111664845B (zh) | 交通标志定位、视觉地图制作方法及装置、定位系统 | |
| CN114898321A (zh) | 道路可行驶区域检测方法、装置、设备、介质及系统 | |
| CN116309943B (zh) | 一种停车场语义地图路网构建方法、装置及电子设备 | |
| CN113971697A (zh) | 一种空地协同车辆定位定向方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |