CN112017221B - 基于尺度空间的多模态图像配准方法、装置和设备 - Google Patents
基于尺度空间的多模态图像配准方法、装置和设备 Download PDFInfo
- Publication number
- CN112017221B CN112017221B CN202010879061.5A CN202010879061A CN112017221B CN 112017221 B CN112017221 B CN 112017221B CN 202010879061 A CN202010879061 A CN 202010879061A CN 112017221 B CN112017221 B CN 112017221B
- Authority
- CN
- China
- Prior art keywords
- image
- images
- registration
- scale space
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000005070 sampling Methods 0.000 claims description 15
- 238000007781 pre-processing Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 7
- 230000008030 elimination Effects 0.000 claims description 6
- 238000003379 elimination reaction Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 238000009826 distribution Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 7
- 230000009466 transformation Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于尺度空间的多模态图像配准方法、装置和设备，通过对待配准的两个原始图像进行预处理，分别得到每个原始图像对应的配准用图像；提取尺度空间金字塔中分辨率最高的尺度空间图像中的基准Harris角点作为特征点；确定特征点在每层尺度空间图像中的PIIFD特征描述符；根据PIIFD特征描述符，得到相匹配的特征点对数量最高的目标层图像匹配对；根据目标层图像匹配对中相匹配的特征点对的坐标关系，对两个配准用图像进行空间配准，实现了多模态图像的配准，能够适应可见光、红外、多光谱、高光谱、雷达等多种类型数据图像，图像的配准精度高、稳定性好，能够有效提高图像配准效率。
Description
技术领域
本发明涉及图像配准技术领域，具体涉及一种基于尺度空间的多模态图像配准方法、装置和设备。
背景技术
由于不同传感器的成像原理以及获取数据能力的差异，在特定应用下仅利用单一种类的图像源获取目标信息会导致信息不足、观测不准确、数据分析不可靠的问题，多源影像的数据融合与综合分析，可以弥补单一传感器图像信息的不足，在对地观测方面具有极大的意义。多源影像技术能充分利用不同类型的传感器所提供的信息，更为全面地描述场景、目标的特性，从而做出更为准确的判断。多源影像通常指对于同一场景由不同传感器获取到的图像数据，其目的是将从不同源获得的信息进行整合，以获得更复杂、更详细、更精准的场景。近年来，多源影像的应用越来越广泛，如何准确、有效地配准大量的多源影像数据逐渐成为图像处理领域中重要的研究问题。
现有的图像配准算法在精度、稳定性、效率，尤其是适应性等方面难以满足多源图像的配准需求。如今许多较为成熟的算法很依赖于图像本身成像的单模性质，而多源图像间存在的成像原理、分辨率和灰度属性等多种因素影响的差异，这会大大降低配准的精度。
发明内容
有鉴于此，本发明的目的在于提供一种基于尺度空间的多模态图像配准方法、装置和设备，以克服目前配准的精度较低的问题。
为实现以上目的，本发明采用如下技术方案：
一种基于尺度空间的多模态图像配准方法，包括：
对待配准的两个原始图像进行预处理，分别得到每个原始图像对应的配准用图像；
建立所述配准用图像的尺度空间金字塔；其中，所述尺度空间金字塔中包含若干组不同分辨率的尺度空间图像，每组所述尺度空间图像包含若干层不同模糊程度的层图像；
提取所述尺度空间金字塔中分辨率最高的尺度空间图像中的基准Harris角点作为特征点；
确定所述特征点在所属的尺度空间金字塔中每层所述层图像中的PIIFD特征描述符；
基于所述PIIFD特征描述符，对两个所述配准用图像中的所述层图像进行逐一匹配，得到相匹配的特征点对数量最高的目标层图像匹配对；
根据所述目标层图像匹配对中所述相匹配的特征点对的坐标关系，对两个所述配准用图像进行空间配准。
进一步地，以上所述基于尺度空间的多模态图像配准方法，所述对待配准的两个原始图像进行预处理，分别得到每个原始图像对应的配准用图像，包括：
获取两个所述原始图像的感兴趣区域，其中两个所述感兴趣区域的场景相对应；
对每个所述感兴趣区域分别进行去噪和降维处理，得到所述配准用图像。
进一步地，以上所述基于尺度空间的多模态图像配准方法，所述层图像包括底层图像和上层图像；
所述建立所述配准用图像的尺度空间金字塔，包括：
按照预设的采样系数对所述配准用图像进行降采样，得到若干个不同分辨率的所述底层图像；
将每个所述底层图像均输入预先构建的高斯滤波器中进行多次滤波，每个所述底层图像均得到对应的多个所述上层图像；其中，任意一个底层图像，以及，与所述任意一个底层图像对应的多个上层图像，组成一组尺度空间图像；
将多组所述尺度空间图像组合为所述尺度空间金字塔。
进一步地，以上所述基于尺度空间的多模态图像配准方法，所述提取所述尺度空间金字塔中分辨率最高的尺度空间图像中的基准Harris角点，包括：
分别确定所述分辨率最高的尺度空间图像中，底层图像和每个上层图像的Harris角点数量；
判断所述分辨率最高的尺度空间图像中，是否存在目标层图像的Harris角点数量大于预设Harris角点数量；
若存在，确定所述目标层图像中，Harris角点数量与所述预设Harris角点数量差值最小的基准目标层图像；
若不存在，确定所述分辨率最高的尺度空间图像中，所述Harris角点数量最高的所述基准目标层图像；
将所述基准目标层图像上的所述Harris角点作为所述基准Harris角点，即所述特征点。
进一步地，以上所述基于尺度空间的多模态图像配准方法，所述基于所述PIIFD特征描述符，对两个所述配准用图像中的所述层图像进行逐一匹配，得到相匹配的特征点对数量最高的目标层图像匹配对，包括：
按照预设匹配方式和所述PIIFD特征描述符，对两个所述配准用图像中的所述层图像分别逐一进行特征点的相互匹配；
保留相互匹配结果一致的基础特征点对；
对所述基础特征点对进行失配消除，得到所述相匹配的特征点对；
将所述相匹配的特征点对数量最高的层图像匹配对作为所述目标层图像匹配对。
进一步地，以上所述基于尺度空间的多模态图像配准方法，所述对所述基础特征点对进行失配消除，得到所述相匹配的特征点对，包括：
将所有所述基础特征点对中主方向不一致和/或空间分布不一致的基础特征点对消除。
进一步地，以上所述基于尺度空间的多模态图像配准方法，所述预设匹配方式包括：
在一个所述配准用图像对应的第一目标层图像的特征点中确定另一个配准用图像对应的第二目标层图像中目标特征点的PIIFD特征描述符欧氏距离最近的最近特征点和PIIFD特征描述符欧式距离次近的次近特征点；
若所述最近特征点和所述次近特征点满足如下公式：
则建立所述最近特征点与所述目标特征点的匹配关系；
所述d1为所述目标特征点与所述最近特征点的欧氏距离，所述d2为所述目标特征点与所述次近特征点的欧氏距离，τ为预设比值阈值。
进一步地，以上所述基于尺度空间的多模态图像配准方法，所述方法还包括：
将所述图像配准结果输出。
本发明还提供了一种基于尺度空间的多模态图像配准装置，包括：
预处理模块，用于对待配准的两个原始图像进行预处理，分别得到每个原始图像对应的配准用图像；
建立模块，用于建立所述配准用图像的尺度空间金字塔；其中，所述尺度空间金字塔中包含若干组不同分辨率的尺度空间图像，每组所述尺度空间图像包含若干层不同模糊程度的层图像；
提取模块，用于提取所述尺度空间金字塔中分辨率最高的尺度空间图像中的基准Harris角点作为特征点；
确定模块，用于确定所述特征点在所属的尺度空间金字塔中每层所述层图像中的PIIFD特征描述符；
匹配模块，用于基于所述PIIFD特征描述符，对两个所述配准用图像中的所述层图像进行逐一匹配，得到相匹配的特征点对数量最高的目标层图像匹配对；
配准模块，用于根据所述目标层图像匹配对中所述相匹配的PIIFD特征描述对的坐标关系，对两个所述配准用图像进行空间配准。
本发明还提供了一种基于尺度空间的多模态图像配准设备包括处理器和存储器，所述处理器与所述存储器相连：
其中，所述处理器，用于调用并执行所述存储器中存储的程序；
所述存储器，用于存储所述程序，所述程序至少用于执行以上任一项所述的基于尺度空间的多模态图像配准方法。
本发明的基于尺度空间的多模态图像配准方法、装置和设备，通过对待配准的两个原始图像进行预处理，分别得到每个原始图像对应的配准用图像；建立配准用图像的尺度空间金字塔；其中，尺度空间金字塔中包含若干组不同分辨率的尺度空间图像，每组尺度空间图像包含若干层不同模糊程度的层图像；提取尺度空间金字塔中分辨率最高的尺度空间图像中的基准Harris角点，即特征点；确定特征点在所属的尺度空间金字塔中每层图像中的PIIFD特征描述符；基于PIIFD特征描述符，对两个配准用图像中的层图像进行逐一匹配，得到相匹配的PIIFD特征描述对数量最高的目标层图像匹配对；根据目标层图像匹配对中相匹配的特征点对的坐标关系，对两个配准用图像进行空间配准，实现了多模态图像的配准，能够适应可见光、红外、多光谱、高光谱、雷达等多种类型数据图像，图像的配准精度高、稳定性好，能够有效提高图像配准效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明基于尺度空间的多模态图像配准方法一种实施例提供的流程图；
图2是本发明基于尺度空间的多模态图像配准方法一种实施例提供的尺度空间金字塔；
图3是本发明基于尺度空间的多模态图像配准装置一种实施例提供的结构示意图；
图4是本发明基于尺度空间的多模态图像配准设备一种实施例提供的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
图1是本发明基于尺度空间的多模态图像配准方法一种实施例提供的流程图。请参阅图1，本实施例可以包括以下步骤：
S101、对待配准的两个原始图像进行预处理，分别得到每个原始图像对应的配准用图像。
本实施例中，首先获取待配准的两个原始图像，然后对原始图像进行预处理，以得到分别与每个原始图像对应的配准用图像。其中，可以按照顺序截取原始图像中的部分图像作为配准用图像进行配准工作，还可以只截取原始图像中需要进行配准的重要部分作为配准用图像进行配准工作，以提高配准的速度和精度，本实施例不做限定。
两个原始图像中，选取一个清晰且更接近于真实信息的图像作为参考图像，另一个是需要进行配准的待配准图像，以通过参考图像对待配准图像进行配准。
本实施例中，按照如下步骤对参考图像和待配准图像进行预处理：
步骤一：获取两个原始图像的感兴趣区域(Region Of Interest，ROI)，其中两个感兴趣区域的场景相对应。
可以获取原始图像中参考图像的ROI，获取原始图像中待配准图像的ROI。其中，参考图像的ROI和待配准图像的ROI场景相对应，即参考图像的ROI和待配准图像的ROI为同一位置、同一角度、同一深度、同一对象的图像区域。
步骤二：对每个感兴趣区域分别进行去噪和降维处理，得到配准用图像。
分别对参考图像的ROI和待配准图像的ROI进行去噪和和降维处理，得到对应的配准用图像。即，得到与参考图像的ROI对应的第一配准用图像，得到与待配准图像的ROI的第二配准用图像。通过去噪和和降维处理，能够减少图像中条带噪声、条纹噪声等干扰信息，显著提高配准效果。
S102、建立配准用图像的尺度空间金字塔。
建立配准用图像的尺度空间金字塔，其中尺度空间金字塔中包含若干组不同分辨率的尺度空间图像，每组尺度空间图像包含若干层不同模糊程度的层图像。具体地，可以分别建立第一配准用图像和第二配准用图像的尺度空间金字塔，第一配准用图像的尺度空间金字塔中包含关于第一配准用图像的若干组不同分辨率的尺度空间图像。第二配准用图像的尺度空间金字塔中包含关于第二配准用图像的若干组不同分辨率的尺度空间图像。
其中，第一配准用图像的尺度空间金字塔与第二配准用图像的尺度空间金字塔的建立过程相同，本实施例以第一配准用图像的尺度空间金字塔的建立为例进行说明，第二配准用图像的尺度空间金字塔的建立过程参照下述步骤即可。
步骤一：按照预设的采样系数对配准用图像进行降采样，得到若干个不同分辨率的底层图像。
降采样，即是采样点数减少。如果降采样系数为k,则即是在原图中每行每列每隔k个点取一个点组成一幅图像。降采样系数k可以根据实际情况进行设置，本实施例不做限定。
在一种具体地实施例中，将降采样系数k设置为10，对第一配准用图像进行10次降采样，得到分辨率逐渐降低，即图像尺寸逐渐减小的10个底层图像。
步骤二：将每个底层图像均输入预先构建的高斯滤波器中进行多次滤波，每个底层图像均得到对应的多个上层图像。
使用预先构建的高斯滤波器
对每一个底层图像进行多次滤波：L(x,y,σ)＝G(x,y,σ)*I(x,y)。
*表示卷积运算，
n，m为高斯模板的维度。
进而，每个底层图像均可以得到对应的多个上层图像，其中底层图像与多个上层图像具有不同的模糊程度。底层图像使用高斯滤波器进行滤波的次数也可以根据实际情况确定，本实施例不做限定。其中，任意一个底层图像，以及，与任意一个底层图像对应的多个上层图像，组成一组尺度空间图像。
步骤三：将多组尺度空间图像组合为尺度空间金字塔。
将多组尺度空间图像组合按照对应的底层图像的分辨率从低到高的顺序自上而下排列，即可得到包含多组尺度空间图像，每组尺度空间图像包含底层图像和多个上层图像的尺度空间金字塔。
图2是本发明基于尺度空间的多模态图像配准方法一种实施例提供的尺度空间金字塔。如图2所示，A表示每一组的底层图像，B表示每一组的上层图像。
S103、提取尺度空间金字塔中分辨率最高的尺度空间图像中的基准Harris角点作为特征点。
按照上述步骤分别得到第一配准用图像和第二配准用图像的尺度空间金字塔后，分别提取每个尺度空间金字塔中分辨率最高的尺度空间图像中的基准Harris角点，即提取图2中的处于最下层的一组尺度空间图像中的基准Harris角点。
需要说明的是，第一配准用图像和第二配准用图像的尺度空间金字塔中基准Harris角点提取过程相同，本实施例以第一配准用图像的尺度空间金字塔中基准Harris角点提取过程为例进行说明，第二配准用图像的尺度空间金字塔中基准Harris角点提取过程参照如下步骤即可。
步骤一：分别确定分辨率最高的尺度空间图像中，底层图像和每个上层图像图像的Harris角点数量。
Harris角点检测是特征点检测的基础，应用邻近像素点灰度差值概念，从而判断是否为角点、边缘、平滑区域。在分辨率最高的尺度空间图像的底层图像和每个上层图像中，Harris角点数量的计算过程相同，该计算过程如下：
在底层图像或上层图像所在的平面中，设置直角坐标系。计算每一个像素点分别沿直角坐标系的X轴和Y轴的灰度一阶梯度图Ix，Iy。
计算一阶梯度图中每一个像素点的矩阵M：
其中加权窗W设为高斯卷积窗，矩阵M的推导过程可以参照现有技术中Harris角点的相关内容，本实施例不做赘述。
计算每一个像素点的角点响应cornerness：cornerness(x,y)＝detM-atr2M detM是上述矩阵
的行列式，即
而trM是矩阵M的迹，即trM＝λ1+λ2＝A+B；a为常数，取值范围为0.04～0.06。
当底层图像或上层图像中的某点(x,y)的角点响应cornerness(x,y)大于预设的响应阈值，且为局部极大值，则确定该点(x,y)是Harris角点。进而可以确定分辨率最高的尺度空间图像的底层图像和每个上层图像中Harris角点数量。
需要的是，响应阈值与图像的灰度特征相关，可以根据实际情况设置，本实施例不做赘述。
步骤二：判断分辨率最高的尺度空间图像中，是否存在目标层图像的Harris角点数量大于预设Harris角点数量。
步骤三：若存在，确定目标层图像中，Harris角点数量与预设Harris角点数量差值最小的基准目标层图像。
其中，预设Harris角点数量可以根据配准用图像的尺寸大小确定，一般为300～500个，本实施例不做限定。若存在目标层图像的Harris角点数量大于预设Harris角点数量，在目标层图像中选择Harris角点数量与预设Harris角点数量最接近的图像作为基准目标层图像。
步骤四：若不存在，确定分辨率最高的尺度空间图像中，Harris角点数量最高的基准目标层图像。
若不存在Harris角点数量大于预设Harris角点数量的目标图像，那么可以在底层图像和上层图像中选择Harris角点数量最高的图像作为基准目标层图像。
步骤五：将基准目标层图像上的Harris角点作为基准Harris角点，即特征点。
S104、确定特征点在所属的尺度空间金字塔中每层的层图像中的PIIFD特征描述符。
具体地，计算第一配准用图像中的基准Harris角点在所属的尺度空间金字塔中每层的层图像中对应位置的PIIFD特征描述符，计算第二配准用图像中的基准Harris角点在所属的尺度空间金字塔中每层的层图像中的PIIFD特征描述符。上述第一配准用图像和第二配准用图像的PIIFD特征描述符的计算方式相同，本实施例中以第一配准用图像中PIIFD特征描述符的计算步骤进行说明，第二配准用图像的计算方式参照下述计算步骤即可。
第一配准用图像中PIIFD特征描述符的计算步骤如下：
计算第一配准用图像对应的每层图像的二阶梯度：
计算S103中得到的特征点在每层的层图像中对应位置的梯度主方向：
以梯度主方向为基准方向(0°)，以每层的层图像中基准Harris角点位置为中心，建立尺寸(边长)为S方形窗，其中S常取40，并将其等分为16个小方形窗。统计每层的层图像中对应的小方形窗内的梯度方向，为每一层的层图像中基准Harris角点对应位置的特征点生成特征矩阵H：
为了减少灰度翻转和非线性变化的影响，计算特征矩阵H的旋转矩阵Q：
Q＝rot(H,180°)
确定每层的层图像中特征点的PIIFD特征描述符D：
其中，c是调整大小比例的权重参数。在一种具体地实施方式中，最后将D转化为128维的描述向量。
S105、基于PIIFD特征描述符，对两个配准用图像中的层图像进行逐一匹配，得到相匹配的特征点对数量最高的目标层图像匹配对。
具体地，对两个配准用图像中的层图像进行逐一匹配，匹配过程如下：
步骤一：按照预设匹配方式，对两个配准用图像中的层图像分别进行逐一的相互匹配。
预设匹配方式包括：按照预设顺序分别选择两个配准用图像中的一层图像，分别为第一目标层图像和第二目标层图像。在第一目标层图像的所有特征点对应的PIIFD特征描述符中，确定第二目标层图像中目标特征点对应的PIIFD特征描述符的欧氏距离最近的最近特征点和PIIFD特征描述符欧式距离次近的次近特征点。其中，欧氏距离是一个通常采用的距离定义，它是在m维空间中两个点之间的真实距离：
dij＝||Ni-Mj||2
其中，Mj为其中第一目标层图像中特征点的PIIFD特征描述符，Ni为第二目标层图像中特征点的PIIFD特征描述符，dij为Mj与Ni的欧氏距离。若最近特征点PIIFD特征描述符和次近特征点PIIFD特征描述符满足如下公式：
则建立最近特征点与目标特征点的匹配关系。其中，d1为目标特征点与最近特征点的欧氏距离，d2为目标特征点与次近特征点的欧氏距离，τ为预设比值阈值，τ常取0.9。
对两个配准用图像中的层图像对应的特征点分别进行逐一的相互匹配是指：以一个配准用图像为基础，在另一个配准用图像中一一确定最近特征点，得到一组匹配结果；然后在以另一个配准用图像为基础，在一个配准用图像中一一确定最近特征点，得到另一组匹配结果。
步骤二：保留相互匹配结果一致的基础特征点对。
逐一确定上述两组相互匹配结果是否一致，若是，则保留上述基础特征点对，若不是将相关的基础特征点对全部剔除。
步骤三：对基础特征点对进行失配消除，得到相匹配的特征点对。
将所有基础特征点对中主方向分布不一致的基础特征点对剔除。
将所有基础特征点对中空间分布不一致的基础特征点对剔除。具体地，可以计算基础特征点对的ratio：
其中，
表示一组基础特征点对坐标，
表示另一组基础特征点对坐标。匹配过程中图像会产生整体的拉伸或者压缩，每个像素点的位置都会发生相应变化，ratio的比值会在较小的范围内变化或者为固定的数值。若ratio差异较大则表示匹配错误，本实施例中，将导致ratio差异较大的基础特征点对剔除。
将不符合要求的所有基础特征点对剔除后，得到相匹配的特征点对。
步骤四：将相匹配的特征点对数量最高的层图像匹配对作为目标层图像匹配对。
分别计算每组层图像匹配对中相匹配的特征点对的数量，将相匹配的特征点对数量最高的层图像匹配对作为目标层图像匹配对。
S106、根据目标层图像匹配对中相匹配的特征点对的坐标关系，对两个配准用图像进行空间配准。
在获得参考图像与待配准图像间特征点的匹配后，利用目标层图像匹配对中相匹配的特征点对坐标的对应关系，建立图像间的空间变换。本实施例中采用相似变换、仿射变换、投影变换三种其一进行参数估计与模型变换，并采用最小二乘法拟合模型参数。最后通过对待配准图像进行模型变换，实现与参考图像的空间对准。
本实施例的基于尺度空间的多模态图像配准方法，通过对待配准的两个原始图像进行预处理，分别得到每个原始图像对应的配准用图像；建立配准用图像的尺度空间金字塔；其中，尺度空间金字塔中包含若干组不同分辨率的尺度空间图像，每组尺度空间图像包含若干层不同模糊程度的层图像；提取尺度空间金字塔中分辨率最高的尺度空间图像中的基准Harris角点，即特征点；确定特征点在所属的尺度空间金字塔中每层层图像中的PIIFD特征描述符；对两个配准用图像中的层图像进行逐一匹配，得到相匹配的特征点对数量最高的目标层图像匹配对；根据目标层图像匹配对中相匹配的特征点对的坐标关系，对两个配准用图像进行空间配准，实现了多模态图像的配准，能够适应可见光、红外、多光谱、高光谱、雷达等多种类型数据图像，图像的配准精度高、稳定性好，能够有效提高图像配准效率。
进一步地，本实施例在以上实施例的基础上，还包括空间配准结果输出，以使用户能够对配准结果进行直观了解，以便进行后续的流程。
本发明还提供了一种基于尺度空间的多模态图像配准装置，用于实现上述方法实施例。图3是本发明基于尺度空间的多模态图像配准装置一种实施例提供的结构示意图，如图3所示，本实施例的装置可以包括：
预处理模块11，用于对待配准的两个原始图像进行预处理，分别得到每个原始图像对应的配准用图像；
建立模块12，用于建立配准用图像的尺度空间金字塔；其中，尺度空间金字塔中包含若干组不同分辨率的尺度空间图像，每组尺度空间图像包含若干层不同模糊程度的层图像；
提取模块13，用于提取尺度空间金字塔中分辨率最高的尺度空间图像中的基准Harris角点作为特征点；
确定模块14，用于基于PIIFD特征描述符，确定特征点在所属的尺度空间金字塔中每层的层图像中的PIIFD特征描述符；
匹配模块15，用于对两个配准用图像中的层图像进行逐一匹配，得到相匹配的特征点对数量最高的目标层图像匹配对；
配准模块16，用于根据目标层图像匹配对中相匹配的特征点对的坐标关系，对两个配准用图像进行空间配准。
本实施例的基于尺度空间的多模态图像配准装置实现了多模态图像的配准，能够适应可见光、红外、多光谱、高光谱、雷达等多种类型数据图像，图像的配准精度高、稳定性好，能够有效提高图像配准效率。
进一步地，本实施例的预处理模块11，具体用于获取两个原始图像的感兴趣区域，其中两个感兴趣区域的场景相对应；对每个感兴趣区域分别进行去噪和降维处理，得到配准用图像。
进一步地，层图像包括底层图像和上层图像；
本实施例的建立模块12，具体用于按照预设的采样系数对配准用图像进行降采样，得到若干个不同分辨率的底层图像；将每个底层图像均输入预先构建的高斯滤波器中进行多次滤波，每个底层图像均得到对应的多个上层图像；其中，任意一个底层图像，以及，与任意一个底层图像对应的多个上层图像，组成一组尺度空间图像；将多组尺度空间图像组合为尺度空间金字塔。
进一步地，本实施例的提取模块13，具体用于分别确定分辨率最高的尺度空间图像中，底层图像和每个上层图像的Harris角点数量；判断分辨率最高的尺度空间图像中，是否存在目标层图像的Harris角点数量大于预设Harris角点数量；若存在，确定目标层图像中，Harris角点数量与预设Harris角点数量差值最小的基准目标层图像；若不存在，确定分辨率最高的尺度空间图像中，Harris角点数量最高的基准目标层图像；将基准目标层图像上的Harris角点作为基准Harris角点，即特征点。
进一步地，本实施例的匹配模块15，具体用于按照预设匹配方式和PIIFD特征描述符，对两个配准用图像中的层图像分别逐一进行特征点的相互匹配；保留相互匹配结果一致的基础特征点对；对基础特征点对进行失配消除，得到相匹配的特征点对；将相匹配的特征点对数量最高的层图像匹配对作为目标层图像匹配对。
进一步地，本实施例的匹配模块15，具体还用于将所有基础特征点对中主方向不一致和/或空间分布不一致的基础特征点对消除。
进一步地，本实施例的匹配模块15，具体还用于在一个配准用图像对应的第一目标层图像的特征点中确定另一个配准用图像对应的第二目标层图像中目标特征点的PIIFD特征描述符欧氏距离最近的最近特征点和PIIFD特征描述符欧式距离次近的次近特征点；若最近特征点和次近特征点满足如下公式：
则建立最近特征点与目标特征点的匹配关系；d1为目标特征点与最近特征点的欧氏距离，d2为目标特征点与次近特征点的欧氏距离，τ为预设比值阈值。
进一步地，本实施例的基于尺度空间的多模态图像配准装置，还包括输出模块；
输出模块，用于将图像配准结果输出。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本发明还提供了一种基于尺度空间的多模态图像配准设备，用于实现上述方法实施例。图4是本发明基于尺度空间的多模态图像配准设备一种实施例提供的结构示意图，如图所示，本实施例的设备包括处理器21和存储器22，处理器21与存储器22相连。其中，处理器21，用于调用并执行存储器22中存储的程序，存储器22，用于存储上述程序，上述程序至少用于执行以上实施例所述的基于尺度空间的多模态图像配准方法。
本实施例的基于尺度空间的多模态图像配准设备实现了多模态图像的配准，能够适应可见光、红外、多光谱、高光谱、雷达等多种类型数据图像，图像的配准精度高、稳定性好，能够有效提高图像配准效率。
可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是指至少两个。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的个合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的个合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的个合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其个合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (8)
1.一种基于尺度空间的多模态图像配准方法，其特征在于，包括：
对待配准的两个原始图像进行预处理，分别得到每个原始图像对应的配准用图像；
建立所述配准用图像的尺度空间金字塔；其中，所述尺度空间金字塔中包含若干组不同分辨率的尺度空间图像，每组所述尺度空间图像包含若干层不同模糊程度的层图像；
提取所述尺度空间金字塔中分辨率最高的尺度空间图像中的基准Harris角点作为特征点；
确定所述特征点在所属的尺度空间金字塔中每层所述层图像中的PIIFD特征描述符；
基于所述PIIFD特征描述符，对两个所述配准用图像中的所述层图像进行逐一匹配，得到相匹配的特征点对数量最高的目标层图像匹配对；
根据所述目标层图像匹配对中所述相匹配的特征点对的坐标关系，对两个所述配准用图像进行空间配准；
所述层图像包括底层图像和上层图像；
所述建立所述配准用图像的尺度空间金字塔，包括：
按照预设的采样系数对所述配准用图像进行降采样，得到若干个不同分辨率的所述底层图像；
将每个所述底层图像均输入预先构建的高斯滤波器中进行多次滤波，每个所述底层图像均得到对应的多个所述上层图像；其中，任意一个底层图像，以及，与所述任意一个底层图像对应的多个上层图像，组成一组尺度空间图像；
将多组所述尺度空间图像组合为所述尺度空间金字塔；
所述提取所述尺度空间金字塔中分辨率最高的尺度空间图像中的基准Harris角点，包括：
分别确定所述分辨率最高的尺度空间图像中，底层图像和每个上层图像的Harris角点数量；
判断所述分辨率最高的尺度空间图像中，是否存在目标层图像的Harris角点数量大于预设Harris角点数量；
若存在，确定所述目标层图像中，Harris角点数量与所述预设Harris角点数量差值最小的基准目标层图像；
若不存在，确定所述分辨率最高的尺度空间图像中，所述Harris角点数量最高的所述基准目标层图像；
将所述基准目标层图像上的所述Harris角点作为所述基准Harris角点，即所述特征点。
2.根据权利要求1所述基于尺度空间的多模态图像配准方法，其特征在于，所述对待配准的两个原始图像进行预处理，分别得到每个原始图像对应的配准用图像，包括：
获取两个所述原始图像的感兴趣区域，其中两个所述感兴趣区域的场景相对应；
对每个所述感兴趣区域分别进行去噪和降维处理，得到所述配准用图像。
3.根据权利要求1所述基于尺度空间的多模态图像配准方法，其特征在于，所述基于所述PIIFD特征描述符，对两个所述配准用图像中的所述层图像进行逐一匹配，得到相匹配的特征点对数量最高的目标层图像匹配对，包括：
按照预设匹配方式和所述PIIFD特征描述符，对两个所述配准用图像中的所述层图像分别逐一进行特征点的相互匹配；
保留相互匹配结果一致的基础特征点对；
对所述基础特征点对进行失配消除，得到所述相匹配的特征点对；
将所述相匹配的特征点对数量最高的层图像匹配对作为所述目标层图像匹配对。
4.根据权利要求3所述基于尺度空间的多模态图像配准方法，其特征在于，所述对所述基础特征点对进行失配消除，得到所述相匹配的特征点对，包括：
将所有所述基础特征点对中主方向不一致和/或空间分布不一致的基础特征点对消除。
5.根据权利要求3所述基于尺度空间的多模态图像配准方法，其特征在于，所述预设匹配方式包括：
在一个所述配准用图像对应的第一目标层图像的特征点中确定另一个配准用图像对应的第二目标层图像中目标特征点的PIIFD特征描述符欧氏距离最近的最近特征点和PIIFD特征描述符欧式距离次近的次近特征点；
若所述最近特征点和所述次近特征点满足如下公式：
则建立所述最近特征点与所述目标特征点的匹配关系；
所述d1为所述目标特征点与所述最近特征点的欧氏距离，所述d2为所述目标特征点与所述次近特征点的欧氏距离，τ为预设比值阈值。
6.根据权利要求1所述基于尺度空间的多模态图像配准方法，其特征在于，所述方法还包括：
将图像配准结果输出。
7.一种基于尺度空间的多模态图像配准装置，其特征在于，包括：
预处理模块，用于对待配准的两个原始图像进行预处理，分别得到每个原始图像对应的配准用图像；
建立模块，用于建立所述配准用图像的尺度空间金字塔；其中，所述尺度空间金字塔中包含若干组不同分辨率的尺度空间图像，每组所述尺度空间图像包含若干层不同模糊程度的层图像；
所述层图像包括底层图像和上层图像；
所述建立所述配准用图像的尺度空间金字塔，包括：
按照预设的采样系数对所述配准用图像进行降采样，得到若干个不同分辨率的所述底层图像；
将每个所述底层图像均输入预先构建的高斯滤波器中进行多次滤波，每个所述底层图像均得到对应的多个所述上层图像；其中，任意一个底层图像，以及，与所述任意一个底层图像对应的多个上层图像，组成一组尺度空间图像；
将多组所述尺度空间图像组合为所述尺度空间金字塔；
提取模块，用于提取所述尺度空间金字塔中分辨率最高的尺度空间图像中的基准Harris角点作为特征点；
所述提取所述尺度空间金字塔中分辨率最高的尺度空间图像中的基准Harris角点，包括：
分别确定所述分辨率最高的尺度空间图像中，底层图像和每个上层图像的Harris角点数量；
判断所述分辨率最高的尺度空间图像中，是否存在目标层图像的Harris角点数量大于预设Harris角点数量；
若存在，确定所述目标层图像中，Harris角点数量与所述预设Harris角点数量差值最小的基准目标层图像；
若不存在，确定所述分辨率最高的尺度空间图像中，所述Harris角点数量最高的所述基准目标层图像；
将所述基准目标层图像上的所述Harris角点作为所述基准Harris角点，即所述特征点；
确定模块，用于确定所述特征点在所属的尺度空间金字塔中每层所述层图像中的PIIFD特征描述符；
匹配模块，用于基于所述PIIFD特征描述符，对两个所述配准用图像中的所述层图像进行逐一匹配，得到相匹配的特征点对数量最高的目标层图像匹配对；
配准模块，用于根据所述目标层图像匹配对中所述相匹配的PIIFD特征描述对的坐标关系，对两个所述配准用图像进行空间配准。
8.一种基于尺度空间的多模态图像配准设备，其特征在于，包括处理器和存储器，所述处理器与所述存储器相连：
其中，所述处理器，用于调用并执行所述存储器中存储的程序；
所述存储器，用于存储所述程序，所述程序至少用于执行权利要求1-6任一项所述的基于尺度空间的多模态图像配准方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010879061.5A CN112017221B (zh) | 2020-08-27 | 2020-08-27 | 基于尺度空间的多模态图像配准方法、装置和设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010879061.5A CN112017221B (zh) | 2020-08-27 | 2020-08-27 | 基于尺度空间的多模态图像配准方法、装置和设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112017221A CN112017221A (zh) | 2020-12-01 |
| CN112017221B true CN112017221B (zh) | 2022-12-20 |
Family
ID=73502674
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010879061.5A Active CN112017221B (zh) | 2020-08-27 | 2020-08-27 | 基于尺度空间的多模态图像配准方法、装置和设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112017221B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114827442B (zh) * | 2021-01-29 | 2023-07-11 | 华为技术有限公司 | 生成图像的方法和电子设备 |
| CN113095385B (zh) * | 2021-03-31 | 2023-04-18 | 安徽工业大学 | 一种基于全局和局部特征描述的多模图像匹配方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106204550B (zh) * | 2016-06-30 | 2018-10-30 | 华中科技大学 | 一种非刚性多模医学图像的配准方法及系统 |
-
2020
- 2020-08-27 CN CN202010879061.5A patent/CN112017221B/zh active Active
Non-Patent Citations (1)
| Title |
|---|
| 眼底图像中血管管径的测量方法及其软件实现;王思远;《中国优秀硕士学位论文全文数据库》;20190215(第2期);第21-37页，图3.2-3.6 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112017221A (zh) | 2020-12-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11087169B2 (en) | Image processing apparatus that identifies object and method therefor | |
| CN104574347B (zh) | 基于多源遥感数据的在轨卫星图像几何定位精度评价方法 | |
| Krig | Computer vision metrics: Survey, taxonomy, and analysis | |
| EP2677464B1 (en) | Feature detection in numeric data | |
| WO2019042232A1 (zh) | 一种快速鲁棒的多模态遥感影像匹配方法和系统 | |
| US7747106B2 (en) | Method and system for filtering, registering, and matching 2.5D normal maps | |
| CN110610505A (zh) | 一种融合深度和色彩信息的图像分割方法 | |
| CN110930411B (zh) | 一种基于深度相机的人体分割方法及系统 | |
| CN108759788B (zh) | 无人机影像定位定姿方法及无人机 | |
| AliAkbarpour et al. | Fast structure from motion for sequential and wide area motion imagery | |
| CN112200854B (zh) | 一种基于视频图像的叶类蔬菜三维表型测量方法 | |
| CN111462198B (zh) | 一种尺度、旋转和辐射不变性的多模态影像配准方法 | |
| CN112017221B (zh) | 基于尺度空间的多模态图像配准方法、装置和设备 | |
| CN112946679B (zh) | 一种基于人工智能的无人机测绘果冻效应检测方法及系统 | |
| CN111325828A (zh) | 一种基于三目相机的三维人脸采集方法及装置 | |
| CN110910497B (zh) | 实现增强现实地图的方法和系统 | |
| CN112767459A (zh) | 基于2d-3d转换的无人机激光点云与序列影像配准方法 | |
| Simon et al. | A simple and effective method to detect orthogonal vanishing points in uncalibrated images of man-made environments | |
| CN105654479A (zh) | 多光谱图像配准方法和装置 | |
| CN116109535A (zh) | 一种图像融合方法、设备及计算机可读存储介质 | |
| CN104966283A (zh) | 图像分层配准方法 | |
| Parmehr et al. | Automatic parameter selection for intensity-based registration of imagery to LiDAR data | |
| CN104700359A (zh) | 像平面不同极轴方向图像序列进行超分辨率重建的方法 | |
| CN113435367A (zh) | 社交距离评估方法、装置及存储介质 | |
| CN116935013B (zh) | 基于三维重建的电路板点云大范围拼接方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |