CN108460724A - 基于马氏距离判别的自适应图像融合方法和系统 - Google Patents

Abstract

本发明涉及一种基于马氏距离判别的自适应图像融合方法和系统，在融合过程中将目标图像分为三部分，重合区域最左边完全取自img1中的数据，右边的部分完全取自img2经变换后的图像，通过对各个相机的重叠区域部分评估择优，自动选择规划出合适的各镜头成像点集，使得融合的图像更为真实，细节更加突出，极大地减小了因为细节丢失而导致的系统检测误差。本发明将马氏距离判别分析的方法引入图像融合技术之中，可以有效克服重叠区域坐标内各像素间的噪声干扰，自动选择规划出合适的各相机成像点集，以此评估出的像素点集合成后的图像整体平滑度更好，同时对真实场景的还原度高，极大的提升了图像融合的准确率。

Description

基于马氏距离判别的自适应图像融合方法和系统

技术领域

本发明属于图像处理领域，特别是涉及基于马氏距离判别的自适应图像融合方法和系统。

背景技术

目前机器视觉已成为工业领域研究的热门话题，在工业生产现场引入视觉可以更好地完成对工件的识别、检测、包装和搬运等项目，但在获取工件视觉信息的时候，一些生产项目需要识别的工件视场较大，单个相机不能够很好的满足实际需求，所以通常会采用具有平行光轴结构的多相机成像系统(如图1)，最后利用图像拼接算法得到所需要的图像数据。

图像拼接算法的核心主要是图像配准和图像融合，图像配准的方法经过大量研究人员多年的研究已经较成熟，但是在图像融合部分，由于复杂的工业现场环境(光照、温度等)及成像系统本身的装配误差，各相机所成像的结果存在一定的差异，传统的图像合成方法在此基础上的合成效果并不好，小小的细节错误就会使得工件检测等项目产生重大失误。因此，对于多相机成像系统的重叠区域判定择优显得极为关键。

现有的图像融合方法主要分为两种：一种简易的方法是先将附图2中的右图img2经变换矩阵H变换到一个新图像中，然后直接将左图img1加到新图像中，这样拼接出来会有很明显的拼接缝；另一种方法首先也是将右图img2经变换矩阵H变换到一个新图像中，在融合过程中将目标图像分为三部分，最左边完全取自img1中的数据，重合区域右边的部分完全取自img2经变换后的图像，中间的重合部分取两幅图像的加权平均值，这样一来可能导致重叠区域细节部分的丢失，并且也会存在一定的拼接缝。因此，上述两种方法在工件检测领域都不适用。

发明内容

本发明通过对各个相机的重叠区域部分评估择优，自动选择规划出合适的各镜头成像点集，使得融合的图像更为真实，细节更加突出，极大地减小了因为细节丢失而导致的系统检测误差。

为了达到上述目的，本发明提供的技术方案是一种基于马氏距离判别的自适应图像融合方法，包括如下步骤：

步骤1，合成图像左右部分的确定：针对图像配准后得到两幅图像img1和img2的重叠区域，根据匹配出的相同特征点计算变换矩阵H后构建两幅图像在重叠区域的映射关系，将img2经变换矩阵H变换到一个新图像中；以img1的坐标位置为基础建立合成图像的框架坐标，定义img1除去重叠区域的像素信息K^l为合成图像的左边部分，img2变换后的图像除去重叠区域的像素信息K^r为合成图像的右边部分，并将K^r和K^l一一映射到合成图像的框架坐标中；

步骤2，合成图像重叠区域像素的确定：定义img1在重叠区域的像素信息集合为C₁，img2变换后的重叠区域像素信息集合为C₂，则整个图像重叠区域的像素信息集合K^m＝{C₁，C₂}，图像重叠区域坐标内任意一点都包含两个像素点即其中，n表示重叠区域内需要选取的像素点的个数，设需要填补的某点为i，C_1i表示img1中对应这一点坐标位置的像素信息，C_2i表示img2中对应这一点坐标位置的像素信息；

步骤3，求取C₁，C₂的像素均值为计算图像重叠区域的像素均值方差：

步骤4，分别求取K_i内C_1i，C_2i到重叠区域像素均值方差的马氏距离，即相似差值：

i＝1，2，3...n

步骤5，比较K_i内C_1i，C_2i的相似差值的大小；

(1)若则判定该重叠坐标点K_i内C_1i优于C_2i，即在图像融合时自动选择img 1的像素点；

(2)若则判定该重叠坐标点K_i内C_2i优于C_1i，即在图像融合时自动选择img 2变换后的像素点；

(3)若则在该重叠坐标点K_i内随机选择一个作为图像融合的像素点；

步骤6，整合所有选出来的像素点并将其一一映射到对应的重叠区域坐标系中，确定为合成图像的重叠区域。

进一步的，步骤1中图像配准通过SIFT算法实现。

进一步的，步骤1中变换矩阵H的计算方式如下：

设重叠区域上任意一点T，在img1中成像为T1，在img2中成像为T2；由成像的映射关系得H1*T＝T1，H2*T＝T2，得T1＝T2(H1*H2^-1)；H矩阵表示img1和img2相同特征点的映射关系，由上式推导：H＝H1*H2^-1。

本发明还提供一种基于马氏距离判别的自适应图像融合系统，包括如下模块：

合成图像左右部分获取模块，用于针对图像配准后得到两幅图像img1和img2的重叠区域，根据匹配出的相同特征点计算变换矩阵H后构建两幅图像在重叠区域的映射关系，将img2经变换矩阵H变换到一个新图像中；以img1的坐标位置为基础建立合成图像的框架坐标，定义img1除去重叠区域的像素信息K^l为合成图像的左边部分，img2变换后的图像除去重叠区域的像素信息K^r为合成图像的右边部分，并将K^r和K^l一一映射到合成图像的框架坐标中；

合成图像重叠区域像素获取模块，用于定义img1在重叠区域的像素信息集合为C₁，img2变换后的重叠区域像素信息集合为C₂，则整个图像重叠区域的像素信息集合K^m＝{C₁，C₂}，图像重叠区域坐标内任意一点都包含两个像素点即其中，n表示重叠区域内需要选取的像素点的个数，设需要填补的某点为i，C_1i表示img1中对应这一点坐标位置的像素信息，C_2i表示img2中对应这一点坐标位置的像素信息；

重叠区域像素均值方差计算模块，用于求取C₁，C₂的像素均值为计算图像重叠区域的像素均值方差：

相似差值计算模块，用于分别求取K_i内C_1i，C_2i到重叠区域像素均值方差的马氏距离，即相似差值：

i＝1，2，3...n

相似差值比较模块，用于比较K_i内C_1i，C_2i的相似差值的大小；

(1)若则判定该重叠坐标点K_i内C_1i优于C_2i，即在图像融合时自动选择img 1的像素点；

(2)若则判定该重叠坐标点K_i内C_2i优于C_1i，即在图像融合时自动选择img 2变换后的像素点；

(3)若则在该重叠坐标点K_i内随机选择一个作为图像融合的像素点；

合成图像重叠区域确定模块，用于整合所有选出来的像素点并将其一一映射到对应的重叠区域坐标系中，确定为合成图像的重叠区域。

进一步的，合成图像左右部分获取模块中图像配准通过SIFT算法实现。

进一步的，合成图像左右部分获取模块中变换矩阵H的计算方式如下：

设重叠区域上任意一点T，在img1中成像为T1，在img2中成像为T2；由成像的映射关系得H1*T＝T1，H2*T＝T2，得T1＝T2(H1*H2^-1)；H矩阵表示img1和img2相同特征点的映射关系，由上式推导：H＝H1*H2^-1。

与现有技术相比，本发明的优点和有益效果为：本发明将马氏距离判别分析的方法引入图像融合技术之中，可以有效克服重叠区域坐标内各像素间的噪声干扰，自动选择规划出合适的各相机成像点集，以此评估出的像素点集合成后的图像整体平滑度更好，同时对真实场景的还原度高，极大的提升了图像融合的准确率。

附图说明

图1为具有平行光轴结构的多相机成像系统。

图2为图像融合中成像区域示意图。

图3为本发明实施例中区域坐标对应像素点示意图。

图4为本发明实施例中合成的图像像素信息分布图。

图5为本发明实施例流程图。

具体实施方式

下面结合附图和实施例对本发明的技术方案作进一步说明。

步骤1，合成图像左右部分的确定：通过SIFT算法[1]完成图像配准后可得两幅图像img1和img2的重叠区域(图2黑色部分)，根据匹配出的相同特征点计算变换矩阵H后构建两幅图像在重叠区域的映射关系，将img2经变换矩阵H变换到一个新图像中。以img1的坐标位置为基础建立合成图像的框架坐标，定义img1除去重叠区域的像素信息K^l为合成图像的左边部分，img2变换后的图像除去重叠区域的像素信息K^r为合成图像的右边部分，并将K^r和K^l一一映射到合成图像的框架坐标中。中间区域的图像信息需在img1和img2中择优选取。

其中变换矩阵H的计算方式为：设重叠区域上任意一点T，在img1中成像为T1，在img2中成像为T2；由成像的映射关系得H1*T＝T1，H2*T＝T2，得：T1＝T2(H1*H2^-1)；H矩阵表示img1和img2相同特征点的映射关系，由上式推导：H＝H1*H2^-1，H矩阵是3*3的矩阵。

[1]文伟东,张明.基于SIFT算法的全景图像拼接技术研究[J].计算机系统应用,2017,26(07):227-231.

步骤2，合成图像重叠区域像素的确定：定义img1在重叠区域的像素信息集合为C₁，img2变换后的重叠区域像素信息集合为C₂，则整个图像重叠区域的像素信息集合K^m＝{C₁，C₂}，图像重叠区域坐标内任意一点都包含两个像素点即n表示重叠区域内需要选取的像素点的个数，重叠区域的坐标位置已知，即重叠区域需要填补的像素点的坐标信息是已知的，img1和img2在每个需要填补的位置都有对应的像素信息，假设需要填补的某点为i，C_1i就表示img1中对应这一点坐标位置的像素信息，同理C_2i就表示img2中对应这一点坐标位置的像素信息；如图3所示；

步骤3，求取C₁，C₂的像素均值为计算图像重叠区域的像素均值方差：

步骤4，分别求取K_i内C_li，C_2i到重叠区域像素均值方差的马氏距离(即相似差值)：

i＝1，2，3...n

步骤5，比较K_i内C_1i，C_2i的相似差值的大小：

(1)若则判定该重叠坐标点K_i内C_1i优于C_2i，即在图像融合时自动选择img1的像素点。

(2)若则判定该重叠坐标点K_i内C_2i优于C_1i，即在图像融合时自动选择img2变换后的像素点。

(3)若则在该重叠坐标点K_i内随机选择一个作为图像融合的像素点。

步骤6，整合所有选出来的像素点并将其一一映射到对应的重叠区域坐标系中，确定为合成图像重叠区域。K^r，K^m*，K^l中的像素点在要合成图像的坐标框架中一一映射。

本发明还提供一种基于马氏距离判别的自适应图像融合系统，包括如下模块：

合成图像左右部分获取模块，用于针对图像配准后得到两幅图像img1和img2的重叠区域，根据匹配出的相同特征点计算变换矩阵H后构建两幅图像在重叠区域的映射关系，将img2经变换矩阵H变换到一个新图像中；以img1的坐标位置为基础建立合成图像的框架坐标，定义img1除去重叠区域的像素信息K^l为合成图像的左边部分，img2变换后的图像除去重叠区域的像素信息K^r为合成图像的右边部分，并将K^r和K^l一一映射到合成图像的框架坐标中；

合成图像重叠区域像素获取模块，用于定义img1在重叠区域的像素信息集合为C₁，img2变换后的重叠区域像素信息集合为C₂，则整个图像重叠区域的像素信息集合K^m＝{C₁，C₂}，图像重叠区域坐标内任意一点都包含两个像素点即其中，n表示重叠区域内需要选取的像素点的个数，设需要填补的某点为i，C_1i表示img1中对应这一点坐标位置的像素信息，C_2i表示img2中对应这一点坐标位置的像素信息；

重叠区域像素均值方差计算模块，用于求取C₁，C₂的像素均值为计算图像重叠区域的像素均值方差：

相似差值计算模块，用于分别求取K_i内C_1i，C_2i到重叠区域像素均值方差的马氏距离，即相似差值：

i＝1，2，3 ... n

相似差值比较模块，用于比较K_i内C_1i，C_2i的相似差值的大小；

(1)若则判定该重叠坐标点K_i内C_1i优于C_2i，即在图像融合时自动选择img 1的像素点；

(2)若则判定该重叠坐标点K_i内C_2i优于C_1i，即在图像融合时自动选择img 2变换后的像素点；

(3)若则在该重叠坐标点K_i内随机选择一个作为图像融合的像素点；

合成图像重叠区域确定模块，用于整合所有选出来的像素点并将其一一映射到对应的重叠区域坐标系中，确定为合成图像的重叠区域。

其中，合成图像左右部分获取模块中图像配准通过SIFT算法实现；合成图像左右部分获取模块中变换矩阵H的计算方式如下：

设重叠区域上任意一点T，在img1中成像为T1，在img2中成像为T2；由成像的映射关系得H1*T＝T1，H2*T＝T2，得T1＝T2(H1*H2^-1)；H矩阵表示img1和img2相同特征点的映射关系，由上式推导：H＝H1*H2^-1，H矩阵是3*3的矩阵。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (6)

1.基于马氏距离判别的自适应图像融合方法，其特征在于，包括如下步骤：

步骤1，合成图像左右部分的确定：针对图像配准后得到两幅图像img1和img2的重叠区域，根据匹配出的相同特征点计算变换矩阵H后构建两幅图像在重叠区域的映射关系，将img2经变换矩阵H变换到一个新图像中；以img1的坐标位置为基础建立合成图像的框架坐标，定义img1除去重叠区域的像素信息K^l为合成图像的左边部分，img2变换后的图像除去重叠区域的像素信息K^r为合成图像的右边部分，并将K^r和K^l一一映射到合成图像的框架坐标中；

步骤2，合成图像重叠区域像素的确定：定义img1在重叠区域的像素信息集合为C₁，img2变换后的重叠区域像素信息集合为C₂，则整个图像重叠区域的像素信息集合K^m＝{C₁，C₂}，图像重叠区域坐标内任意一点都包含两个像素点即其中，n表示重叠区域内需要选取的像素点的个数，设需要填补的某点为i，C_1i表示img1中对应这一点坐标位置的像素信息，C_2i表示img2中对应这一点坐标位置的像素信息；

步骤3，求取C₁，C₂的像素均值为计算图像重叠区域的像素均值方差：

步骤4，分别求取K_i内C_1i，C_2i到重叠区域像素均值方差的马氏距离，即相似差值：

i＝1，2，3...n

步骤5，比较K_i内C_1i，C_2i的相似差值 的大小；

(1)若则判定该重叠坐标点K_i内C_1i优于C_2i，即在图像融合时自动选择img1的像素点；

(2)若则判定该重叠坐标点K_i内C_2i优于C_1i，即在图像融合时自动选择img2变换后的像素点；

(3)若则在该重叠坐标点K_i内随机选择一个作为图像融合的像素点；

步骤6，整合所有选出来的像素点并将其一一映射到对应的重叠区域坐标系中，确定为合成图像的重叠区域。

2.如权利要求1所述的基于马氏距离判别的自适应图像融合方法，其特征在于：步骤1中图像配准通过SIFT算法实现。

3.如权利要求1所述的基于马氏距离判别的自适应图像融合方法，其特征在于：步骤1中变换矩阵H的计算方式如下：

设重叠区域上任意一点T，在img1中成像为T1，在img2中成像为T2；由成像的映射关系得H1*T＝T1，H2*T＝T2，得T1＝T2(H1*H2^-1)；H矩阵表示img1和img2相同特征点的映射关系，由上式推导：H＝H1*H2^-1。

4.基于马氏距离判别的自适应图像融合系统，其特征在于，包括如下模块：

合成图像左右部分获取模块，用于针对图像配准后得到两幅图像img1和img2的重叠区域，根据匹配出的相同特征点计算变换矩阵H后构建两幅图像在重叠区域的映射关系，将img2经变换矩阵H变换到一个新图像中；以img1的坐标位置为基础建立合成图像的框架坐标，定义img1除去重叠区域的像素信息K^l为合成图像的左边部分，img2变换后的图像除去重叠区域的像素信息K^r为合成图像的右边部分，并将K^r和K^l一一映射到合成图像的框架坐标中；

合成图像重叠区域像素获取模块，用于定义img1在重叠区域的像素信息集合为C₁，img2变换后的重叠区域像素信息集合为C₂，则整个图像重叠区域的像素信息集合K^m＝{C₁，C₂}，图像重叠区域坐标内任意一点都包含两个像素点即其中，n表示重叠区域内需要选取的像素点的个数，设需要填补的某点为i，C_1i表示img1中对应这一点坐标位置的像素信息，C_2i表示img2中对应这一点坐标位置的像素信息；

重叠区域像素均值方差计算模块，用于求取C₁，C₂的像素均值为计算图像重叠区域的像素均值方差：

相似差值计算模块，用于分别求取K_i内C_1i，C_2i到重叠区域像素均值方差的马氏距离，即相似差值：

i＝1，2，3...n

相似差值比较模块，用于比较K_i内C_1i，C_2i的相似差值 的大小；

(1)若则判定该重叠坐标点K_i内C_1i优于C_2i，即在图像融合时自动选择img1的像素点

(2)若则判定该重叠坐标点K_i内C_2i优于C_1i，即在图像融合时自动选择img2变换后的像素点；

(3)若则在该重叠坐标点K_i内随机选择一个作为图像融合的像素点；

合成图像重叠区域确定模块，用于整合所有选出来的像素点并将其一一映射到对应的重叠区域坐标系中，确定为合成图像的重叠区域。

5.如权利要求4所述的基于马氏距离判别的自适应图像融合系统，其特征在于：合成图像左右部分获取模块中图像配准通过SIFT算法实现。

6.如权利要求4所述的基于马氏距离判别的自适应图像融合方法，其特征在于：合成图像左右部分获取模块中变换矩阵H的计算方式如下：

设重叠区域上任意一点T，在img1中成像为T1，在img2中成像为T2；由成像的映射关系得H1*T＝T1，H2*T＝T2，得T1＝T2(H1*H2^-1)；H矩阵表示img1和img2相同特征点的映射关系，由上式推导：H＝H1*H2^-1。