Nothing Special   »   [go: up one dir, main page]

CN110503620B - 一种基于傅立叶频谱提取的图像融合方法 - Google Patents

一种基于傅立叶频谱提取的图像融合方法 Download PDF

Info

Publication number
CN110503620B
CN110503620B CN201910705942.2A CN201910705942A CN110503620B CN 110503620 B CN110503620 B CN 110503620B CN 201910705942 A CN201910705942 A CN 201910705942A CN 110503620 B CN110503620 B CN 110503620B
Authority
CN
China
Prior art keywords
image
frequency
images
fused
frequency domain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910705942.2A
Other languages
English (en)
Other versions
CN110503620A (zh
Inventor
彭新雨
周威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maolai Nanjing Instrument Co ltd
Original Assignee
Maolai Nanjing Instrument Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maolai Nanjing Instrument Co ltd filed Critical Maolai Nanjing Instrument Co ltd
Priority to CN201910705942.2A priority Critical patent/CN110503620B/zh
Publication of CN110503620A publication Critical patent/CN110503620A/zh
Priority to PCT/CN2020/091353 priority patent/WO2021017588A1/zh
Priority to US17/583,239 priority patent/US20220148297A1/en
Application granted granted Critical
Publication of CN110503620B publication Critical patent/CN110503620B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/431—Frequency domain transformation; Autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10148—Varying focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于傅立叶频谱提取的图像融合方法，该方法对不同对焦位置的图像进行傅里叶变换，在变换后的频域空间中提取不同对焦位置图像中频率幅值最大的值对应的频率分量，将该分量作为融合图像在对应空间频率下的频率分量，遍历每个频率生成融合后图像的频域分量；最后对融合后图像的频域分量进行傅里叶逆变换，得到融合后的图像。该方法能够在不更换相机和镜头的情况下，利用相同分辨率的图片合成具有不同位置物体细节信息的图片，为计算机视觉检测等应用领域提供了一种快速便捷的图像融合方法。

Description

一种基于傅立叶频谱提取的图像融合方法
技术领域
本发明涉及一种于图像融合方法，具体涉及一种基于傅立叶变换频谱提取的图像融合方法，属于图像处理技术领域。
背景技术
图像融合作为信息融合的一个重要领域已经广泛应用于遥感、计算机视觉、医学、军事目标探测和识别等方面。
目前比较流行的是源于多分辨率的方法，这类方法一大类是基于图像的高斯金字塔分解，然后派生出拉普拉斯金字塔，灰度金字塔，梯度金字塔等；另一大类是基于小波分解的算法，基本思想是把图像分解到不同分辨率下的一个系列予图像，其中每一级包含一个包含低频信息的模糊子图像和三个行、列，对角线方向上的高频细节子图像。这两类方法的共同之处都是在不同的分辨下各自按一定的规则融合，得到一个融合后的图像序列。
发明内容
本发明所要解决的技术问题是提供一种基于傅立叶频谱提取的图像融合方法，该方法通过傅里叶变换提取图像清晰区域，从而实现在小景深的拍摄条件下，利用多张图融合，生成一张在沿拍摄方向上包含不同深度物体细节信息图片的方法。
为解决上述技术问题，本发明所采用的技术方案为：
一种基于傅立叶频谱提取的图像融合方法，所述图像融合方法通过对不同对焦位置的图像进行傅里叶变换，在变换后的频域空间中提取不同对焦位置图像中频率幅值最大的值对应的频率分量，将该分量作为融合图像在对应空间频率下的频率分量，遍历每个频率生成融合后图像的频域分量；最后对融合后图像的频域分量进行傅里叶逆变换，得到融合后的图像。
其中，上述基于傅立叶频谱提取的图像融合方法，具体包括以下步骤：
(1)对待融合的多幅图像获取每一幅图像的灰度图像信息：
fn(x，y)，(x＜K，y＜L)，n＝1，2，...，N
其中，(x，y)是所述灰度图像的像素坐标，K和L分别是图像x和y方向的边界值。N为多幅图像的总数量；
(2)利用二维离散傅立叶变换，将步骤(1)中获取的N幅空间域的灰度图像变换到频域，得到每一幅图像的频率分量：
Figure BDA0002150320350000021
其中，(fx，fy)是空间频率的坐标，表示了x，y方向上的空间频率，|Fn(fx，fy)|是频域幅值的大小；
(3)根据步骤(2)中获取的频域幅值的大小|Fn(fx，fy)|，提取空间频率(fx，fy)下N幅图中频率幅值|Fn(fx，fy)|最大的值所对应的频率分量作为融合图像的在该空间频率下的频率分量；遍历频率域内每一点(即每一个空间频率(fx，fy))采用上述的方法，最终生成N幅图融合后的频域分量：
Fn(fx，fy)→F(fx，fy)；
(4)利用二维离散傅立叶逆变换对步骤(3)中获取的融合后的频域分量进行逆变换，获取空间域重构后的灰度图像，即为N幅图融合后的图像：
Figure BDA0002150320350000022
f(x，y)就是重构之后得到的灰度图像。
其中，步骤(1)中，多幅图像的数量N大于等于2。
其中，步骤(1)中，被融合的多幅图像具有相同的视场范围和分辨率。
其中，步骤(1)中，多幅图像对不同深度位置的物体或同一物体具有不同的对焦深度。
有益效果：本发明的图像融合方法，通过对不同对焦位置的图片的傅立叶变换，理解频域信号代表了空间域中图像的边缘、纹理等信息，将不同位置的细节信息提取出来，能够在不更换相机和镜头的情况下，利用相同分辨率的图片合成具有不同位置物体细节信息的图片，为计算机视觉检测等应用领域提供了一种快速便捷的图像融合方法，并且该方法计算简单、融合后的图像包含更多图像细节。
附图说明
图1为本发明基于傅立叶频谱提取的图像融合方法的流程图；
图2为本发明中同一视场、用同一相机拍摄不同对焦面的待融合图像；
图3是图2中三张图分别对应的二维离散傅立叶变换后的空间频率域分布的图像；
图4为图3中三幅空间频率域分布的图像融合后的频率域图像；
图5为图4通过二维离散傅立叶逆变换后重建的空间域的图像。
具体实施方式
根据下述实施例，可以更好地理解本发明。然而，本领域的技术人员容易理解，实施例所描述的内容仅用于说明本发明，而不应当也不会限制权利要求书中所详细描述的本发明。
如图1～5所示，本发明图像融合方法，基于傅立叶变换，提取图像清晰区域，从而实现在小景深的拍摄条件下，利用多张图融合，生成一张在沿拍摄方向上包含不同深度物体细节信息的图片。
本发明算法需要在相同的视场范围内，通过改变镜头的对焦位置，在不同的深度方向(Z方向)拍摄N幅图像。由于受限于镜头的景深，每幅图像只有在对焦面附近前后很小的深度能清晰成在像面上(X、Y方向)。为了能在一张图上显示拍摄物体(或空间)三维(X、Y、Z方向)的信息，要将N幅图进行融合，生成一张图像。从该图像上可以获取不同深度位置物体的细节信息(X、Y方向)。
本发明方法具体包含如下步骤：
(1)对待融合的多幅图像获取每一幅图像的灰度图像信息：
fn(x，y)，(x＜K，y＜L)，n＝1，2，...，N
其中，(x，y)是所述灰度图像的像素坐标，K和L分别是图像x和y方向的边界值。N为多幅图像的总数量，N大于等于2。多幅图像具有相同的视场范围和分辨率。多幅图像对不同深度位置的物体或同一物体具有不同的对焦深度。
(2)利用二维离散傅立叶变换，将步骤(1)中获取的N幅空间域的灰度图像变换到频域，得到每一幅图像的频率分量：
Figure BDA0002150320350000031
其中，(fx，fy)是空间频率的坐标，表示了x，y方向上的空间频率，|Fn(fx，fy)|是频域幅值的大小，其值越大表示该频率分量成分含量越多，图像的细节信息就越丰富。
(3)根据步骤(2)中获取的频域幅值的大小|Fn(fx，fy)|，提取空间频率(fx，fy)下N幅图中频率幅值|Fn(fx，fy)|最大的值所对应的频率分量作为融合图像的在该空间频率下的频率分量；遍历频率域内每一点(即每一个空间频率(fx，fy))采用上述的方法，最终生成N幅图融合后的频域分量：
Fn(fx，fy)→F(fx，fy)
(4)空间域图像重构步骤，因为fx，fy的方向性，F(fx，fy)包含了N幅图像中不同位置处的图像的细节信息，为了从频域还原到空间域得到融合后的图像效果，利用二维离散傅立叶逆变换对步骤(3)中获取的融合后的频域分量进行逆变换，获取空间域重构后的灰度图像，即为N幅图融合后的图像：
Figure BDA0002150320350000041
f(x，y)就是重构之后得到的灰度图像。
图2中分别只在各自对焦的位置处的图片显示很清晰，即边缘和细节纹理信息比较丰富；而在融合后的图像中(图5)，三处对焦位置的细节信息很好的融合到了一张图中，即从一张图中可以看到不同拍摄深度位置物体的细节信息，较有效的实现了图像融合的效果。

Claims (1)

1.一种基于傅立叶频谱提取的图像融合方法，其特征在于：所述图像融合方法通过对不同对焦位置的图像进行傅里叶变换，在变换后的频域空间中提取不同对焦位置图像中频率幅值最大的值对应的频率分量，将该频率分量作为融合图像在对应空间频率下的频率分量，遍历每个频率生成融合后图像的频域分量；最后对融合后图像的频域分量进行傅里叶逆变换，得到融合后的图像；
具体包含如下步骤：
(1)对待融合的多幅图像获取每一幅图像的灰度图像信息：
fn(x,y),(x＜K,y＜L),n＝1,2,...,N
其中，(x,y)是所述灰度图像的像素坐标，K和L分别是图像x和y方向的边界值；N为多幅图像的总数量，N大于等于2；多幅图像具有相同的视场范围和分辨率；多幅图像对不同深度位置的物体或同一物体具有不同的对焦深度；
(2)利用二维离散傅立叶变换，将步骤(1)中获取的N幅空间域的灰度图像变换到频域，得到每一幅图像的频率分量：
Figure FDA0003700968130000011
其中，(fx,fy)是空间频率的坐标，表示了x，y方向上的空间频率，|Fn(fx,fy)|是频域幅值的大小，其值越大表示该频率分量成分含量越多，图像的细节信息就越丰富；
(3)根据步骤(2)中获取的频域幅值的大小|Fn(fx,fy)|，提取空间频率(fx,fy)下N幅图中频率幅值|Fn(fx,fy)|最大的值所对应的频率分量作为融合图像的在该空间频率下的频率分量；遍历频率域内每一点，每一个空间频率(fx,fy)采用上述的方法，最终生成N幅图融合后的频域分量：
Fn(fx,fy)→F(fx,fy)
(4)空间域图像重构步骤，因为fx,fy的方向性，F(fx,fy)包含了N幅图像中不同位置处的图像的细节信息，为了从频域还原到空间域得到融合后的图像效果，利用二维离散傅立叶逆变换对步骤(3)中获取的融合后的频域分量进行逆变换，获取空间域重构后的灰度图像，即为N幅图融合后的图像：
Figure FDA0003700968130000012
f(x,y)就是重构之后得到的灰度图像。
CN201910705942.2A 2019-07-31 2019-07-31 一种基于傅立叶频谱提取的图像融合方法 Active CN110503620B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910705942.2A CN110503620B (zh) 2019-07-31 2019-07-31 一种基于傅立叶频谱提取的图像融合方法
PCT/CN2020/091353 WO2021017588A1 (zh) 2019-07-31 2020-05-20 一种基于傅立叶频谱提取的图像融合方法
US17/583,239 US20220148297A1 (en) 2019-07-31 2022-01-25 Image fusion method based on fourier spectrum extraction

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910705942.2A CN110503620B (zh) 2019-07-31 2019-07-31 一种基于傅立叶频谱提取的图像融合方法

Publications (2)

Publication Number Publication Date
CN110503620A CN110503620A (zh) 2019-11-26
CN110503620B true CN110503620B (zh) 2023-01-06

Family

ID=68587003

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910705942.2A Active CN110503620B (zh) 2019-07-31 2019-07-31 一种基于傅立叶频谱提取的图像融合方法

Country Status (3)

Country Link
US (1) US20220148297A1 (zh)
CN (1) CN110503620B (zh)
WO (1) WO2021017588A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110503620B (zh) * 2019-07-31 2023-01-06 茂莱（南京）仪器有限公司 一种基于傅立叶频谱提取的图像融合方法
CN112465694B (zh) * 2020-11-27 2024-10-15 中国科学院西安光学精密机械研究所 基于相位变化的医学图像数据增广方法
CN113643271A (zh) * 2021-08-24 2021-11-12 凌云光技术股份有限公司 一种基于频域滤波的图像瑕疵检测方法及装置
CN114862843B (zh) * 2022-06-06 2024-11-01 东北大学 一种基于滤波器融合的金属带材表面缺陷快速检测方法
CN115931319B (zh) * 2022-10-27 2023-10-10 圣名科技(广州)有限责任公司 故障诊断方法、装置、电子设备及存储介质
CN116309189B (zh) * 2023-05-17 2023-07-28 中国人民解放军海军青岛特勤疗养中心 一种船舶烧伤伤员紧急转运分类的图像处理方法
CN117197625B (zh) * 2023-08-29 2024-04-05 珠江水利委员会珠江水利科学研究院 基于相关分析的遥感影像空-谱融合方法、系统、设备及介质
CN117274763B (zh) * 2023-11-21 2024-04-05 珠江水利委员会珠江水利科学研究院 基于平衡点分析的遥感影像空-谱融合方法、系统、设备及介质
CN118154843A (zh) * 2024-02-28 2024-06-07 耕宇牧星(北京)空间科技有限公司 一种基于频域特征重建的遥感图像目标检测方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103500443A (zh) * 2013-10-10 2014-01-08 中国科学院上海技术物理研究所 一种基于傅里叶变换的红外偏振图像融合方法
CN104361570A (zh) * 2014-11-19 2015-02-18 深圳市富视康实业发展有限公司 一种基于分数阶傅里叶变换的图像融合方法
CN106780392A (zh) * 2016-12-27 2017-05-31 浙江大华技术股份有限公司 一种图像融合方法及装置
CN109118466A (zh) * 2018-08-29 2019-01-01 电子科技大学 一种红外图像与可见光图像融合的处理方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9779487B2 (en) * 2013-10-11 2017-10-03 Disney Enterprises, Inc. Methods and systems of local signal equalization
CN105430266A (zh) * 2015-11-30 2016-03-23 努比亚技术有限公司 基于多尺度变换的图像处理方法及终端
CN105931209B (zh) * 2016-04-07 2019-05-31 重庆邮电大学 一种基于离散正交多项式变换的多聚焦图像融合方法
JP7238381B2 (ja) * 2017-12-21 2023-03-14 株式会社ニコン 画像処理装置、画像処理プログラム、画像処理方法および顕微鏡
CN108399611B (zh) * 2018-01-31 2021-10-26 西北工业大学 基于梯度正则化的多聚焦图像融合方法
CN110503620B (zh) * 2019-07-31 2023-01-06 茂莱（南京）仪器有限公司 一种基于傅立叶频谱提取的图像融合方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103500443A (zh) * 2013-10-10 2014-01-08 中国科学院上海技术物理研究所 一种基于傅里叶变换的红外偏振图像融合方法
CN104361570A (zh) * 2014-11-19 2015-02-18 深圳市富视康实业发展有限公司 一种基于分数阶傅里叶变换的图像融合方法
CN106780392A (zh) * 2016-12-27 2017-05-31 浙江大华技术股份有限公司 一种图像融合方法及装置
WO2018120936A1 (en) * 2016-12-27 2018-07-05 Zhejiang Dahua Technology Co., Ltd. Systems and methods for fusing infrared image and visible light image
CN109118466A (zh) * 2018-08-29 2019-01-01 电子科技大学 一种红外图像与可见光图像融合的处理方法

Also Published As

Publication number Publication date
WO2021017588A1 (zh) 2021-02-04
CN110503620A (zh) 2019-11-26
US20220148297A1 (en) 2022-05-12

Similar Documents

Publication Publication Date Title
CN110503620B (zh) 一种基于傅立叶频谱提取的图像融合方法
Yoon et al. Light-field image super-resolution using convolutional neural network
Farrugia et al. Super resolution of light field images using linear subspace projection of patch-volumes
Kalantari et al. Learning-based view synthesis for light field cameras
CN107025660B (zh) 一种确定双目动态视觉传感器图像视差的方法和装置
CN111510691B (zh) 颜色插值方法及装置、设备、存储介质
Su et al. Natural scene statistics of color and range
CN107767339B (zh) 一种双目立体图像拼接方法
CN110517211B (zh) 一种基于梯度域映射的图像融合方法
CN103632372B (zh) 一种视频显著图提取方法
CN108615221B (zh) 基于剪切二维极线平面图的光场角度超分辨率方法及装置
Sundar et al. Design and analysis of fusion algorithm for multi-frame super-resolution image reconstruction using framelet
Guðmundsson et al. TOF-CCD image fusion using complex wavelets
Muniraj et al. Subpixel based defocused points removal in photon-limited volumetric dataset
Mohan Adaptive super-resolution image reconstruction with lorentzian error norm
Yoo et al. Deep super-resolution imaging technology: toward optical super-vision
Balure et al. A Survey--Super Resolution Techniques for Multiple, Single, and Stereo Images
Webster et al. Radial deblurring with ffts
CN108426566B (zh) 一种基于多摄像机的移动机器人定位方法
Kulkarni et al. Generation of depth map based on depth from focus: A survey
TWI613903B (zh) 結合小波轉換及邊緣偵測建立單張影像深度圖的裝置及其方法
Wang et al. Depth map restoration and upsampling for kinect v2 based on ir-depth consistency and joint adaptive kernel regression
Lee et al. Computational integral imaging reconstruction of a partially occluded three-dimensional object using an image inpainting technique
Raviya et al. Real time depth data refurbishment in frequency domain and 3D modeling map using Microsoft kinect sensor
de Jesus et al. Super-resolution in a nutshell

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant