Nothing Special   »   [go: up one dir, main page]

CN116258750A - 光流估计方法、装置、电子设备及存储介质 - Google Patents

光流估计方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN116258750A
CN116258750A CN202111501045.3A CN202111501045A CN116258750A CN 116258750 A CN116258750 A CN 116258750A CN 202111501045 A CN202111501045 A CN 202111501045A CN 116258750 A CN116258750 A CN 116258750A
Authority
CN
China
Prior art keywords
image
optical flow
layer image
current layer
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111501045.3A
Other languages
English (en)
Inventor
曲超
谢朝毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Insta360 Innovation Technology Co Ltd
Original Assignee
Insta360 Innovation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Insta360 Innovation Technology Co Ltd filed Critical Insta360 Innovation Technology Co Ltd
Priority to CN202111501045.3A priority Critical patent/CN116258750A/zh
Publication of CN116258750A publication Critical patent/CN116258750A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明适用于图像处理技术领域，提供了一种光流估计方法、装置、电子设备及存储介质，该方法包括：对第一图像和第二图像进行降采样，分别构建图像金字塔，按照从顶层图像到底层图像的顺序，从图像金字塔中选择一层未选择过的图像作为当前层图像，通过执行逆向搜索对当前层图像的初始稀疏光流进行更新，使用预设的滤波器对当前层图像更新后的稀疏光流进行平滑处理，基于平滑处理后的稀疏光流获取当前层图像的稠密光流，判断当前层图像是否为底层图像，若是，则将所述稠密光流作为所述第一图像和所述第二图像之间的最终光流，若否，则继续对下一层图像进行光流估计，从而提高了光流估计的准确性。

Description

光流估计方法、装置、电子设备及存储介质
技术领域
本发明属于图像处理技术领域，尤其涉及一种光流估计方法、装置、电子设备及存储介质。
背景技术
DIS(Dense Inverse Search，稠密逆向搜索)光流算法作为一种快速计算稠密光流的方法，其兼具准确性与实时性，因此被广泛应用。DIS光流算法首先构建高斯金字塔，从金字塔分辨率最低的一层(图像金字塔顶层)开始，计算图像A内每个图像块相对于参考图像B内相应图像块的位移，得到稀疏光流，再根据稀疏光流逆向搜索，推算出图像A和图像B之间的光流，以达到快速计算稠密光流的目的。
DIS光流算法根据图像块内像素点的SSD(Sum of Squared Differences，差方和距离公式)进行逆向搜索，因此其准确度会受到图像纹理的影响。当图像的纹理很弱，或者出现了重复纹理、孔径效应等时，逆向搜索很难收敛至一个正确的结果，在金字塔的低分辨率层，纹理的模糊也会导致稀疏光流的错误，并且此时错误的光流会作为初值传递至下一层，导致了误差的积累。
发明内容
本发明的目的在于提供一种光流估计方法、装置、电子设备及存储介质，旨在解决现有技术中DIS光流算法在图像纹理较弱时准确性差的问题。
一方面，本发明提供一种光流估计方法，所述方法包括下述步骤：
对第一图像和第二图像进行降采样，分别构建图像金字塔；
按照从顶层图像到底层图像的顺序，从所述图像金字塔中选择一层未选择过的图像作为当前层图像；
对当前层图像进行分块处理，得到多个图像块；
基于所述图像块，通过执行逆向搜索对当前层图像的初始稀疏光流进行更新；
使用预设的滤波器对当前层图像更新后的稀疏光流进行平滑处理；
基于平滑处理后的稀疏光流获取当前层图像的稠密光流；
判断当前层图像是否为底层图像，若是，则将所述稠密光流作为所述第一图像和所述第二图像之间的最终光流，若否，则跳转至按照从顶层图像到底层图像的顺序，从所述图像金字塔中选择一层未选择过的图像作为当前层图像的步骤。
优选地，所述预设的滤波器为快速双边滤波器，每层图像使用的所述快速双边滤波器的窗口大小不同。
优选地，所述快速双边滤波器的窗口大小为Mi×Mi，其中，
Figure BDA0003402562100000021
i∈[1,N]，N表示所述图像金字塔的总层数，Di表示所述图像金字塔的第i层图像的对角线长度，V1表示预设的第一预设值，V1表示预设的第二预设值。
优选地，所述第一预设值为16，所述第二预设值为12。
优选地，通过执行逆向搜索对当前层图像的初始稀疏光流进行更新的步骤，包括：
选择一个所述当前层图像中未遍历过的图像块作为当前图像块；
通过相位相关算法判断是否对所述当前图像块执行所述逆向搜索；
若执行所述逆向搜索，则基于逆向搜索结果对所述当前图像块的稀疏光流进行更新；
若不执行逆向搜索，则判断是否完成对所述当前层图像中所有图像块的遍历；
若已完成遍历，则跳转至使用预设的滤波器对当前层图像更新后的稀疏光流进行平滑处理的步骤，若未完成遍历，则跳转至选择一个所述当前层图像中未遍历过的图像块作为当前图像块的步骤。
优选地，通过相位相关算法判断是否对所述当前图像块执行所述逆向搜索的步骤，包括：
通过所述相位相关算法计算所述当前图像块的第一相关峰；
判断所述第一相关峰是否满足预设条件；
若满足，则判定执行逆向搜索，若否，则判定不执行逆向搜索。
优选地，所述预设条件包括以下一种或多种：
所述第一相关峰的预设邻域外不存在第二相关峰，所述第二相关峰与所述第一相关峰的峰值之比大于预设比例阈值，所述预设比例阈值为0.5；或
所述第一相关峰对应的目标移动方向的位移量不大于预设的位移量阈值，所述预设位移量阈值为所述第一相关峰对应的水平方向与垂直方向的光流之比与所述图像块大小的乘积。
另一方面，本发明提供了一种光流估计装置，所述装置包括：
金字塔构建单元，用于对第一图像和第二图像进行降采样，分别构建图像金字塔；
当前层选择单元，用于按照从顶层图像到底层图像的顺序，从所述图像金字塔中选择一层未选择过的图像作为当前层图像；
分块处理单元，用于对当前层图像进行分块处理，得到多个图像块；
稀疏光流更新单元，用于基于所述图像块，通过执行逆向搜索对当前层图像的初始稀疏光流进行更新；
稀疏光流滤波单元，用于使用预设的滤波器对当前层图像更新后的稀疏光流进行平滑处理；
稠密光流获取单元，用于基于平滑处理后的稀疏光流获取当前层图像的稠密光流；以及
判断与输出单元，用于判断当前层图像是否为底层图像，若是，则将所述稠密光流作为所述第一图像和所述第二图像之间的最终光流，若否，则触发当前层选择单元执行按照从顶层图像到底层图像的顺序，从所述图像金字塔中选择一层未选择过的图像作为当前层图像的步骤。
另一方面，本发明还提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述方法的步骤。
另一方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述方法的步骤。
本发明对第一图像和第二图像进行降采样，分别构建图像金字塔，按照从顶层图像到底层图像的顺序，从图像金字塔中选择一层未选择过的图像作为当前层图像，通过执行逆向搜索对当前层图像的初始稀疏光流进行更新，使用预设的滤波器对当前层图像更新后的稀疏光流进行平滑处理，基于平滑处理后的稀疏光流获取当前层图像的稠密光流，判断当前层图像是否为底层图像，若是，则将稠密光流作为最终光流并输出，若否，则继续对下一层图像进行光流估计，从而提高了光流估计的准确性。
附图说明
图1A是本发明实施例一提供的光流估计方法的实现流程图；
图1B是本发明实施例一提供的光流估计方法的实现流程图；
图1C是本发明实施例一提供的图像块及对应相关峰的示例图；
图1D是本发明实施例一提供的两种不同光流图像的示例图；
图1E是本发明实施例一提供的使用不同光流估计映射的图片示例图；
图2是本发明实施例二提供的光流估计装置的结构示意图；以及
图3是本发明实施例三提供的电子设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
以下结合具体实施例对本发明的具体实现进行详细描述：
实施例一：
图1A示出了本发明实施例一提供的光流估计方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：
在步骤S101中，对第一图像和第二图像进行降采样，分别构建图像金字塔。
在本发明实施例中，一幅图像的图像金字塔是一系列以金字塔形状排列的分辨率逐步降低的图像集合。图像金字塔的底部是图像的高分辨率表示，而顶部是图像的低分辨率的表示，当从图像金字塔的底层向图像金字塔的顶层移动时，图像的尺寸和分辨率降低。本实施例中用第一图像表示参考图像，用第二图像表示待配准图像或称浮动图像。在构建第一图像和第二图像的图像金字塔时，可通过设定图像采样因子和最低分辨率阈值，自动获得金字塔的层数，之后可将第一图像和第二图像分别作为图像金字塔的原始图像，然后采用双线性插值等方式分别对第一图像和第二图像进行降采样，直至满足预设的最低分辨率阈值，即可得到第一图像的图像金字塔(第一图像金字塔)和第二图像的图像金字塔(第二图像金字塔)，若图像金字塔的层数用N表示，则图像金字塔从顶层到底层的图像层的序号可依次表示为L1、L2……LN。
在步骤S102中，按照从顶层图像到底层图像的顺序，从图像金字塔中选择一层未选择过的图像作为当前层图像。
在本发明实施例中，按照从顶层图像到底层图像的顺序选择一层图像作为当前层图像，该当前层图像包括第一图像金字塔对应层的图像，以及第二图像金字塔对应层的图像。
在步骤S103中，对当前层图像进行分块处理，得到多个图像块。
在步骤S104中，通过执行逆向搜索对当前层图像的初始稀疏光流进行更新。
在本发明实施例中，若当前层图像为顶层图像，则初始化每个图像块的稀疏光流，若当前层图像不是顶层图像，则直接将前一层图像的输出光流作为当前层图像的初始稀疏光流，根据第一图像金字塔当前层图像的图像块与第二图像金字塔相应图像块，通过执行逆向搜索更新当前层图像的稀疏光流。逆向搜索实现方式如下：
若光流求解目标函数为：
Figure BDA0003402562100000061
Figure BDA0003402562100000062
其中，I为待配准图像，即上述的第二图像，T为参考图像，即上述的第一图像，x＝(x,y)为像素x的坐标，u＝(u,v)为光流，W(x；u)＝x+u；
传统光流估计每次迭代需要求解：
Figure BDA0003402562100000063
即对I作Δu′的移动，进行搜索。
根据高斯牛顿法(Gauss-Newton gradient descent minimization)，Δu可求得最小二乘近似解为：
Figure BDA0003402562100000064
其中：
Figure BDA0003402562100000065
H为Hessian矩阵：
Figure BDA0003402562100000066
可以看出S依赖于图像I在位置u处的梯度，每次迭代对I做出移动后，必须重新计算H和S。
逆向搜索转换了I和T的角色，I和T的角色互换后，需求解的函数变为了以下形式：
Figure BDA0003402562100000071
Δu解为：
Figure BDA0003402562100000072
其中：
Figure BDA0003402562100000073
Figure BDA0003402562100000074
由于T与u无关，因此此时S′不再随u的变化而改变，每次迭代对I做出移动后，无需重新计算H′和S′，提升算法速度。
优选地，如图1B所示，通过执行逆向搜索对当前层图像的初始稀疏光流进行更新的步骤包括：
在步骤S1041中，选择一个当前层图像中未遍历过的图像块作为当前图像块；
在步骤S1042中，通过相位相关算法判断是否对当前图像块执行逆向搜索，若执行逆向搜索，则执行步骤S1043，若不执行逆向搜索，则不更新当前图像块的稀疏光流，并跳转至步骤S1044；
在步骤S1043中，基于逆向搜索结果对当前图像块的稀疏光流进行更新；
在步骤S1044中，判断是否完成对当前层图像中所有图像块的遍历，若已完成遍历，则执行步骤S104，若未完成遍历，则跳转至步骤S1041。
具体地，若已完成对当前层图像中所有图像块的遍历，则表明当前层图像的稀疏光流更新完成，此时执行步骤S104，若未完成对当前层图像中所有图像块的遍历，则表明当前层图像的稀疏光流并未完成更新，此时跳转至步骤S1041，直至当前层图像中所有的图像块完成遍历，从而通过相位相关算法抑制了由于对平移关系不强的图像块执行逆向搜索所产生或加重的错误光流。其中上述的相位相关算法也称PC(Phase Correlation)算法。
在通过相位相关算法计算当前图像块的第一相关峰时，优选地，判断第一相关峰是否满足预设条件，若满足，则判定执行逆向搜索，若不满足，则判定不执行逆向搜索，从而将计算出的相关峰的峰值作为是否执行逆向搜索的判断依据，实现了对图像块间平移关系的获取，进而有效抑制了错误光流。具体实现中，若两个图像块出现纹理不明显或模糊、拍摄原因导致两图清晰度不同、前面的错误导致即将参与匹配的图像块重叠部分不足，则相关峰将消失或变得不明显，如果图像块之间的相关峰足够明显，则认为它们通过逆向搜索可以得到一个比较正确的位移量，如果图像块之间的相关峰不明显，或存在不止一个相关峰，则认为它们的平移关系不强，即使进行逆向搜索匹配，也会收敛到一个错误的结果，即会产生或加重错误光流。如图1C所示，第一行左、中图为需执行逆向搜索的图像块，右图为二者的相关峰，第二行左、中图为需跳过的图像块，右图为二者的相关峰，由图可知，第一行右图的相关峰较为明显。
优选地，预设条件包括第一相关峰的预设邻域外不存在第二相关峰，第二相关峰与第一相关峰的峰值之比大于预设比例阈值，从而通过将该相关峰是否明显作为是否执行逆向搜索的判决依据，实现了图像块间平移关系的获取方式。进一步优选地，预设比例阈值为0.5，以通过实验数据确定该比例阈值，提高了获取到的图像块间平移关系的准确性。具体地，预设邻域可以根据实际情况设置，例如预设邻域大小为3×3。
又一优选地，预设条件包括第一相关峰对应的目标移动方向的位移量不大于预设的位移量阈值，从而通过将该相关峰的位移量作为是否执行逆向搜索的判决依据，进一步丰富了图像块间平移关系的获取方式。其中，目标移动方向为第一相关峰对应的水平方向与垂直方向中位移量较小的移动方向，即若第一相关峰对应的水平方向的位移量小于垂直方向的位移量，则将水平方向作为目标移动方向，否则，将垂直方向作为目标移动方向。
进一步优选地，预设位移量阈值为第一相关峰对应的水平方向与垂直方向的光流之比与图像块大小的乘积，从而通过实验数据确定该位移量阈值，进一步提高了获取到的图像块间平移关系的准确性。具体实现中，可以将当前x、y方向光流之比与图像块块大小的乘积作为限制目标移动方向的阈值，若该相关峰对应地目标移动方向(例如，y方向)的位移量大于位移量阈值，则认为该方向不应出现这么大的位移，即计算错误，将此图像块排除，即不再对该图像块执行逆向搜索。
在步骤S105中，使用预设的滤波器对当前层图像更新后的稀疏光流进行平滑处理。
在本发明实施例中，在图像金字塔的每一层，对更新后的稀疏光流进行平滑处理，以消除图像中大片相似区域中的扰动。具体实现中，可以使用均值滤波器、中值滤波器或双边滤波器等实现上述平滑处理过程。优选地，该滤波器为快速双边滤波器，从而在提高平滑效果的同时，还提高了滤波效率。其中，上述的快速双边滤波器也称FBS滤波器(FastBilateral Space)，该滤波器是基于映射的双边滤波器，由于该快速双边滤波器可以在保留边缘的同时，将灰度接近的区域变得平滑，因此可以快速、有效地滤除图像中大片相似区域中的扰动。
考虑到金字塔每一层图片的尺寸不同，因此所得到的稀疏光流图像的尺寸也不同，优选地，每层图像使用的快速双边滤波器的窗口大小不同，以使快速双边滤波器在各层都能达到好的效果，并防止块状效应的发生。进一步优选地，快速双边滤波器的窗口大小为Mi×Mi，其中，
Figure BDA0003402562100000091
i∈[1,N]，N表示图像金字塔的总层数，Di表示图像金字塔的第i层图像的对角线长度，V1表示预设的第一预设值，V1表示预设的第二预设值，从而进一步提升了平滑处理的效果。使用快速双边滤波器滤波后的光流图像如图1D所示，图1D的左图为包含错误光流(未使用滤波器)的光流图像，图1D的右图为使用快速双边滤波后的光流图像。
更进一步优选地，第一预设值为16，第二预设值为12，以根据实际实验结果确定上述第一预设值和第二预设值，从而更进一步提升了平滑处理的效果。
在步骤S106中，基于平滑处理后的稀疏光流获取当前层图像的稠密光流。
在本发明实施例中，可基于平滑处理后的稀疏光流计算每个像素的稠密光流，再使用变分法优化该稠密光流，优化处理后的稠密光流即为该层的输出光流。
在步骤S107中，判断当前层图像是否为底层图像，若是，则执行步骤S108，若否，则跳转至步骤S102。
在本发明实施例中，在完成当前层图像的光流估计后，判断当前层图像是否为底层图像，若为底层图像，则表明光流估计完成，此时可将该光流作为最终光流估计结果，若不为底层图像，则表明光流估计未完成，此时，将当前层图像的输出光流输入至下一层图像，并采用步骤S103-S107描述的方法继续对下一层图像进行光流估计。
在步骤S108中，将稠密光流作为第一图像和第二图像之间的最终光流。
在本发明实施例中，在获取到最终光流之后，可将上述最终光流用于图像拼接和去噪等，由于上述方法有效抑制了错误光流，进而有效消除了重映射图像的扭曲，提升了图像拼接和去噪中的图像质量。
图1E为使用不同DIS光流重映射的图片，左图为仅使用DIS光流重映射的图片，右图为使用相位相关算法和快速双边滤波器的DIS光流重映射的图片，可以看出，在重复纹理区域(框线内部区域)的扭曲明显得到了抑制。
在本发明实施例中，对第一图像和第二图像进行降采样，分别构建图像金字塔，按照从顶层图像到底层图像的顺序，从图像金字塔中选择一层未选择过的图像作为当前层图像，通过执行逆向搜索对当前层图像的初始稀疏光流进行更新，使用预设的滤波器对当前层图像更新后的稀疏光流进行平滑处理，基于平滑处理后的稀疏光流获取当前层图像的稠密光流，判断当前层图像是否为底层图像，若是，则将稠密光流作为第一图像和第二图像之间的最终光流，若否，则继续对下一层图像进行光流估计，从而提高了光流估计的准确性。
实施例二：
图2示出了本发明实施例二提供的光流估计装置的结构，为了便于说明，仅示出了与本发明实施例相关的部分，其中包括：
金字塔构建单元21，用于对第一图像和第二图像进行降采样，分别构建图像金字塔；
当前层选择单元22，用于按照从顶层图像到底层图像的顺序，从图像金字塔中选择一层未选择过的图像作为当前层图像；
分块处理单元23，用于对当前层图像进行分块处理，得到多个图像块；
稀疏光流更新单元24，用于基于图像块，通过执行逆向搜索对当前层图像的初始稀疏光流进行更新；
稀疏光流滤波单元25，用于使用预设的滤波器对当前层图像更新后的稀疏光流进行平滑处理；
稠密光流获取单元26，用于基于平滑处理后的稀疏光流获取当前层图像的稠密光流；以及
判断与输出单元27，用于判断当前层图像是否为底层图像，若是，则将稠密光流作为第一图像和第二图像之间的最终光流，若否，则触发当前层选择单元执行按照从顶层图像到底层图像的顺序，从图像金字塔中选择一层未选择过的图像作为当前层图像的步骤。
优选地，稀疏光流更新单元包括：
图像块选择单元，用于选择一个当前层图像中未遍历过的图像块作为当前图像块；
逆向搜索判断单元，用于通过相位相关算法判断是否对当前图像块执行逆向搜索；
光流更新子单元，用于若执行逆向搜索，则基于逆向搜索结果对当前图像块的稀疏光流进行更新；以及
遍历判断单元，用于若不执行逆向搜索，则判断是否完成对当前层图像中所有图像块的遍历，若已完成遍历，则触发稀疏光流滤波单元25执行使用预设的滤波器对当前层图像更新后的稀疏光流进行平滑处理的步骤，若未完成遍历，则触发图像块选择单元执行选择一个当前层图像中未遍历过的图像块作为当前图像块的步骤。
优选地，逆向搜索判断单元包括：
相关峰计算单元，用于通过相位相关算法计算当前图像块的第一相关峰；
条件判断单元，用于判断第一相关峰是否满足预设条件，若满足预设条件，则判定执行逆向搜索，若否，则判定不执行逆向搜索。
在本发明实施例中，光流估计装置的各单元可由相应的硬件或软件单元实现，各单元可以为独立的软、硬件单元，也可以集成为一个软、硬件单元，在此不用以限制本发明。光流估计装置的各单元的具体实施方式可参考前述方法实施例的描述，在此不再赘述。
实施例三：
图3示出了本发明实施例三提供的电子设备的结构，为了便于说明，仅示出了与本发明实施例相关的部分。
本发明实施例的电子设备3包括处理器30、存储器31以及存储在存储器31中并可在处理器30上运行的计算机程序32。该处理器30执行计算机程序32时实现上述各方法实施例中的步骤，例如图1A所示的步骤S101至S108。或者，处理器30执行计算机程序32时实现上述各装置实施例中各单元的功能，例如图2所示单元21至27的功能。
在本发明实施例中，对第一图像和第二图像进行降采样，分别构建图像金字塔，按照从顶层图像到底层图像的顺序，从图像金字塔中选择一层未选择过的图像作为当前层图像，通过执行逆向搜索对当前层图像的初始稀疏光流进行更新，使用预设的滤波器对当前层图像更新后的稀疏光流进行平滑处理，基于平滑处理后的稀疏光流获取当前层图像的稠密光流，判断当前层图像是否为底层图像，若是，则将稠密光流作为第一图像和第二图像之间的最终光流，若否，则继续对下一层图像进行光流估计，从而提高了光流估计的准确性。
实施例四：
在本发明实施例中，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法实施例中的步骤，例如图1A所示的步骤S101至S108。或者，该计算机程序被处理器执行时实现上述各装置实施例中各单元的功能，例如图2所示单元21至27的功能。
在本发明实施例中，对第一图像和第二图像进行降采样，分别构建图像金字塔，按照从顶层图像到底层图像的顺序，从图像金字塔中选择一层未选择过的图像作为当前层图像，通过执行逆向搜索对当前层图像的初始稀疏光流进行更新，使用预设的滤波器对当前层图像更新后的稀疏光流进行平滑处理，基于平滑处理后的稀疏光流获取当前层图像的稠密光流，判断当前层图像是否为底层图像，若是，则将稠密光流作为第一图像和第二图像之间的最终光流，若否，则继续对下一层图像进行光流估计，从而提高了光流估计的准确性。
本发明实施例的计算机可读存储介质可以包括能够携带计算机程序代码的任何实体或装置、记录介质，例如，ROM/RAM、磁盘、光盘、闪存等存储器。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种光流估计方法，其特征在于，所述方法包括下述步骤：
对第一图像和第二图像进行降采样，分别构建图像金字塔；
按照从顶层图像到底层图像的顺序，从所述图像金字塔中选择一层未选择过的图像作为当前层图像；
对当前层图像进行分块处理，得到多个图像块；
基于所述图像块，通过执行逆向搜索对当前层图像的初始稀疏光流进行更新；
使用预设的滤波器对当前层图像更新后的稀疏光流进行平滑处理；
基于平滑处理后的稀疏光流获取当前层图像的稠密光流；
判断当前层图像是否为底层图像，若是，则将所述稠密光流作为所述第一图像和所述第二图像之间的最终光流，若否，则跳转至按照从顶层图像到底层图像的顺序，从所述图像金字塔中选择一层未选择过的图像作为当前层图像的步骤。
2.如权利要求1所述的方法，其特征在于，所述预设的滤波器为快速双边滤波器，每层图像使用的所述快速双边滤波器的窗口大小不同。
3.如权利要求2所述的方法，其特征在于，所述快速双边滤波器的窗口大小为Mi×Mi，其中，
Figure FDA0003402562090000011
N表示所述图像金字塔的总层数，Di表示所述图像金字塔的第i层图像的对角线长度，V1表示预设的第一预设值，V1表示预设的第二预设值。
4.如权利要求3所述的方法，其特征在于，所述第一预设值为16，所述第二预设值为12。
5.如权利要求1所述的方法，其特征在于，通过执行逆向搜索对当前层图像的初始稀疏光流进行更新的步骤，包括：
选择一个所述当前层图像中未遍历过的图像块作为当前图像块；
通过相位相关算法判断是否对所述当前图像块执行所述逆向搜索；
若执行所述逆向搜索，则基于逆向搜索结果对所述当前图像块的稀疏光流进行更新；
若不执行逆向搜索，则判断是否完成对所述当前层图像中所有图像块的遍历；
若已完成遍历，则跳转至使用预设的滤波器对当前层图像更新后的稀疏光流进行平滑处理的步骤，若未完成遍历，则跳转至选择一个所述当前层图像中未遍历过的图像块作为当前图像块的步骤。
6.如权利要求5所述的方法，其特征在于，所述通过相位相关算法判断是否对当前图像块执行所述逆向搜索的步骤，包括：
通过所述相位相关算法计算所述当前图像块的第一相关峰；
判断所述第一相关峰是否满足预设条件；
若满足，则判定执行逆向搜索，若不满足，则判定不执行逆向搜索。
7.如权利要求6所述的方法，其特征在于，所述预设条件包括以下一种或多种：
所述第一相关峰的预设邻域外不存在第二相关峰，所述第二相关峰与所述第一相关峰的峰值之比大于预设比例阈值，所述预设比例阈值为0.5；或
所述第一相关峰对应的目标移动方向的位移量不大于预设位移量阈值，所述预设位移量阈值为所述第一相关峰对应的水平方向与垂直方向的光流之比与所述图像块大小的乘积。
8.一种光流估计装置，其特征在于，所述装置包括：
金字塔构建单元，用于对第一图像和第二图像进行降采样，分别构建图像金字塔；
当前层选择单元，用于按照从顶层图像到底层图像的顺序，从所述图像金字塔中选择一层未选择过的图像作为当前层图像；
分块处理单元，用于对当前层图像进行分块处理，得到多个图像块；
稀疏光流更新单元，用于基于所述图像块，通过执行逆向搜索对当前层图像的初始稀疏光流进行更新；
稀疏光流滤波单元，用于使用预设的滤波器对当前层图像更新后的稀疏光流进行平滑处理；
稠密光流获取单元，用于基于平滑处理后的稀疏光流获取当前层图像的稠密光流；以及
判断与输出单元，用于判断当前层图像是否为底层图像，若是，则将所述稠密光流作为所述第一图像和所述第二图像之间的最终光流，若否，则触发当前层选择单元执行按照从顶层图像到底层图像的顺序，从所述图像金字塔中选择一层未选择过的图像作为当前层图像的步骤。
9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。
CN202111501045.3A 2021-12-09 2021-12-09 光流估计方法、装置、电子设备及存储介质 Pending CN116258750A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111501045.3A CN116258750A (zh) 2021-12-09 2021-12-09 光流估计方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111501045.3A CN116258750A (zh) 2021-12-09 2021-12-09 光流估计方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN116258750A true CN116258750A (zh) 2023-06-13

Family

ID=86679764

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111501045.3A Pending CN116258750A (zh) 2021-12-09 2021-12-09 光流估计方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116258750A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116523951A (zh) * 2023-07-03 2023-08-01 瀚博半导体(上海)有限公司 多层并行光流估计方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116523951A (zh) * 2023-07-03 2023-08-01 瀚博半导体(上海)有限公司 多层并行光流估计方法和装置
CN116523951B (zh) * 2023-07-03 2023-09-05 瀚博半导体(上海)有限公司 多层并行光流估计方法和装置

Similar Documents

Publication Publication Date Title
JP6085620B2 (ja) 超解像度処理のための方法、システム及び装置
US20090110285A1 (en) Apparatus and method for improving image resolution using fuzzy motion estimation
JP5107409B2 (ja) 動き領域の非線形スムージングを用いた動き検出方法およびフィルタリング方法
EP2023596A2 (en) Apparatus and program for producing as panoramic image
Bahy et al. Adaptive regularization-based super resolution reconstruction technique for multi-focus low-resolution images
CN103544681B (zh) 非均一运动模糊图像的恢复方法
JP5500163B2 (ja) 画像処理システム、画像処理方法および画像処理プログラム
JP5890547B2 (ja) 画像処理装置
CN105205788A (zh) 一种针对高通量基因测序图像的去噪方法
CN110428466B (zh) 一种非均匀性校正的方法和设备
CN103632356B (zh) 提高图像空间分辨率的方法及装置
CN116258750A (zh) 光流估计方法、装置、电子设备及存储介质
CN117333522A (zh) 一种基于Harris算法的多源影像配准方法及系统
JP5492223B2 (ja) 動きベクトル検出装置及び方法
CN115546047A (zh) 基于改进局部滤波算法的视频图像降噪方法、装置及介质
CN114119437A (zh) 一种基于gms的用于改善运动物体畸变的图像拼接方法
US9904988B2 (en) Image processing method and image processing program
CN112465723A (zh) 深度图像的修复方法、装置、电子设备和计算机存储介质
CN115588109B (zh) 一种图像模板匹配方法、装置、设备及应用
CN110660022A (zh) 一种基于曲面拟合的图像超分辨率重建方法
CN113506212B (zh) 一种改进的基于pocs的高光谱图像超分辨率重建方法
CN113962897B (zh) 基于序列遥感影像的调制传递函数补偿方法及装置
Mohan Adaptive super-resolution image reconstruction with lorentzian error norm
CN113822823A (zh) 气动光学效应图像空变模糊核的点近邻复原方法及系统
CN114881895B (zh) 一种基于帧间差异的红外图像条纹噪声处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination