CN116523951B - 多层并行光流估计方法和装置 - Google Patents

Abstract

本发明提供了一种多层并行光流估计方法和装置。其中，该方法在生成图像金字塔时由下而上地每层并行生成，在进行光流估计时由上而下地每层并行进行。并且在并行生成图像金字塔以及并行进行光流估计的过程中，对于时间轴上相互依赖的前后两层而言，前层只要准备好能够启动后层计算所需要的最小数据量的数据，则立即将该数据传递至后层，并启动后层的计算。本发明所提供的技术方案克服了现有技术中需要等待一层完全处理完毕才能开始后续处理的缺陷，只要最小量的数据量即可启动后续操作，从而显著降低了输出延迟。

Description

多层并行光流估计方法和装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种多层并行光流估计方法和装置。

背景技术

光流估计是图像处理领域重要的基础算法，在目标跟踪、视频处理等领域有着广泛的应用。为了提高大尺度场景下光流估计的精度，高精度光流算法均采用图像金字塔的方式逐层处理，即，首先将原始图像降采样为不同尺度的图像，并以多个不同尺度的图像组成图像金字塔，接着再利用光流估计装置从最小尺度的图像层（最上层）开始计算光流，计算完毕后将本层光流场放大为下一层的尺度，作为下层光流场计算的初始值，在下一层的尺度上进一步优化。

具体而言，现有技术中的光流估计实施方法如下：

（1）对于接收到的每一帧图像，从底层到顶层逐层开始生成图像金字塔，并且上层图像需要等待下层图像完全生成后才能开始生成，即上层图像的降采样级联在下层图像之后。然而，由于下层图像的尺寸比上层图像大得多，其降采样计算的时间也长。等待最上层图像生成完毕后，开始步骤（2）的计算。

（2）从上至下地逐层进行图块搜索和光流细化，当后一帧图像金字塔生成完毕后，光流装置会从后一帧图像金字塔向前一帧图像金字塔搜索待匹配图块的最优匹配，并且下层图像的搜索级联在上层图像之后。在自上而下的光流搜索过程中，由于下一层的搜索需要等上一层的搜索完毕后才能开始，故整体耗时较长。其中，上层图像因尺寸小故搜索耗时少，下层图像因尺寸大故搜索耗时久。

（3）最下层图像完成搜索后的结果为从该帧到前一帧的最终光流场，则输出。

由上述内容可知，现有技术中每一层图像金字塔是逐层生成的，即下一层图像生成后才开始上一层的生成，每一层的光流计算也是逐层顺序进行的，即上一层光流计算完毕后才开始下一层的计算。这导致最终输出的光流场延迟很高，这种光流估计方法在一些对延迟敏感的应用场景下，例如云游戏、自动驾驶，是不可接受的。

发明内容

鉴于此，本发明提供了一种多层并行光流估计方法和装置，以用于解决现有技术中的上述技术问题。

根据本发明的一个方面，提供了一种多层并行光流估计方法，其中该方法包括：

S0：生成图像金字塔，图像金字塔包括由下至上并行生成的多层图像；以及

在开始生成图像金字塔后，将图像金字塔的最高层至次底层中的每一层作为当前层，并行执行以下步骤：

S1：在当前层中生成的像素图块达到预设大小时，对当前层的像素图块进行光流估计，以得到当前层的像素图块的图块级光流；

S2：对当前层的像素图块的图块级光流进行光流稠密化处理以生成当前层的像素图块的像素级光流；

S3：在当前层相邻的下一层中生成的像素图块达到预设大小时，使用当前层的像素图块的像素级光流作为下一层像素的光流的初始值，对下一层的像素图块进行光流估计，以得到下一层像素图块的图块级光流；

S4：对下一层像素图块的图块级光流进行光流稠密化处理以生成下一层像素图块的像素级光流；

S5：重复执行步骤S1至S4，直至得到图像金字塔的最下层中所有像素图块的像素级光流。

根据本发明的另一个方面，提供了一种多层并行光流估计装置，其中该装置包括：

图像金字塔生成模块，被配置为生成图像金字塔，图像金字塔包括由下至上并行生成的多层图像；以及

在开始执行所述图像金字塔生成模块后，将所述图像金字塔中的每一层作为当前层，并行执行以下模块：

光流估计模块，被配置为当图像金字塔的当前层中生成的像素图块达到预设大小时，对当前层的像素图块进行光流估计，以得到当前层的像素图块的图块级光流；

稠密光流模块，被配置为对当前层的像素图块的图块级光流进行光流稠密化处理以生成当前层的像素图块的像素级光流；

光流控制模块，被配置为重复执行所述光流估计模块至所述稠密光流模块，直至得到图像金字塔的最下层中所有像素图块的像素级光流。

根据本发明的又一个方面，提供了一种电子设备，包括：一个或多个处理器以及存储器，其中，存储器用于存储可执行指令；一个或多个处理器被配置为经由可执行指令来实现上述的方法。

根据本发明的再另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，使处理器执行上述的方法。

从以上技术方案可以看出，本发明所提供的技术方案克服了现有技术中因需要等待一帧图像完全接收完毕才能开始后续处理而导致的高延迟缺陷，只要最小量的数据量即可触发后续操作，从而显著降低了输出延迟。

附图说明

附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明的技术方案，但并不构成对本发明技术方案的限制。

图1示出了本发明示例性实施例所提供的方法的流程图；

图2示出了本发明一个示例性实施例中双线性插值降采样的示意图；

图3示出了本发明一个示例性实施例中图像金字塔生成的示意图；

图4示出了本发明一个示例性实施例中图像金字塔生成的时序图；

图5示出了本发明另一个示例性实施例中图像金字塔生成的示意图；

图6 示出了本发明另一个示例性实施例中图像金字塔生成的时序图；

图7 示出了本发明示例性实施例所提供的装置的结构框图；

图8示出了本发明示例性实施例所提供的的电子设备的结构框图。

具体实施方式

下面将参照附图来详细描述本发明的各种示例性实施例。对示例性实施例的描述仅仅是说明性的，并不作为对本发明及其应用或使用的任何限制。本发明可以以许多不同的形式实现，不限于这里所述的实施例。提供这些实施例是为了使本发明透彻且完整，并且向本领域技术人员充分表达本发明的范围。

除非上下文另外明确地表明，如果未特意限定要素的数量，则该要素可以是一个也可以是多个。如本说明书使用的，术语“多个/若干”意指两个或更多，并且术语“基于”应解释为“至少部分地基于”。此外，术语“和/或”以及“……中的至少一个”涵盖所列出的项目中的任何一个以及全部可能的组合方式。

另外，本说明书中有涉及“第一”、“第二”、“第三”等的描述，该“第一”、“第二”、“第三”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。

根据本发明的一个方面，提供了一种多层并行光流估计方法，请参考图1，其示出了本发明示例性实施例所提供的方法的流程图。

图像金字塔由原始图像的多个不同分辨率的子图形成的层构成，这些子图分别通过对原始图像依次降采样而产生。图像金字塔的层数由输入图像的图像分辨率、最上层的图像分辨率以及层间的降采样缩放比例决定，在计算之前由用户确定。

本发明提供了一种多层并行光流估计方法，其中该方法包括：

S0：生成图像金字塔，图像金字塔包括由下至上并行生成的多层图像；以及

在开始生成图像金字塔后，将图像金字塔的最高层至次底层中的每一层作为当前层，并行执行以下步骤：

S1：在当前层中生成的像素图块达到预设大小时，对当前层的像素图块进行光流估计，以得到当前层的像素图块的图块级光流；

S2：对当前层的像素图块的图块级光流进行光流稠密化处理以生成当前层的像素图块的像素级光流；

S3：在当前层相邻的下一层中生成的像素图块达到预设大小时，使用当前层的像素图块的像素级光流作为下一层像素的光流的初始值，对下一层的像素图块进行光流估计，以得到下一层像素图块的图块级光流；

S4：对下一层像素图块的图块级光流进行光流稠密化处理以生成下一层像素图块的像素级光流；

S5：重复执行步骤S1至S4，直至得到图像金字塔的最下层中所有像素图块的像素级光流。

由上述步骤可知，本发明提供的方法对于接收到的每一帧图像，均从底层至顶层（可记作层0至层N）并行生成图像金字塔，以及从顶层至底层每层并行进行光流估计。其中，图像金字塔的底层（即层0）为接收到的原始图像帧，该原始图像帧作为输入图像。输入图像的像素按照预定顺序被接收，即从图像金字塔一层的左上角开始，先从左至右按行输入，行满后再转至下一行。在像素输入的过程中，一旦接收到的像素块达到预设数目（即在局部区域达到能够进行上层降采样计算的最小数量），则对接收的像素块进行降采样计算以获得缩放后的像素块。局部区域像素满足进行上层降采样计算的最小数量取决于生成图像金字塔时采用的缩放系数以及降采样的插值算法。本发明实施例中所采用的插值算法包括但不限于双线性差值、双三次插值等，用户可以根据实际需求灵活选择。

请一同参考图2至图4，其示出了本发明一个示例性实施例的示意图。在该示例性实施例中选用缩放系数为2以及双线性插值的降采样来生成图像金字塔。

在该示例性实施例中生成的图像金字塔共计4层，分别以层0至层3进行标识。

在缩放系数为2以及双线性插值的情况下，要求至少接收到2×2区域的像素才能组成一个像素块来计算插值后的像素。也就是说，此处的2×2区域的像素数目即为预设数目。由于像素输入是按行进行的，当只有一行输入像素时，无法组成2×2区域的像素块，因此降采样也不会开始。当出现第二行输入像素时，如果第二行刚好处于仅有1个输入像素的时刻，则也无法组成2×2区域的像素块，因此降采样同样也不会开始。只有当第二行的输入像素超过两个时才能够组成2×2区域的像素块，达到了预设数目，此时降采样开始。可以用该2×2区域中的4个像素进行双线性差值计算。并且，利用该2×2区域的像素块能够降采样计算得出上层1×1区域的像素。

本领域技术人员可以理解，缩放系数不同和/或插值算法不同，所要求的预设数目（输入的最小像素区域的大小和形状）也不相同，但本发明提供的这种一旦接收到预设数目的像素就开始降采样的方法对于其他不同的缩放系数和/或插值算法也可适用。

本发明提供的操作方法同时应用到金字塔中所有层的生成过程。即，当图像金字塔的某一层已有的像素块达到预设数目时，则会对接收的像素块进行降采样计算以获得缩放后的像素块，缩放后的像素块可用于生成与该某一层相邻的上一层的图像。例如，图像金字塔的底层接收到预设数目的像素后，会开始降采样计算以生成其上一层的像素，上一层拥有的像素达到预设数目后，也会开始降采样计算以生成再上一层的像素，以此类推。

因此整体上看来，图像金字塔每层的像素是同步并行生成的，上层无需等待下层完全生成后才开始。

图3示出了本发明一个示例性实施例中图像金字塔生成过程的示意图。如图3所示，每一层中颜色较浅的边条表示已经生成的像素，图像金字塔中所有层的生成过程在最短的间隔时间内均按图3中示出的箭头方向推进。

图4示出了对应于图3中图像金字塔每一层生成过程的时序图。其中，左侧圈中为图像1的金字塔生成时序，右侧圈中为图像2的金字塔生成时序。由该时序图可以看出，上层为下层的级联，一旦下层接收满足预设数目的像素，就会触发上层的降采样计算。可以理解的是，与上层相比，下层的尺寸更大且像素更多，因而生成下层所需要的总工作时间会更长，工作间隔也更小。上层的尺寸小且像素少，因而总工作时间短，工作间隔较大。

请一同参考图5至图6，其示出了本发明一个示例性实施例的示意图。

本发明所提供的方法中，图像金字塔的当前层以及与该当前层相邻的下一层之间并行地进行光流估计。以最顶层与次顶层为示例进行说明如下。

当图像金字塔最顶层生成的像素图块达到能够使得最顶层开始图块搜索所需要的最小量（即达到预设大小）时，则触发对于该最顶层像素图块的光流估计，以得到该最顶层像素图块的图块级光流。当最顶层已经生成的像素图块完成光流估计后，则判断是否达到满足进行稠密光流所需要的预设最小量图块。如果达到，则稠密化光流从而得到针对该部分已生成像素图块的像素级光流。如果未达到，则需要继续新的图块搜索以获得更多的图块级光流。已生成像素图块的像素级光流生成后，则会将该像素级光流传递给次顶层的图块，并且该像素级光流将作为次顶层进行光流估计的初始值。具体的操作是，获得下一层图块所覆盖的上一层像素的光流的平均值，以缩放系数等比放大光流平均值并将其作为下一层像素的光流的初始值，然后进行图块的光流估计。

以此类推，该操作方法同时应用到金字塔中所有层的图块搜索与光流估计。即，当当前层通过稠密化光流得到像素级光流后，则传递给其下一层以作为下一层进行光流估计的初始值，继而可以进行光流估计获得下一层某局部像素图块的像素级光流，当该下一层得出某局部像素图块的像素级光流后，也会立即将其传递给其下一层。因此整体而言，图像金字塔从上至下每层的光流估计在最短的间隔时间内是并行进行的。

光流搜索从图像1的最上层开始向图像0的最上层开始搜索。图像1最上层的每一个图块，按照行方向从左向右，列方向从上至下的顺序开始遍历。遍历的每一个图块，都通过例如但不限于LK搜索算法或DIS搜索算法搜索图像0最上层中与之最匹配的图块。从图像0中图块的位置到图像1中与之最匹配的图块的位置的位移，即为该图块的光流向量。

以下将结合一个示例性实施例对S1-S2步骤的操作过程进行详细说明。

A. 生成图像金字塔

光流装置流式接收图像0，并生成图像金字塔，具体步骤为：

a) 用户指定降采样缩放系数R、金字塔的层数N以及所采用的插值算法，然后根据差值算法得出进行降采样计算所需要接收的最小图块大小，记为K×K；

b) 光流装置逐行接收原始图像的像素，原始图像为金字塔的底层（即图5右侧图像0中的层0），当接收至第K行、第K列的像素时，则获取该像素向左上方向的K×K区域并执行插值算法进行采样，接着继续接收新的像素，每当接收到的新像素能够形成一个新的K×K区域的降采样图块时，则对新的K×K图块执行降采样计算，降采样得到的像素流式输出到层1；

c) 对于层1也采取前述第b）步中同样的方法进行操作，即当层1接收至第K行、第K列的像素时，则获取该像素向左上方向的K×K区域并执行插值算法进行采样，接着继续从L0接收新的降采样后的像素，每当接收到的新像素能够形成一个新的K×K区域的降采样图块时，则对新的K×K图块执行降采样计算，降采样得到的像素流式输出到层2；

d) 以此类推，采取前述第b）步中同样的方法由下至上地对图像金字塔的每一层进行操作，直至应用到图像金字塔的最顶层，即L(N-1)层；

e) 如果图像0为接收到的第一张图像，则图像0的图像金字塔生成完毕后，光流装置将等待接收图像1，即第二张图像；如果在图像0之前，已经接收到图像，则在图像0生成金字塔的过程中，则同步开始光流计算。

B. 光流计算

光流装置计算当前图像相对于其前一帧图像的光流，具体步骤为：

a. 用户指定用于图块搜索的图块大小M×M和步长S；

b. 当金字塔的最顶层L(N-1)接收到的像素达到第M行、第M列时，取得该像素左上方向的M×M区域，以获得待匹配图块，使用匹配算法（例如但不限于LK（Lucas Kanade）算法、DIS（Dense Inverse Search）算法、HS（Horn Schunck）算法以及Farneback算法）在前一帧图像的图像金字塔的相同层上进行搜索，找到与待匹配图块最匹配的图块，从待匹配图块到最匹配图块在图像中的位移，记为待匹配图块的光流向量，并获取像素的光流向量（如果步长S小于M，则图块之间会有重叠，每一个像素将所有覆盖该像素的图块位移向量取加权平均，即为该像素的光流向量，如果步长S等于或大于M，则所有像素的位移向量等于该图块的光流向量）；

c. 每当最顶层L(N-1)接收到的来自下一层的新像素能够构成一个新的待匹配图块时，则针对新的待匹配图块执行图块搜索，找到最匹配的图块，获得该新的待匹配图块的光流向量以及像素的光流向量；

d. 采用与生成图像金字塔过程中同样的缩放系数对像素的光流向量上采样，并将得到的光流向量流式输出到下一层，即层L(N-2)，并将该光流向量作为下一层图块进行最优匹配寻找的位移初始值；

e. 以此类推，由上而下地对图像金字塔的每一层采用上述b~d中同样的方法，直至最下层，即层L0，层L0输出的像素级光流即为最终的光流估计结果。

C. 光流输出

光流装置根据用户的稠密度需求，对层L0像素级光流进行上采样或降采样以得到用户所需的光流密度，并输出给用户。

请参考图7，其示出了本发明示例性实施例所提供的装置的结构框图。

根据本发明的另一个方面，提供了一种多层并行光流估计装置，其中，该装置包括以下模块：

图像金字塔生成模块，被配置为生成图像金字塔，图像金字塔包括由下至上并行生成的多层图像；以及

在开始执行图像金字塔生成模块后，将图像金字塔中的每一层作为当前层，并行执行以下模块：

光流估计模块，被配置为在当前层中生成的像素图块达到预设大小时，对当前层的像素图块进行光流估计，以得到当前层的像素图块的图块级光流；

稠密光流模块，被配置为对当前层的像素图块的图块级光流进行光流稠密化处理以生成当前层的像素图块的像素级光流；

光流控制模块，被配置为重复并行执行光流估计模块至稠密光流模块，直至得到图像金字塔的最下层中所有像素图块的像素级光流。

其中，图像金字塔生成模块包括接收模块、降采样模块以及金字塔控制模块，前述模块执行以下操作：

接收模块，被配置为按照预定顺序接收输入图像帧的像素，并且输入图像帧为图像金字塔的最下层；

以及图像金字塔生成模块在开始执行接收模块后继续执行以下模块：

降采样模块，被配置为当图像金字塔的某一层已有的像素块达到预设数目时，则对接收的已有的像素块进行降采样计算以获得缩放后的像素块，用于生成与该某一层相邻的上一层图像；

金字塔控制模块，被配置为重复并行执行降采样模块，直至图像金字塔的每一层均生成完整图像。

在一个优选实施例中，降采样模块还包括第一监视器与第一运算器，第一监视器监视对当前图像帧进行降采样的过程，并且若监视到接收到的像素在局部区域达到能够得出与该某一层相邻的上一层对应区域的最小数量，则立即启动第一运算器开始降采样计算。

在一个优选实施例中，光流估计模块还包括第二监视器与第二运算器，其中第二监视器监视图像金字塔降采样生成像素的过程，当监视到生成的像素图块达到预设大小时，则启动第二计算器开始图块搜索与光流估计。

在一个优选实施例中，本发明所提供的多层并行光流估计装置还包括存储模块，用于存储生成的图像金字塔以及光流估计的初始值和估计结果。

应当理解，图7中所示的装置的各个模块可以与本说明书前文描述的方法中的步骤相对应。由此，上面针对方法描述的操作、特征和优点同样适用于该装置及其包括的模块。为了简洁起见，某些操作、特征和优点在此不再赘述。

虽然上面参考特定模块讨论了特定功能，但是应当注意，本发明技术方案中各个模块的功能也可以分为多个模块进行实现，和/或多个模块的至少一些功能可以组合成单个模块进行实现。本发明技术方案中特定模块执行动作的方式包括，该特定模块本身执行动作，或者由该特定模块调用或以其他方式访问执行动作（或结合该特定模块一起执行动作）。因此，执行动作的特定模块可以包括执行动作的该特定模块本身和/或该特定模块调用或以其他方式访问的、执行动作的另一模块。

除上述技术方案外，本发明还提供了一种电子设备，该电子设备包括一个或多个处理器以及用于存储可执行指令存储器。其中，该一个或多个处理器被配置为经由可执行指令来实现上述方法。

本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，使得处理器执行上述方法。

在本说明书的以下部分，将结合图8来描述前述电子设备、非暂态计算机可读存储介质和计算机程序产品的说明性示例。

图8示出了可以被用来实施本发明所描述的方法的电子设备300的示例配置。本发明技术方案所提供的神经网络切分系统也可以全部或至少部分地由电子设备300或类似设备或系统实现。

电子设备300可以是各种不同类型的设备。电子设备300的示例包括但不限于：台式计算机、服务器计算机、笔记本电脑或上网本计算机、移动设备、可穿戴设备、娱乐设备、电视或其他显示设备、汽车计算机、专用芯片等。

电子设备300可以包括能够诸如通过系统总线311或其他适当的连接彼此通信的至少一个处理器302、存储器304、（多个）通信接口309、显示设备301、其他输入/输出（I/O）设备310以及一个或更多大容量存储设备303。

处理器302可以是单个处理单元或多个处理单元，所有处理单元可以包括单个或多个计算单元或者多个核心。处理器302可以被实施成一个或更多微处理器、微型计算机、微控制器、数字信号处理器、中央处理单元、状态机、逻辑电路和/或基于操作指令来操纵信号的任何设备。除其他能力外，处理器302可以被配置成获取并且执行存储在存储器304、大容量存储设备303或其他计算机可读介质中的计算机可读指令。

存储器304和大容量存储设备303是用于存储指令的计算机可读存储介质的示例，指令由处理器302执行来实施前面所描述的各种功能。举例来说，存储器304一般可以包括易失性存储器和非易失性存储器（例如RAM、ROM等）。此外，大容量存储设备303一般可以包括硬盘驱动器、固态驱动器、可移除介质、包括外部和可移除驱动器、存储器卡、闪存、软盘、光盘、存储阵列、网络附属存储、存储区域网等。存储器304和大容量存储设备303在本发明中都可以被统称为存储器或计算机可读存储介质，并且可以是能够把计算机可读、处理器可执行程序指令存储为计算机程序代码的非暂态介质，计算机程序代码可以由处理器302作为被配置成实施在本发明的示例中所描述的操作和功能的特定机器来执行。

多个程序可以存储在大容量存储设备303上。这些程序包括操作系统305、一个或多个应用程序306、其他程序307和程序数据308，并且它们可以被加载到存储器304以供执行。这样的应用程序或程序模块的示例可以包括例如用于实现以下部件/功能的计算机程序逻辑（例如，计算机程序代码或指令）：本申请所提供的方法（包括该方法的任何合适的步骤）和/或本申请描述的另外的实施例。

虽然在图8中被图示成存储在电子设备300的存储器304中，但是各个模块或者其部分可以使用可由电子设备300访问的任何形式的计算机可读介质来实施。在此，计算机可读介质可以是可供计算机访问的任意可用的计算机可读存储介质或通信介质。

作为示例性说明，计算机可读存储介质可包括以用于存储例如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动的介质。例如，计算机可读存储介质包括但不限于，易失性存储器，例如随机存储器（RAM、DRAM、SRAM）；以及非易失性存储器，例如闪存、各种只读存储器（ROM、PROM、EPROM、EEPROM）、磁性和铁磁/铁电存储器（MRAM、FeRAM）；以及磁性和光学存储设备（硬盘、磁带、CD、DVD）；或其它已知的介质或今后开发的能够存储供计算机系统使用的计算机可读信息/数据。

一个或多个通信接口309用于诸如通过网络、直接连接等与其他设备交换数据。这样的通信接口可以是以下各项中的一个或多个：任何类型的网络接口（例如，网络接口卡（NIC））、有线或无线（诸如IEEE 802.11无线LAN（WLAN））无线接口、全球微波接入互操作（Wi-MAX）接口、以太网接口、通用串行总线（USB）接口、蜂窝网络接口、Bluetooth接口、近场通信（NFC）接口等。通信接口309可以促进在多种网络和协议类型内的通信，其中包括有线网络（例如LAN、电缆等）和无线网络（例如WLAN、蜂窝、卫星等）、因特网等。通信接口309还可以提供与诸如存储阵列、网络附属存储、存储区域网等中的外部存储设备（图中未示出）的通信。

在一些示例中，可以包括诸如监视器之类的显示设备301，以用于向用户显示信息和图像。其他I/O设备310可以是接收来自用户的各种输入并且向用户提供各种输出的设备，并且可以包括触摸输入设备、手势输入设备、摄影机、键盘、遥控器、鼠标、打印机、音频输入/输出设备等。

本发明描述的技术方案可以由电子设备300的这些各种配置来支持，并且不限于本发明所描述的技术方案的具体示例。

虽然在附图和前面的描述中已经详细地说明和描述了本发明，但是这样的说明和描述应当被认为是说明性的和示意性的，而非限制性的；对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。

因此，本发明所要求保护的范围由权利要求而非上述说明限定，落在权利要求的等同要件的含义和范围内的所有变化均涵盖在本发明的保护范围内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (10)

1.一种多层并行光流估计方法，其特征在于，所述方法包括：

S0：生成图像金字塔，所述图像金字塔包括由下至上并行生成的多层图像；以及

在开始生成所述图像金字塔后，将所述图像金字塔的最高层至次底层中的每一层作为当前层，并行执行以下步骤：

S1：在当前层中生成的像素图块达到预设大小时，对当前层的像素图块进行光流估计，以得到当前层的像素图块的图块级光流；

S2：对当前层的像素图块的图块级光流进行光流稠密化处理以生成当前层的像素图块的像素级光流；

S3：在当前层相邻的下一层中生成的像素图块达到预设大小时，使用当前层的像素图块的像素级光流作为下一层像素的光流的初始值，对下一层的像素图块进行光流估计，以得到下一层像素图块的图块级光流；

S4：对所述下一层像素图块的图块级光流进行光流稠密化处理以生成下一层像素图块的像素级光流；

S5：重复执行步骤S1至S4，直至得到所述图像金字塔的最下层中所有像素图块的像素级光流，

其中，所述生成图像金字塔包括：

按照预定顺序接收输入图像帧的像素，并且所述输入图像帧为所述图像金字塔的最下层，在开始接收输入图像帧的像素后执行以下步骤：

当所述图像金字塔的某一层已有的像素块达到预设数目时，则对所述已有的像素块进行降采样计算以获得缩放后的像素块，用于生成所述某一层相邻的上一层的图像；

重复并行执行以上步骤，直至所述图像金字塔的每一层均生成完整图像。

2.根据权利要求1所述的方法，其特征在于，所述光流稠密化处理包括：

对于已完成光流估计的像素图块，判断其是否达到预设最小量图块，若达到，则稠密化光流以生成像素级光流，若未达到，则继续进行光流估计以得到更多的图块级光流，并在达到所述预设最小量图块后稠密光流。

3.根据权利要求1所述的方法，其特征在于，像素块的预设数目取决于生成所述图像金字塔时采用的缩放系数以及插值算法。

4.根据权利要求3所述的方法，其特征在于，S3还包括：

获得与所述当前层相邻的下一层的图块所覆盖的所述当前层的像素的光流平均值，以所述缩放系数等比放大所述光流平均值并将其作为所述下一层像素的光流的初始值。

5.根据权利要求1所述的方法，其特征在于，所述光流估计还包括图块搜索，所述图块搜索执行如下：

当生成的像素图块达到预设大小时，则将所述像素图块作为待匹配图块，并使用匹配算法在所述输入图像帧的前一帧图像的图像金字塔的相同层上进行搜索，以得出与所述待匹配图块最匹配的图块，并获取所述待匹配图块与所述最匹配的图块之间的位移量，作为所述待匹配图块的光流向量，并进一步获取所述待匹配图块中像素的光流向量。

6.根据权利要求5所述的方法，其特征在于，所述匹配算法包括LK算法、DIS算法、HS算法以及Farneback算法。

7.根据权利要求5所述的方法，其特征在于，所述像素图块的预设大小和所述图块搜索的搜索步长由用户设定。

8.根据权利要求7所述的方法，其特征在于，所述待匹配图块中像素的光流向量计算方式如下：

如果步长小于所述预设大小，则图块与图块之间会存在重叠区域，此时对于每一个被覆盖的像素，将所有被覆盖像素所属像素图块的位移向量取加权平均值，作为所述被覆盖像素的光流向量，如果步长等于或大于所述预设大小，则所有像素的光流向量等于所述像素图块的位移向量。

9.一种电子设备，其特征在于，所述电子设备包括：

一个或多个处理器；

存储器，其用于存储可执行指令；

所述一个或多个处理器被配置为经由所述可执行指令来实现权利要求1至8中任一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，使所述处理器执行权利要求1至8中任一项所述的方法。