CN104331890B - 一种全局视差估计方法和系统 - Google Patents
一种全局视差估计方法和系统 Download PDFInfo
- Publication number
- CN104331890B CN104331890B CN201410604083.5A CN201410604083A CN104331890B CN 104331890 B CN104331890 B CN 104331890B CN 201410604083 A CN201410604083 A CN 201410604083A CN 104331890 B CN104331890 B CN 104331890B
- Authority
- CN
- China
- Prior art keywords
- image
- points
- point
- matching
- blocks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000004364 calculation method Methods 0.000 claims description 36
- 239000003086 colorant Substances 0.000 claims description 25
- 238000004422 calculation algorithm Methods 0.000 claims description 16
- 230000000903 blocking effect Effects 0.000 claims description 15
- 238000012216 screening Methods 0.000 claims description 14
- 238000000638 solvent extraction Methods 0.000 claims description 9
- 238000003709 image segmentation Methods 0.000 claims 1
- 238000004040 coloring Methods 0.000 abstract 1
- 238000005070 sampling Methods 0.000 description 21
- 230000006870 function Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 4
- 239000012634 fragment Substances 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 208000006440 Open Bite Diseases 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
一种全局视差估计方法和系统，在进行图像分块时，将原始图像划分为若干个图像块后，先根据颜色对图像块进行合并，再根据视差对图像块进行合并，不仅利用了颜色信息进行分块，还引入了视差信息，因此，能够更好地保证最终视差计算的准确度。
Description
技术领域
本申请涉及立体匹配图像处理领域，具体涉及一种全局视差估计方法和系统。
背景技术
在传统视频系统中，用户只能被动的观看由摄像机拍摄到的画面，无法从其他视角观看不同视点的画面，而多视角视频(Multi-View Video)则允许用户从多个视点进行观看，增强了交互性及3D感官效果，在立体电视、视频会议、自动导航、虚拟现实等领域有广泛的应用前景。然而，更强的交互性及感官效果也同时增加了视频的数据量，对视频的存储及传输等增加了负担，如何解决此类问题已成为目前的研究热点。
立体匹配，也称视差估计，是根据前端摄像机获取的多目图像数据(一般为双目)，估计出对应图像中的像素点间的几何关系。利用视差估计，可以由一个视点的信息及其深度(视差)信息得到对应视点的信息，从而减少了原始数据量，为多目视频的传输及存储提供了便利。
根据具体实现细节的不同，立体匹配方法可以大致分为局部立体匹配算法和全局立体匹配算法(可参见Scharstein D,Szeliski R.Ataxonomy and evaluation of densetwo-frame stereo correspondence algorithms[J].International journal ofcomputervision,2002,47(1-3):7-42.)。局部立体匹配算法准确性不高，但速度较快，不利于实际应用；全局立体匹配算法是基于对全局的能量函数最优化得到视差结果，其准确性较高，但速度较慢，不过，已有一些改进的全局立体匹配算法产生了与局部立体匹配算法相当的速度，如快速置信传播算法(可参见Pedro F.Felzenszwalb,DanielP.Huttenlocher.Efficient BeliefPropagation for Early Vision.InternationalJournal of Computer Vision October 2006,Volume 70,Issue 1,pp 41-54)。
综合上述叙述可知，立体匹配作为多视角视频中的重要环节，已受到广泛关注，并有大量的立体匹配算法涌现。然而，立体匹配尚存在很多问题，特别是正确性和稳定性，需要进一步提高。
发明内容
根据本申请的第一方面，本申请提供了一种全局视差估计方法，包括：
读入原始图像，所述原始图像包括第一视点图像和第二视点图像，第一视点图像为从第一视点获取的目标的图像，第二视点图像为从第二视点获取的目标的图像；
计算第一视点图像中像素点的第一匹配空间和第二匹配空间；
计算第一匹配空间内所有点的匹配代价之和，计算第二匹配空间内所有点的匹配代价之和；
根据第一匹配空间内所有点的匹配代价之和和第二匹配空间内所有点的匹配代价之和计算初始视差，并筛选得到可靠点；
将原始图像划分为若干个图像块；
根据颜色对图像块进行合并：将像素点数量小于预设值的图像块与其相邻图像块中颜色最接近的图像块合并；和/或，判断到两个相邻图像块颜色接近，且两个图像块像素点数量之和小于预设值时，将两个图像块合并；
根据视差对图像块进行合并：将可靠点数量小于预设值的图像块与其相邻图像块中颜色最接近的图像块合并，所述可靠点为根据原始图像中各像素点的初始视差筛选得到的；和/或，判断相邻两个图像块的视差变化是否平滑，如果是，则将两个图像块合并；
基于所述图像块，并根据所述可靠点的初始视差计算第一视点图像和第二视点图像内每个像素点的最终视差。
根据本申请的第二方面，本申请提供了一种全局视差估计系统，包括：
图像读入模块，用于读入原始图像，所述原始图像包括第一视点图像和第二视点图像，第一视点图像为从第一视点获取的目标的图像，第二视点图像为从第二视点获取的目标的图像；
匹配空间计算模块，用于计算得到像素点的第一匹配空间和第二匹配空间；
匹配代价计算模块，用于计算第一匹配空间内所有点的匹配代价之和，和计算第二匹配空间内所有点的匹配代价之和；
初始视差计算模块，用于根据第一匹配空间内所有点的匹配代价之和和第二匹配空间内所有点的匹配代价之和计算初始视差，并筛选得到可靠点；
图像分块模块，用于将原始图像划分为若干个图像块；
根据颜色对图像块进行合并：将像素点数量小于预设值的图像块与其相邻图像块中颜色最接近的图像块合并；和/或，判断到两个相邻图像块颜色接近，且两个图像块像素点数量之和小于预设值时，将两个图像块合并；
根据视差对图像块进行合并：将可靠点数量小于预设值的图像块与其相邻图像块中颜色最接近的图像块合并，所述可靠点为根据原始图像中各像素点的初始视差筛选得到的；和/或，判断相邻两个图像块的视差变化是否平滑，如果是，则将两个图像块合并；
最终视差计算模块，用于基于所述图像块，计算第一视点图像和第二视点图像内每个像素点的最终视差。
本申请提供的全局视差估计方法、系统及其图像分块方法中，在进行图像分块时，将原始图像划分为若干个图像块后，先根据颜色对图像块进行合并，再根据视差对图像块进行合并，不仅利用了颜色信息进行分块，还引入了视差信息，因此，能够更好地保证最终视差计算的准确度。
附图说明
图1为本申请一种实施例中全局视差估计方法的流程示意图；
图2为本申请一种实施例匹配空间计算方法中选取采样点的示意图；
图3为本申请一种实施例匹配空间计算方法中第一匹配空间的计算示意图；
图4为本申请一种实施例中全局视差估计系统的模块示意图；
图5为采用本申请实施例提供的全局视差估计方法在Middlebury测试平台上的测试结果。
具体实施方式
下面通过具体实施方式结合附图对本申请作进一步详细说明。
请参考图1，本实施例提供了一种全局视差估计方法，包括下面步骤：
S00：读入第一视点图像和第二视点图像，第一视点图像为从第一视点获取的目标的图像，第二视点图像为从第二视点获取的目标的图像。为了便于对本申请进行说明，以第一视点图像为左视点图像(下面简称左图)，第二视点图像为右视点图像(下面简称右图)为例进行说明。左图和右图可以是通过双目摄像机拍摄得到的双目序列中的图像，或者是单目摄像机在一定水平位移下拍摄得到的两幅图像。通常，左图和右图均为彩色图像，在某些实施例中，也可以是非彩色图像。
在某些实施例中，读入的左图和右图为已经过极线校正的图像，即两幅图像的极线是水平平行的，以便于后续进行匹配代价计算，若输入的两幅图像未经过极线校正，则还需要先对左图和右图进行极线校正。
S10：计算初始视差，并筛选得到可靠点。
在计算初始视差时，首先需要计算图像中像素点的匹配空间，本实施例中，匹配空间包括第一匹配空间和第二匹配空间，其计算方法如下：
根据预设规则选取采样点。首先在左图空间内选取采样点e，具体的，每个采样点离其上、下、左、右四个相邻采样点的距离为一预设距离d，所有采样点形成网格状，如图2所示。在其他实施例中，采样点的选取也可以采用其他约定方式，即用于选择采样点的预设规则可以根据实际需求制定。
根据约束条件计算第一匹配空间和第二匹配空间，其中，约束条件包括线性约束条件和基于采样点的空间约束条件，线性约束条件为当前像素点与搜索点之间在颜色上的欧氏距离的约束，空间约束条件为搜索点与采样点之间在颜色上的欧氏距离的约束。
对于左图中的某一点p，从其分别向X轴(第一轴线)两个方向和Y轴(第二轴线)两个方向根据颜色差延生出一段距离，用于匹配空间的计算。
在左图上依次选取像素点作为当前像素点p，以点p为原点，沿X轴正方向和负方向，以逐个像素点作为搜索点进行搜索，直到搜索到不满足预设的约束条件的点时停止，并将搜索到的满足约束条件的所有点作为第一匹配点；分别以各个第一匹配点为原点，沿Y轴正方向和负方向，以逐个像素点作为搜索点进行搜索，直到搜索到不满足预设的约束条件的点时停止，并将搜索到的满足约束条件的所有点作为第二匹配点；将第一匹配点和第二匹配点作为点p的第一匹配空间S1。如图3所示，为第一匹配空间S1的计算过程示意图。
之后，再以点p为原点，沿Y轴正方向和负方向，以逐个像素点作为搜索点进行搜索，直到搜索到不满足预设的约束条件的点时停止，并将搜索到的满足约束条件的所有点作为第三匹配点；分别以各个第三匹配点为原点，沿X轴正方向和负方向，以逐个像素点作为搜索点进行搜索，直到搜索到不满足预设的约束条件的点时停止，并将搜索到的满足约束条件的所有点作为第四匹配点；将第三匹配点和第四匹配点作为点p的第二匹配空间S2。
以点p为原点，分别沿X轴正方向、X轴负方向、Y轴正方向、Y轴负方向搜索到符合约束条件的点，即图2所示的右臂、左臂、上臂、下臂。
在具体实施例中，约束条件为：
其中，l1为像素点p到搜索点q的距离，像素点p为当前像素点，l2为像素点p到采样点ei的距离，l1和l2的选取通过条件k3*l1<l2<k4*l1确定，Olab(p,q)为像素点p与搜索点q在颜色上的欧氏距离，Olab(q,ei)为搜索点q与采样点ei在颜色上的欧氏距离，k1、k2、k3、k4、w1、w2为自定义参数，且k1>k2、k4>k3、w2>w1。例如，k1＝15、k2＝5、k3＝1.5、k4＝3、w1＝10、w2＝100。本实施例中，Olab(p,q)为像素点p与搜索点q在lab颜色上的欧氏距离，Olab(q,ei)为搜索点q与采样点ei在lab颜色上的欧氏距离。需要说明的是，采样点ei中i的取值通过设置合适的k3值和k4值，使得i的取值唯一，以确定一个唯一的采样点。
约束条件(1)中，条件①②属于线性约束，条件③属于基于采样点的空间约束。在计算匹配空间时，由于不同图片上的颜色变化快慢不一样，同一副图片的不同区域的颜色变化快慢也不一样，使得很难在单一线性约束上使得算法稳定。本实施例中，引入的空间约束主要是用于改善图像中物体的边界区域点，使得计算出的匹配空间更加接近图像中物体的边缘，由于参考了更多合理的颜色信息，也增强了算法的稳定性。因此，在线性约束的前提下，结合基于采样点的空间约束，可以更好的保证立体匹配的准确率和稳定性。在其他实施例中，可以根据实际需求适当改变上述约束条件。
在计算出点的匹配空间后，还包括计算点的匹配代价的步骤。
对于左图中的某一点Lp，在右图的指定范围Ω内进行匹配，计算该范围内所有点与点Lp的匹配代价，范围Ω是搜索范围，也即视差值的取值范围，且该搜索范围是与点Lp在同一条扫描线(极线)上的，由于左、右图已经过极线校正，且极线是水平平行的，因此搜索范围Ω为一条水平方向的线段。对于范围Ω内的每一个点的视差d，采用点Lp的第一匹配空间S1中的每个点w，去匹配右图中Rw+d点，每个相邻点对的匹配代价的计算通过混合代价函数得到，最终匹配代价为所有相邻点对的匹配代价之和C1。用点Lp的第二匹配空间S2以相同的方式计算匹配代价之和C2。
每个相邻点对的匹配代价函数由三部分组成：一个灰度空间census变换(中心变换)、一个彩色空间绝对值差(记作AD)、一个双向梯度，各部分的具体计算如下所示：
(1)census变换的使用场景是在灰度图上进行的，先将彩色图转换为灰度图，原图中的p点的灰度值用GS(p)表示，同时，计算在以p为中心的7x9窗口中除去p外的所有点q与p产生的census值x(p,q)，计算公式如下：
将x(p,q)根据p与q的相对位置连接成二进制串B(p)。在分别对左、右图进行计算后可得到两个对应比特串，通过汉明距离来描述它们之间的差异，得到代价值如下所示：
h(p,d)＝Ham(BL(p),BR(p-d))…………(3)
其中d代表对应像素点间的视差。
(2)AD值
绝对值差是衡量两个点相似度的较为常用的方法，本实施例中采用其在彩色空间中的AD值，根据AD值得到的代价值如下所示：
其中，为左图中点p的RGB颜色，为右图中与左图p点按视差d对应的点的RGB颜色，表示这两个颜色的欧氏距离。
(3)梯度
选取梯度作为代价项，本实施例中采用双向梯度，即水平和竖直方向的梯度。其中Nx和Ny分别表示在x和y方向的导数(梯度)，IL(p)为待计算点(左图)的灰度值，IR(p-d)为其在另一张图片(右图)对应点的灰度值，d为两点间的视差，则
(4)混合代价函数
最终的代价函数由上述三项代价项加权混合而成，如式(6)所示，其中a、b、g为各项权重，用以表示各项对最终代价函数值的贡献。
C(x,y,d)＝aCcensus+bCAD(p,d)+gCGD…………(6)
其中，x、y代表坐标值，d代表点(x，y)的视差。Ccensus即为式(3)中求得的相应点的h(p,d)值。
优选的，在计算出第一匹配空间内所有点的匹配代价之和C1和第二匹配空间内所有点的匹配代价之和C2后，根据C1和C2采用快速置信传播全局算法计算初始视差，以提高立体匹配的准确率和稳定性，具体计算方式如下：
置信度B和能量函数E的关系为：
B＝e-E…………(7)
此时置信度B最大化的过程就等价于能量函数E最小化的过程，则点P视差dp的能量函数可以表示为：
N(p)为与点p相邻的上下左右4个点的集合，为从点r到点p经过T次迭代后传送的能量，则点p视差为dp时的局部匹配代价为Dp(dp)：
Dp(dp)＝[c1(p,dp)+c2(p,dp)]/2…………(9)
且点p到点q经过t次迭代后传送的能量的计算公式可以如下：
N(p)\q为与点p相邻的上下左右4个点中除去q点的集合。
点p的最佳视差d* p(即初始视差)可以通过最小化能量函数E获得，其公式如下：
Ω为视差的取值范围。
S20：进一步筛选可靠点
由于算出的初始视差很多点是不可靠的，它们会影响最后的计算结果，因此，本实施例中，采用左右视差图的匹配进行可靠点的进一步筛选，dL(p)表示左图中p点的视差。则筛选公式为：
match(p)等于1表示p点可靠，等于0表示p点不可靠。
在全局视差估计中，还包括对图像进行分块的步骤。在对图像进行分块时，先将图像划分为若干个尺寸极小的碎块(图像块)，优选的，本实施例基于superpixel颜色分块将图像划分为若干个图像块，之后，在此基础上分别根据颜色和视差对图像块进行合并。基于Superpixel的颜色分块是指，在空间内取若干(通常数量较大)超像素点，然后利用空间信息与颜色信息判断出与每个超像素点最接近的像素点。每个超像素点与和它最接近的像素点形成一个块，取的超像素点个数与产生的块的数目是相等的。基于Superpixel的颜色分块，其算法在超像素点足够多的情况下对物体边界的划分效果较好，但是由于这种情况下产生的分块数目过多，将给计算带来负面的影响。
S30：根据颜色对图像块进行合并：将像素点数量小于预设值的图像块与其相邻图像块中颜色最接近的图像块合并；和/或，判断到两个相邻图像块颜色接近，且两个图像块像素点数量之和小于预设值时，将两个图像块合并。
本实施例中，假设对于图像块s，其像素点数量为p(s)，可靠点数量为r(s)。
(1)由于划分得到的碎块尺寸极小，因此其数目很大，使得后面的处理所需内存极大，所以对于像素点数目极少的块，将其与周围的块合并。当p(s)<k1(k1为预设值)时，将该块与其颜色最接近的块进行合并，判断颜色的接近程度可以采用现有技术中的任意方式进行。
(2)如果相邻两个块的颜色足够接近，也将其合并，以提高分块的稳定性。同时要保证合并后的块不至于过大，对于块s1和s2，当p(s1)+p(s2)<k2(k2为预设值)时，合并s1和s2。
S40：根据视差对图像块进行合并：将可靠点数量小于预设值的图像块与其相邻图像块中颜色最接近的图像块合并，可靠点为根据原始图像中各像素点的初始视差筛选得到的；和/或，判断相邻两个图像块的视差变化是否平滑，如果是，则将两个图像块合并。
由于图像分块是用于最后的视差估计(最终视差的计算)的，而前面步骤中已经计算出了初始视差。因此，根据视差对块进行合并将有助于使最后的块更适合做视差估计，提高正确率。
(1)根据前面可靠点筛选步骤，由于有些块的可靠点数量较少，以至于根据视差进行合并将会影响正确率，因此，有必要先将这些块与其他块进行合并。本实施例中，当r(s)<k3(k3为预设值)时，将该块与其颜色最接近的块进行合并。为找出与当前块颜色最接近的块，可以采用现有技术中任意一种方式，例如，将当前块的颜色与其周围块进行对比得出。
(2)根据视差估计的特点，视差平滑变化的地方有必要将其归为一块，因此可以通过判断相邻块之间的视差变化是否平滑来决定是否将这两个块合并，如果平滑，则合并，反之，则不合并。
本实施例中，判断相邻两个图像块的视差变化是否平滑时，先找出当前图像块S与其相邻图像块Sk的边界相邻点对PS(i)、PSk(i)，PS(i)与PSk(i)为块S与块Sk的第i个相邻点对；再以PS(i)为中心搜索一个a*b的矩形方框，计算该方框中属于块S的可靠点的视差的均值VS(i)，以PSk(i)为中心搜索一个a*b的矩形方框，计算该方框中属于块Sk的可靠点的视差的均值VSk(i)，其中，a、b为预设的像素宽度；当max|VS(i)-VSk(i)|<j时，判断为当前图像块S与其相邻图像块Sk的视差变化平滑，其中，i∈WS,Sk，WS,Sk为块S与块Sk边界所有相邻点对的下标集合，j为预设值。
即可定义如下公式：
当th[s][sk]<j时，块s与sk合并。
本实施例提供的用于全局视差估计的图像分块方法中，不仅利用了颜色信息进行分块，还引入了视差信息，能够进一步提高最后计算出的最终视差的准确度。
由于左右两幅图是不同视角观察到的画面，有些部分在左图中有在右图中没有，有些部分在右图中有在左图中没有，这些部分全部属于遮挡区域。由于这些区域只在一幅图中存在，按前面方法所做的视差计算算出的结果基本都是错误的，这些错误会影响最终的估算结果，因此，需要利用颜色分块将遮挡区域找出来，并标记成不可靠点，以提高最后的正确率。
以左图为例，通过人左右眼观察的方式，可以知道对于左图遮挡区域存在于颜色分块中每个块的右端与其他块相邻的部分，而左端相邻的部分是非遮挡的。对于右图遮挡区域存在于颜色分块中每个块的左端与其他块相邻的部分，而右端相邻的部分是非遮挡的。
本实施例中，在进行图像颜色分块后，计算最终视差之前，还包括标记图像中的遮挡区域，具体为：取左图每个分块在每一行中从左端开始的第一个可靠点L(p)，根据点L(p)的视差dp算得其对应于右图的点R(p-dp)；在右图中从点R(p-dp-1)开始向左边找到第一个可靠点R(q)，找出其视差dq，算得点R(q)对应于左图中的点L(q+dq)，水平的两个点L(p)与L(q+dq)之间的点即为遮挡点。
为了进一步提高正确率，本实施例中还包括步骤：基于颜色分块对现有可靠点做中值滤波，再次去除部分可靠点。即当S20在S30之后执行时，S20在进行进一步筛选可靠点时，可以利用S30中的信息。需要说明的是，图1中的部分步骤并不限定严格的执行顺序，其执行顺序可以根据具体需求确定。
以左图为例，对于左图中的每个可靠点p，首先估算其在X轴和Y轴上的梯度。估算方法为，在X轴上选取一些与p点在一个颜色分块内的可靠点，计算其与这些点分别形成的梯度，最后取中值，即p点在X轴估算出来的梯度derivationX(p)。在Y方向上以相同方式得到derivationY(p)。然后对于左图中的每个点p，取其周围a*b方框内所有与点p在同一个块的可靠点qi，利用其视差d(qi)，X方向的梯度derivationX(qi)，Y方向的梯度derivationY(qi)估算点p的视差d(pi)。具体公式如下：
d(pi)＝d(qi)+(x[p]-x[qi])*derivationX[qi]+(y[p]-y[qi])*derivationY[qi]
…………(14)
对所有d(pi)排序取中值并对该值进行四舍五入取整看其是否等于d(p)，如果不等则滤去该点。
S50：计算最终视差。
本实施例中，以左图为例，对于左图中的每个点p，取其周围e*f方框内所有与p在同一个分块的可靠点qi，其中e、f为预设的像素宽度，利用其视差d(qi)(即前面步骤中计算到得的初始视差)、X方向的梯度derivationX(qi)、Y方向的梯度derivationY(qi)估算点p的视差d(qi)，计算公式如下：
d(pi)＝d(qi)+(x[p]-x[qi])*derivationX[qi]+(y[p]-y[qi])*derivationY[qi]
对所有d(pi)排序取中值并对该值进行四舍五入取整得到的值即为点p的最终视差d(p)。在其他实施例中，也可以采用现有技术中的任意一种方式来得到最终视差。
请参考图4，针对于本实施例提供的全局视差估计方法，本实施例还相应提供了一种全局视差估计系统，包括图像读入模块1000、匹配空间计算模块1001、匹配代价计算模块1002、初始视差计算模块1003、图像分块模块1004和最终视差计算模块1005。
图像读入模块1000用于读入第一视点图像和第二视点图像，第一视点图像为从第一视点获取的目标的图像，第二视点图像为从第二视点获取的目标的图像。
匹配空间计算模块1001用于根据预设规则在第一视点图像上选取采样点后，在第一视点图上依次选取像素点作为当前像素点，以当前像素点为原点，沿第一轴线正方向和负方向，以逐个像素点作为搜索点进行搜索，直到搜索到不满足预设的约束条件的点时停止，并将搜索到的满足约束条件的所有点作为第一匹配点；分别以各个第一匹配点为原点，沿第二轴线正方向和负方向，以逐个像素点作为搜索点进行搜索，直到搜索到不满足预设的约束条件的点时停止，并将搜索到的满足约束条件的所有点作为第二匹配点；将第一匹配点和第二匹配点作为当前像素点的第一匹配空间。匹配空间计算模块1001还用于以当前像素点为原点，沿第二轴线正方向和负方向，以逐个像素点作为搜索点进行搜索，直到搜索到不满足预设的约束条件的点时停止，并将搜索到的满足约束条件的所有点作为第三匹配点；分别以各个第三匹配点为原点，沿第一轴线正方向和负方向，以逐个像素点作为搜索点进行搜索，直到搜索到不满足预设的约束条件的点时停止，并将搜索到的满足约束条件的所有点作为第四匹配点；将第三匹配点和第四匹配点作为当前像素点的第二匹配空间。约束条件包括线性约束条件和基于采样点的空间约束条件，线性约束条件为当前像素点与搜索点之间在颜色上的欧氏距离的约束，空间约束条件为搜索点与采样点之间在颜色上的欧氏距离的约束，第一轴线与第二轴线相互垂直。
匹配代价计算模块1002用于计算第一匹配空间内所有点的匹配代价之和，和计算第二匹配空间内所有点的匹配代价之和。
初始视差计算模块1003用于根据第一匹配空间内所有点的匹配代价之和和第二匹配空间内所有点的匹配代价之和计算初始视差，并筛选得到可靠点。
图像分块模块1004采用本实施例上述任意一种，用于对原始图像进行图像分块。
最终视差计算模块1005用于基于图像块，计算第一视点图像内每个像素点的最终视差。
本实施例提供的全局视差估计系统与上述全局视差估计方法对应，此处不再对其工作原理进行赘述。
请参考图5，为采用本申请实施例提供的全局视差估计方法在Middlebury数据集上的实验结果图，在Middlebury测试平台上的测试结果表明，采用本申请实施例提供的全局视差估计方法得到的结果(第2行结果)优于目前大部分的方法。图5中采用“非遮挡区域(nonocc)”“所有区域(all)”“不连续区域(disc)”作为评价指标，错误率阈值被设为1.0，即与真实视差(ground truth)相差大于1则标为错误点。
本申请提供的全局视差估计方法和系统，基于一种鲁棒的混合代价函数得到像素点的混合代价，采用改进的聚合空间对单点代价进行聚合；然后采用快速置信传播全局算法进行全局代价的最优化计算；最后又采用了专门针对视差估计的图像分块以及遮挡点的标记，因此能够大大提高最终视差计算的准确度。
本领域技术人员可以理解，上述实施方式中各种方法的全部或部分步骤可以通过程序来指令相关硬件完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘或光盘等。
以上内容是结合具体的实施方式对本申请所作的进一步详细说明，不能认定本申请的具体实施只局限于这些说明。对于本申请所属技术领域的普通技术人员来说，在不脱离本申请发明构思的前提下，还可以做出若干简单推演或替换。
Claims (8)
1.一种全局视差估计方法，其特征在于，包括：
读入原始图像，所述原始图像包括第一视点图像和第二视点图像，第一视点图像为从第一视点获取的目标的图像，第二视点图像为从第二视点获取的目标的图像；
计算第一视点图像中像素点的第一匹配空间和第二匹配空间；
计算第一匹配空间内所有点的匹配代价之和，计算第二匹配空间内所有点的匹配代价之和；
根据第一匹配空间内所有点的匹配代价之和和第二匹配空间内所有点的匹配代价之和计算初始视差，并筛选得到可靠点；
将原始图像划分为若干个图像块；
根据颜色对图像块进行合并：将像素点数量小于预设值的图像块与其相邻图像块中颜色最接近的图像块合并；和/或，判断到两个相邻图像块颜色接近，且两个图像块像素点数量之和小于预设值时，将两个图像块合并；
根据视差对图像块进行合并：将可靠点数量小于预设值的图像块与其相邻图像块中颜色最接近的图像块合并，所述可靠点为根据原始图像中各像素点的初始视差筛选得到的；和/或，判断相邻两个图像块的视差变化是否平滑，如果是，则将两个图像块合并；
基于所述图像块，并根据所述可靠点的初始视差计算第一视点图像和第二视点图像内每个像素点的最终视差；
在对原始图像进行图像分块后，计算最终视差之前，还包括标记图像中的遮挡区域，具体为：取第一视点图像每个分块在每一行中从左端开始的第一个可靠点L(p)，根据点L(p)的视差dp算得其对应于第二视点图像的点R(p-dp)；在第二视点图像中从点R(p-dp-1)开始向左边找到第一个可靠点R(q)，找出其视差dq，算得点R(q)对应于第一视点图像中的点L(q+dq)，水平的两个点L(p)与L(q+dq)之间的点即为遮挡点。
2.如权利要求1所述的方法，其特征在于，将原始图像划分为若干个图像块，具体为：基于superpixel颜色分块将图像划分为若干个图像块。
3.如权利要求1所述的方法，其特征在于，判断相邻两个图像块的视差变化是否平滑，包括：
找出当前图像块S与其相邻图像块Sk的边界相邻点对PS(i)、PSk(i)，PS(i)与PSk(i)为块S与块Sk的第i个相邻点对；
以PS(i)为中心搜索一个a*b的矩形方框，计算该方框中属于块S的可靠点的视差的均值VS(i)，以PSk(i)为中心搜索一个a*b的矩形方框，计算该方框中属于块Sk的可靠点的视差的均值VSk(i)，其中，a、b为预设的像素宽度；
当max|VS(i)-VSk(i)|<j时，判断为当前图像块S与其相邻图像块Sk的视差变化平滑，其中，i∈WS,Sk，WS,Sk为块S与块Sk边界所有相邻点对的下标集合，j为预设值。
4.如权利要求1-3任意一项所述方法，其特征在于，根据第一匹配空间内所有点的匹配代价之和和第二匹配空间内所有点的匹配代价之和，采用快速置信传播全局算法计算初始视差。
5.一种全局视差估计系统，其特征在于，包括：
图像读入模块，用于读入原始图像，所述原始图像包括第一视点图像和第二视点图像，第一视点图像为从第一视点获取的目标的图像，第二视点图像为从第二视点获取的目标的图像；
匹配空间计算模块，用于计算得到像素点的第一匹配空间和第二匹配空间；
匹配代价计算模块，用于计算第一匹配空间内所有点的匹配代价之和，和计算第二匹配空间内所有点的匹配代价之和；
初始视差计算模块，用于根据第一匹配空间内所有点的匹配代价之和和第二匹配空间内所有点的匹配代价之和计算初始视差，并筛选得到可靠点；
图像分块模块，用于将原始图像划分为若干个图像块；
根据颜色对图像块进行合并：将像素点数量小于预设值的图像块与其相邻图像块中颜色最接近的图像块合并；和/或，判断到两个相邻图像块颜色接近，且两个图像块像素点数量之和小于预设值时，将两个图像块合并；
根据视差对图像块进行合并：将可靠点数量小于预设值的图像块与其相邻图像块中颜色最接近的图像块合并，所述可靠点为根据原始图像中各像素点的初始视差筛选得到的；和/或，判断相邻两个图像块的视差变化是否平滑，如果是，则将两个图像块合并；
最终视差计算模块，用于基于所述图像块，计算第一视点图像和第二视点图像内每个像素点的最终视差；
还包括遮挡区域标记模块，用于在所述图像分块模块对原始图像进行图像分块后，最终视差计算模块计算最终视差之前，标记图像中的遮挡区域，具体为：取第一视点图像每个分块在每一行中从左端开始的第一个可靠点L(p)，根据点L(p)的视差dp算得其对应于第二视点图像的点R(p-dp)；在第二视点图像中从点R(p-dp-1)开始向左边找到第一个可靠点R(q)，找出其视差dq，算得点R(q)对应于第一视点图像中的点L(q+dq)，水平的两个点L(p)与L(q+dq)之间的点即为遮挡点。
6.如权利要求5所述的系统，其特征在于，图像分块模块将原始图像划分为若干个图像块时：图像分块模块基于superpixel颜色分块将图像划分为若干个图像块。
7.如权利要求5所述的系统，其特征在于，图像分块模块判断相邻两个图像块的视差变化是否平滑时：
图像分块模块找出当前图像块S与其相邻图像块Sk的边界相邻点对PS(i)、PSk(i)，PS(i)与PSk(i)为块S与块Sk的第i个相邻点对；
以PS(i)为中心搜索一个a*b的矩形方框，计算该方框中属于块S的可靠点的视差的均值VS(i)，以PSk(i)为中心搜索一个a*b的矩形方框，计算该方框中属于块Sk的可靠点的视差的均值VSk(i)，其中，a、b为预设的像素宽度；
当max|VS(i)-VSk(i)|<j时，判断为当前图像块S与其相邻图像块Sk的视差变化平滑，其中，i∈WS,Sk，WS,Sk为块S与块Sk边界所有相邻点对的下标集合，j为预设值。
8.如权利要求5-7任意一项所述的系统，其特征在于，初始视差计算模块用于根据第一匹配空间内所有点的匹配代价之和和第二匹配空间内所有点的匹配代价之和计算初始视差时，采用快速置信传播全局算法计算初始视差。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410604083.5A CN104331890B (zh) | 2014-10-30 | 2014-10-30 | 一种全局视差估计方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410604083.5A CN104331890B (zh) | 2014-10-30 | 2014-10-30 | 一种全局视差估计方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104331890A CN104331890A (zh) | 2015-02-04 |
| CN104331890B true CN104331890B (zh) | 2017-06-16 |
Family
ID=52406610
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410604083.5A Active CN104331890B (zh) | 2014-10-30 | 2014-10-30 | 一种全局视差估计方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104331890B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016065578A1 (zh) * | 2014-10-30 | 2016-05-06 | 北京大学深圳研究生院 | 一种全局视差估计方法和系统 |
| CN106600632B (zh) * | 2016-11-04 | 2019-09-17 | 天津大学 | 一种改进匹配代价聚合的立体图像匹配方法 |
| CN107578429B (zh) * | 2017-07-14 | 2021-07-20 | 武汉市工程科学技术研究院 | 基于动态规划和全局代价累积路径的立体影像密集匹配方法 |
| CN109461128B (zh) * | 2018-10-24 | 2021-09-28 | 福州大学 | 一种基于梯度保持的结构一致立体图像颜色校正方法 |
| CN111476836B (zh) * | 2020-06-29 | 2020-11-13 | 上海海栎创微电子有限公司 | 基于图像分割的视差优化方法及其装置 |
| CN111815693B (zh) * | 2020-09-04 | 2021-01-12 | 北京清微智能科技有限公司 | 一种深度图像生成方法和装置 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101976455A (zh) * | 2010-10-08 | 2011-02-16 | 东南大学 | 一种基于立体匹配的彩色图像三维重建方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7720282B2 (en) * | 2005-08-02 | 2010-05-18 | Microsoft Corporation | Stereo image segmentation |
-
2014
- 2014-10-30 CN CN201410604083.5A patent/CN104331890B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101976455A (zh) * | 2010-10-08 | 2011-02-16 | 东南大学 | 一种基于立体匹配的彩色图像三维重建方法 |
Non-Patent Citations (2)
| Title |
|---|
| Stereo Matching with Reliable Disparity Propagation;Xun Sun等;《3D Imaging, Modeling, Processing, Visualization and Transmission (3DIMPVT), 2011 International Conference on》;20110519;第132-139页 * |
| 基于图像区域分割和置信传播的立体匹配算法;张惊雷等;《计算机工程》;20130715;第39卷(第7期);第257-260，278页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104331890A (zh) | 2015-02-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104331890B (zh) | 一种全局视差估计方法和系统 | |
| CN102930530B (zh) | 一种双视点图像的立体匹配方法 | |
| EP3869797B1 (en) | Method for depth detection in images captured using array cameras | |
| CN102665086B (zh) | 利用基于区域的局部立体匹配获取视差的方法 | |
| EP2064675B1 (en) | Method for determining a depth map from images, device for determining a depth map | |
| CN103345736B (zh) | 一种虚拟视点绘制方法 | |
| US20170148186A1 (en) | Multi-directional structured image array capture on a 2d graph | |
| KR100793076B1 (ko) | 에지 적응형 스테레오/다시점 영상 정합 장치 및 그 방법 | |
| KR100745691B1 (ko) | 차폐영역 검출을 이용한 양안 또는 다시점 스테레오 정합장치 및 그 방법 | |
| Chen et al. | Transforming a 3-d lidar point cloud into a 2-d dense depth map through a parameter self-adaptive framework | |
| CN106530336B (zh) | 基于色彩信息和图割理论的立体匹配方法 | |
| CN103679739A (zh) | 基于遮挡区域检测的虚拟视图生成方法 | |
| CN104778673B (zh) | 一种改进的高斯混合模型深度图像增强方法 | |
| CN104408710B (zh) | 一种全局视差估计方法和系统 | |
| CN102750694B (zh) | 基于局部最优置信传播算法的双目视频深度图求取方法 | |
| CN117456114A (zh) | 基于多视图的三维图像重建方法及系统 | |
| EP2562717B1 (en) | Three-dimensional display system with depth map mechanism and method of operation thereof | |
| CN107155100A (zh) | 一种基于图像的立体匹配方法及装置 | |
| CN107578419B (zh) | 一种基于一致性轮廓提取的立体图像分割方法 | |
| JPH07103734A (ja) | ステレオ対応探索装置 | |
| CN102567992B (zh) | 遮挡区域的图像匹配方法 | |
| CN108090930A (zh) | 基于双目立体相机的障碍物视觉检测系统及方法 | |
| CN117726747A (zh) | 补全弱纹理场景的三维重建方法、装置、存储介质和设备 | |
| CN107204013B (zh) | 应用于双目立体视觉中的像素点视差值计算方法及装置 | |
| WO2016065579A1 (zh) | 一种全局视差估计方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |