CN101266685A

CN101266685A - 一种基于多幅照片去除无关图像的方法

Info

Publication number: CN101266685A
Application number: CNA2007100643896A
Authority: CN
Inventors: 李炜明; 胡占义
Original assignee: Institute of Automation of Chinese Academy of Science
Current assignee: Institute of Automation of Chinese Academy of Science
Priority date: 2007-03-14
Filing date: 2007-03-14
Publication date: 2008-09-17

Abstract

本发明提出了一种基于多幅照片去除无关图像的方法，用户拍摄多幅照片，利用多幅照片中的互补信息，将照片中的无关图像去除，并且能将被游客遮挡的背景的真实情况恢复出来，保持照片背景内容的真实性。用户只需在照片上指定一个包含无关图像窗口，本发明会利用计算机视觉技术自动地在拍摄的多幅照片中搜索与这个窗口匹配的替换窗口，并且自动地将这些替换窗口进行几何变换使之与原来照片无关图像周围的背景完全吻合，用户只需选定一个只包含背景的替换窗口，即将照片中的无关图像从照片中去除，同时把游客遮挡背景的真实情况完好地恢复。本发明还可以用来去除照片中其他的移动的不相关物体，如汽车等。

Description

一种基于多幅照片去除无关图像的方法

技术领域

本发明属于图像处理技术领域，涉及多幅照片的去除无关图像的方法。

背景技术

处于旅游旺季的风景名胜游客通常很多，照片中经常会有不相关的游客出现在背景中。要想等待所有的游客都从画面中离开需要很长的时间或是根本不可能的。在很多拍照的时候只能将背景中的游客一同拍下来，这往往破坏了画面的完整性和美观性。去除照片背景中的游客成为一项很有实用价值的技术。

从单独的一张照片中去除游客，在目前仍然是一件十分困难的任务，因为被游客遮挡住的景物信息是无法完全真实地恢复。随着数码相机和数码存储技术的进步，在同一个场景拍摄多幅照片在经济上变得可以接受。在实际生活中，景点中游客的移动是相当频繁，尽管很难找到一个时刻背景中一个游客也没有，但是在不同的时刻，由于游客的移动，景物被游客遮挡的情况是在不断变化的。在一些时刻，某部分景物被游客遮挡，但是在另外的时刻，这部分景物完整地展现出来。如果对于同一个场景在大致相同角度的不同时刻拍摄多幅照片，那么，利用这组照片之间相互补充的关系，只要某背景部分至少在一幅照片上是不被遮挡，那么就可以恢复这部分背景。

发明内容

在某些游客众多的旅游场景拍照，无法等到一个时刻场景中没有任何游客，这时只能拍摄到包含游客的照片，为了解决这个问题，本发明的目的是利用多幅照片中的互补信息，在用户少量的参与下，将照片中的无关图像去除，并且能将被无关图像遮挡的背景的真实情况恢复出来，保持照片内容的真实性，为此，本发明提出了一种基于多幅照片的去除无关图像的方法。

为了实现上述目的，本发明基于多幅照片的去除无关图像的方法包含以下步骤，

步骤S1：用户对一个场景拍摄多幅照片；

步骤S2：选取多幅照片中包含无关图像最少的照片做为主照片；

步骤S3：判断主照片中有否无关图像需要去除，如果有需要去除，则执行步骤4；如果不需要去除，则执行步骤8；

步骤S4：在主照片中选定要去除无关图像的无关图像窗；

步骤S5：利用自动图像配准技术匹配图像特征，计算出无关图像窗在每幅非主照片中相应的位置，并且把这些位置处的图像经过几何变换生成多个替换窗；

步骤S6：在多个替换窗中选择一个只包含背景的替换窗；

步骤S7：选择的替换窗中的图像内容经过几何变换后替换无关图像窗中的图像内容来修改主照片，并依次执行步骤S3修改主照片；

步骤S8：依次将主照片中的所有无关图像一一去除，获得一张不包含无关图像的背景照片。

优选地，所述多幅照片拍摄是从一个大致相同背景的位置、按照大致相同背景的角度、以一定的时间间隔拍摄；在这样多幅照片中，场景中的每一部分背景至少在其中的一张照片上出现一次。

优选地，所述无关图像窗的形状为矩形，只需至少部分包含无关图像，这个无关图像窗口的尺寸被算法自动扩大以包含无关图像周围的背景信息。

优选地，所述自动图像配准使用SIFT图像特征进行特征提取和特征匹配，并使用迭代最小二乘法估计无关图像窗与替换窗之间的几何变换参数。

本发明的优点在于：

(1)可以将照片中的无关图像或其他无关的移动物体去除，并且能将被无关图像遮挡的背景的真实情况恢复出来，保持照片内容的真实性。

(2)本方法的性能与被无关图像遮挡的背景的复杂性无关，对于被遮挡区域很大且包含很多细节形状的情况仍然很好地适用。

(3)用户操作简便，无需准确勾画出要去除的无关图像轮廓，只需要在图像中大致指定一个包含无关图像的矩形窗口即可。

附图说明：

图1是流程图，表明了本发明图像处理部分的算法过程。

图2是输入算法的一组示例图像。

图3是算法实施过程中的中间结果，其中：

图3-1是用户选定客户窗

图3-2在无关图像窗和照片2中算法自动提取的SIFT图像特征

图3-3算法自动找到无关图像窗与照片2中的匹配特征点

图3-4由照片2、3、4产生替换窗交给用户选择

图3-5台阶上的游客从主照片中被去除

图3-6用户选定主照片中剩下的另一位游客

图3-7由照片2、3、4产生替换窗交给用户选择

图4是算法对示例图像生成的最后结果。

具体实施方式

下面将结合附图对本发明加以详细说明，应指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。

如图1中的流程图所示。首先由用户在拍摄现场拍摄一组照片，在这组照片中，场景中背景的每一部分至少在拍摄的多幅照片中的某一张上出现一次。在这组照片中，由用户挑选一张比较清晰并包含无关游客或移动物体最少的做为“主照片”。在主照片中，由用户指定矩形窗口包含想要去除的无关游客，即“无关图像窗”。这以后，算法自动在无关图像窗和其他的非“主照片”的照片中提取局部图像特征，并进行特征匹配。利用匹配的图像特征，算法计算出无关图像窗在每幅非主照片中相应的位置，并且把这些位置处的图像经过几何变换生成一系列“替换窗”。对于一个无关图像窗，由用户挑选一个最合适的替换窗，算法据此将主照片中无关图像窗内部的内容替换为替换窗。按照这个步骤，用户依次将主照片中的所有无关游客一一去除，最后便得到一张不包含任何游客的图像。

本发明的实施由两部分组成，即“照片拍摄”和“照片处理”，如图1所示。照片拍摄由用户使用数码相机在拍摄现场完成。这些数码照片导入计算机，在计算机上运行本发明的算法程序进行照片处理。在照片处理部分，本发明使用计算机视觉算法和少量的用户交互自动将照片中的游人去除。

在照片拍摄部分，用户对于同一个场景，在同一位置以相同的角度，按照一定的时间间隔拍摄多幅照片。拍摄的时间间隔长短由用户自己根据场景中无关游客移动的频率和速度进行把握。拍摄的原则是使得场景中的所有景物至少在拍摄的多幅照片中的某一张上出现一次。需要指出，如果某部分景物在拍摄的所有照片中都处于被某游客(可能不是同一个游客)遮挡的状态，那么本发明对此也无能为力，用户在拍摄时需要留意这种情况并尽量避免。在拍摄中，用户可以不使用三脚架，手持照相机拍摄即可。虽然要求多幅图像的拍摄位置和角度应该尽量保持一致，但即使拍摄的位置和角度存在偏差，本发明中采用的计算机视觉算法仍然可以对其进行修正。为了后继照片处理方便，建议用户保持照相机的拍摄参数固定(如光圈、焦距、快门速度)。

在照片处理部分，首先由用户从这组多幅照片中选出一张比较清晰同时包含游客最稀疏的照片作为“主照片”。然后，用户通过鼠标在主照片中指定“无关图像窗”，即一个大致包含想要去除的无关游客的矩形窗口。为了保证无关图像窗中包含有足够多的可供后面的图像匹配算法使用的信息，实际的无关图像窗把用户指定的矩形的尺寸扩大一倍，这样就把用户指定的矩形的周围的图像内容也包含进去作为新的无关图像窗。

本发明的图像特征提取部分使用了SIFT图像特征，SIFT特征是具有很强判别能力的局部图像特征描述子，在光线强度变化、图像发生相似变换等条件下仍然能够可靠地找到正确的对应点，在与其它局部图像描述子的比较中显示出出色的性能。使用SIFT特征可以保证在两幅图像之间存在着拍摄位置和角度差异的情况下，仍然能够得到正确的匹配。在图像特征匹配部分，算法使用最近邻和次近邻比值法挑选出比较可靠的匹配特征。在估计图像几何变换时，算法使用了迭代最小二乘法从而使得算法更加鲁棒，对于错误的匹配点不敏感。

在特征提取部分，本发明使用Lowe等人的SIFT特征(Method andapparatus for identifying scale invariant features in an image and use of samefor locating an object in an image.David G.Lowe，US Patent 6,711,293(March 23，2004).Provisional application filed March 8，1999.Asignee：TheUniversity of British Columbia.)。算法从无关图像窗中提取SIFT特征点及其描述子，其集合计为F_TW；设共有m幅非“主照片”的照片，从其中提取的SIFT特征集合计为F_i，i∈{1，2，...，m}。

在F_TW和每个F_i之间寻找匹配的特征点集合。对于F_TW中的每个SIFT特征P_j∈F_TW，计算P_j与F_i中的每个SIFT特征点的距离，如果最小的距离与第二小的距离的比值大于阈值0.6，那么计P_j为匹配点，并记录它在F_i中相应的匹配点为Q_j，这样便得到F_TW和F_i之间匹配特征点的集合{P_j，Q_j}⁽ⁱ⁾。

这里我们认为“无关图像窗”与第i幅照片之间的几何变换关系A_i满足一个射影变换，则A_i是一个3×3的矩阵(马颂德，张正友，《计算机视觉》，科学出版社，1998)。设F_TW中某点的齐次坐标为[u v1]，F_i中某点的齐次坐标为[x y 1]，则有：[u v 1]＝[x y 1]*A_i。

利用{P_j，Q_j}⁽ⁱ⁾，我们使用迭代最小二乘法可以估计出A_i的参数(李庆扬等，《数值分析》，华中理工大学出版社，1982)。利用A_i，可以计算出无关图像窗在第i幅照片中对应的窗口位置，这个窗口中的图像内容称为第i幅照片中对无关图像窗的“替换窗”。m幅图像将产生m个替换窗。

如果无关图像窗中被游客遮挡的背景内容至少在拍摄的多幅照片中的某一张上出现一次，那么这m个替换窗中就至少有一个的内容是不包含任何游客的背景。算法将m个替换窗依次显示给用户，由用户挑选一个合适的替换窗。

算法使用选定的替换窗中的图像内容替换无关图像窗中的图像内容，从而将主照片中的这部分的游客去除。同样，当用户继续指定另一个无关图像窗，算法按照上述的过程再次进行计算。依此类推直到用户不再继续指定无关图像窗为止。

实施例

图2中是在哈尔滨索非亚教堂前拍摄的一组照片，这是哈尔滨的标志性景点之一，时值周末，教堂前的游客络绎不绝。图2中的四幅照片中都有游客在画面中的不同位置。在本实施例中，我们使用的相机是Sony DSC T9型数码相机，拍摄过程为手持拍摄。注意，由于没有使用三脚架，手持相机拍摄的多幅照片之间存在着位置和角度的不同。本发明的目的是通过这四幅照片，产生一幅不包含任何游客的照片。

四幅照片被导入到计算机中并呈现给用户。首先由用户挑选出一张主照片，后面的算法将以此为基础产生的输出照片。在这里，用户挑选游客数量最少的照片1作为主照片。然后用户通过鼠标在主照片中选定一个矩形窗口，包含画面中台阶上的游客，如图3-1中的内矩形所示。图中的外矩形是算法自动将此矩形进行扩展以包含周围的背景信息。外矩形代表的无关图像窗口中的图像内容如图3-1所示。

本发明的算法自动在无关图像窗口和照片2、照片3、照片4中提取SIFT特征。以照片2为例，如图3-2所示。

将无关图像窗口中的SIFT特征分别与照片2、照片3、照片4中的SIFT特征进行匹配，找到它们之间的对应关系，以照片2为例，如图3-3所示，两幅图中的同名点标以相同的数字记号。

使用匹配的特征点，算法通过迭代最小二乘法估计出无关图像窗口在照片2、照片3、照片4中的位置，并把对应位置处的图像经过几何变换与无关图像窗口对齐生成替换窗口，如图3-4所示，图中分别是照片2、照片3、照片4中产生的替换窗。可以很容易地看到，只有照片2产生的替换窗中不包含任何其他游客，用户将其选定，算法使用这个替换窗替换主照片中当前无关图像窗中的图像内容，如图3-5所示，无关图像窗中的游客被从画面中去除，同时被他遮挡的背景完好真实地恢复出来。

按照上述同样的过程，用户继续选定画面中大门右侧的游客，如图3-6所示。算法自动生成的替换窗如图3-7所示。替换后的结果如图4所示。这时照片中已经没有任何游客，算法结束。最后，我们得到了一幅不包含任何游客的照片，照片背景中的索非亚教堂是完全真实的。

上面描述是用于实现本发明的实施例，本领域的技术人员应该理解，在不脱离本发明的范围的任何修改或局部替换，均属于本发明权利要求来限定的范围。

Claims

1. 一种基于多幅照片去除无关图像的方法，其特征在于，步骤如下：

步骤S1：用户对一个场景拍摄多幅照片；

步骤S4：在主照片中选定要去除无关图像的无关图像窗；

步骤S6：在多个替换窗中选择一个只包含背景的替换窗；

2. 按照权利要求1中所述的方法，其特征在于：

所述多幅照片拍摄是从一个大致相同背景的位置、按照大致相同背景的角度、以一定的时间间隔拍摄；在这样多幅照片中，场景中的每一部分背景至少在其中的一张照片上出现一次。

3. 按照权利要求1中所述的方法，其特征在于：

所述无关图像窗的形状为矩形，只需至少部分包含无关图像，这个无关图像窗口的尺寸被算法自动扩大以包含无关图像周围的背景信息。

4. 按照权利要求1中所述的方法，其特征在于：

所述自动图像配准使用SIFT图像特征进行特征提取和特征匹配，并使用迭代最小二乘法估计无关图像窗与替换窗之间的几何变换参数。