Nothing Special   »   [go: up one dir, main page]

CN105812649B - 一种摄像方法和装置 - Google Patents

一种摄像方法和装置 Download PDF

Info

Publication number
CN105812649B
CN105812649B CN201410854068.6A CN201410854068A CN105812649B CN 105812649 B CN105812649 B CN 105812649B CN 201410854068 A CN201410854068 A CN 201410854068A CN 105812649 B CN105812649 B CN 105812649B
Authority
CN
China
Prior art keywords
image
background
prospect
mask
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410854068.6A
Other languages
English (en)
Other versions
CN105812649A (zh
Inventor
徐立
严琼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN201410854068.6A priority Critical patent/CN105812649B/zh
Priority to US14/667,976 priority patent/US20160191898A1/en
Publication of CN105812649A publication Critical patent/CN105812649A/zh
Application granted granted Critical
Publication of CN105812649B publication Critical patent/CN105812649B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00Optical objectives specially designed for the purposes specified below
    • G02B13/001Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G02B13/0085Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras employing wafer level optics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0088Synthesising a monoscopic image signal from stereoscopic images, e.g. synthesising a panoramic or high resolution monoscopic image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0092Image segmentation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

提供了一种摄像方法,用于一电子设备,所述摄像方法包括:获取所述双目摄像头的第一摄像头拍摄的至少一个第一图像以及所述双目摄像头的第二摄像头同时拍摄的至少一个第二图像;获取所述至少一个第一图像和所述至少一个第二图像中的场景的深度图像;根据所述深度图像的场景深度来区分所述至少一个第一图像和所述至少一个第二图像中的场景的前景与背景;以及将所述至少一个第一图像和所述至少一个第二图像中的前景进行匹配以及拼接,并且将所述至少一个第一图像和所述至少一个第二图像的背景进行匹配以及拼接,根据本发明提供的摄像方法,使得用户能够通过使用电子设备的前置方法和摄像装置实现全身自拍或者多人拍摄。

Description

一种摄像方法和装置
技术领域
本发明涉及一种摄像方法和装置,并且更具体地涉及一种用于具有双目摄像头的电子设备的摄像方法和装置。
背景技术
近年来,具有摄像功能的电子设备日益流行。一般地,手持式电子设备通常会具有前置摄像头,用户可以通过使用前置摄像头来进行自拍。然而通常手持式电子设备的用于自拍的前置摄像头只能拍摄到用户的上半身,用户难以通过使用前置摄像头来拍摄自己的全身照片,而且用户也无法通过使用前置摄像头来拍摄多人照片。
现有技术中的一个解决方案是用户可以通过使用的一个长杆,将手持式电子设备放置于距离自己较远处,来拍摄自己的全身照片或者来拍摄多人照片。但是,该解决方案的问题在于,用户必须随身携带一个长杆来拍摄自己的全身照片或者来拍摄多人照片,对于用户来说,随身携带一个长杆是非常不方便的,影响了用户的使用体验,难以被用户广泛使用。
因此,如何能够对现有电子设备的前置摄像方法和装置进行一些优化,使得用户能够通过使用电子设备的前置摄像方法和摄像装置实现全身自拍或者多人拍摄,从而使得电子设备的前置摄像方法和装置变得更加实用并且提高用户使用体验,是当前亟待解决的问题。
发明内容
为了解决现有技术中的上述技术问题,根据本发明的一方面,提供了一种摄像方法,用于一电子设备,所述电子设备具有双目摄像头,所述双目摄像头包括第一摄像头和第二摄像头,所述摄像方法包括:获取所述双目摄像头的第一摄像头拍摄的至少一个第一图像以及所述双目摄像头的第二摄像头拍摄的至少一个第二图像;获取所述至少一个第一图像和所述至少一个第二图像中的场景的深度图像;根据所述深度图像的场景深度来区分所述至少一个第一图像和所述至少一个第二图像中的场景的前景与背景;以及将所述至少一个第一图像和所述至少一个第二图像中的前景进行匹配以及拼接,并且将所述至少一个第一图像和所述至少一个第二图像的背景进行匹配以及拼接,得到拼接后的第三图像。
此外,根据本发明的一个实施例,其中,所述摄像方法还包括:在获取所述至少一个第一图像和所述至少一个第二图像中的场景的深度图像后,得到所述至少一个第一图像和所述至少一个第二图像中的前景掩模以及背景掩模;对所述至少一个第一图像和所述至少一个第二图像的前景和背景分别进行处理,分别得到所述至少一个第一图像和所述至少一个第二图像的前景的第一特征对应点变换矩阵以及所述至少一个第一图像和所述至少一个第二图像的背景的第二特征对应点变换矩阵;根据所述第一特征对应点变换矩阵和所述第二特征对应点变换矩阵,来优化所述前景掩模以及所述背景掩模;以及根据优化后的前景掩模将所述至少一个第一图像和所述至少一个第二图像的前景进行匹配以及拼接,并且根据优化后的背景掩模将所述至少一个第一图像和所述至少一个第二图像的背景进行匹配以及拼接。
此外,根据本发明的一个实施例,其中,所述根据所述深度图像的场景深度来区分所述至少一个第一图像和所述至少一个第二图像中的场景的前景与背景包括:基于深度信息通过使用聚类方法把所述深度图像中的场景区分为前景与背景。
此外,根据本发明的一个实施例,其中,所述根据所述第一特征对应点变换矩阵和所述第二特征对应点变换矩阵来优化所述前景掩模以及所述背景掩模包括:使用所述第一特征对应点变换矩阵和所述第二特征对应点变换矩阵以及标准图切的方法对前景和背景的掩模进行优化。
此外,根据本发明的一个实施例,其中,所述根据优化后的前景掩模将所述至少一个第一图像和所述至少一个第二图像的前景进行匹配以及拼接,并且根据优化后的背景掩模将所述至少一个第一图像和所述至少一个第二图像的背景进行匹配以及拼接包括:通过使用中值融合的方法,选取所述至少一个第一图像和所述至少一个第二图像中的像素的分量值的中值作为拼接后的第三图像的相应像素的相应分量值。
根据本发明的另一方面,还提供了一种摄像装置,用于一电子设备,所述电子设备具有双目摄像头,所述摄像装置包括:拍摄单元,经配置获取所述双目摄像头的第一摄像头拍摄的至少一个第一图像以及所述双目摄像头的第二摄像头拍摄的至少一个第二图像;深度图像获取单元,经配置来获取所述至少一个第一图像和所述至少一个第二图像中的场景的深度图像;前景背景区分单元,经配置来根据所述深度图像的场景深度来区分所述至少一个第一图像和所述至少一个第二图像中的场景的前景与背景;以及图像合成单元,经配置来根据优化后的前景掩模将所述至少一个第一图像和所述至少一个第二图像的前景进行匹配以及拼接,并且根据优化后的背景掩模将所述至少一个第一图像和所述至少一个第二图像的背景进行匹配以及拼接,得到拼接后的第三图像。
此外,根据本发明的一个实施例,其中,所述前景背景区分单元还经配置来:在获取所述至少一个第一图像和所述至少一个第二图像中的场景的深度图像后,得到所述至少一个第一图像和所述至少一个第二图像中的前景掩模以及背景掩模,并且,所述摄像装置还包括:特征点处理单元,经配置来:对所述至少一个第一图像和所述至少一个第二图像的前景和背景分别进行处理,分别得到所述至少一个第一图像和所述至少一个第二图像的前景的第一特征对应点变换矩阵以及所述至少一个第一图像和所述至少一个第二图像的背景的第二特征对应点变换矩阵;掩模优化单元,经配置来:根据所述第一特征对应点变换矩阵和所述第二特征对应点变换矩阵来优化所述前景掩模以及所述背景掩模,并且,所述图像合成单元还经配置来:根据优化后的前景掩模将所述至少一个第一图像和所述至少一个第二图像的前景进行匹配以及拼接,并且根据优化后的背景掩模将所述至少一个第一图像和所述至少一个第二图像的背景进行匹配以及拼接。
此外,根据本发明的一个实施例,其中,所述前景背景区分单元还经配置来:基于深度信息通过使用聚类方法把所述深度图像中的场景区分为前景与背景。
此外,根据本发明的一个实施例,其中,所述掩模优化单元还经配置来:使用所述第一特征对应点变换矩阵和所述第二特征对应点变换矩阵以及标准图切的方法对前景和背景的掩模进行优化。
此外,根据本发明的一个实施例,其中,图像合成单元还经配置来:通过使用中值融合的方法,选取所述至少一个第一图像和所述至少一个第二图像中的像素的分量值的中值作为拼接后的第三图像的相应像素的相应分量值。
由此可见,根据本发明提供的摄像方法和装置,使得用户能够通过使用电子设备的前置方法和摄像装置实现全身自拍或者多人拍摄,从而使得电子设备的前置摄像方法和装置变得更加实用,并且提高用户使用体验。
附图说明
图1示出了根据本发明实施例的电子设备100的的示范性结构框图;
图2示出了根据本发明实施例的应用于电子设备100的摄像方法200的流程图;以及
图3示出了根据本发明实施例的应用于电子设备100的摄像装置200的示范性结构框图;
图4A示出了根据本发明的一个示例的拍摄的场景的示意图;
图4B示出了根据本发明的一个示例的拍摄的场景的前背景进行聚类后的示意图;
图5示出了根据本发明的一个实施例的相邻两个图像之间的相对应的特征点之间的对应关系的示意图;
图6A示出了根据本发明的一个实施例的对前景掩模和背景掩模进行优化前的示意图;以及
图6B示出了根据本发明的一个实施例的对前景掩模和背景掩模进行优化后的示意图。
具体实施方式
在下文中,将参考附图详细描述本发明的优选实施例。注意,在本说明书和附图中,具有基本上相同步骤和元素用相同的附图标记来表示,且对这些步骤和元素的重复解释将被省略。
本说明书通篇所提及的“一个实施例”或“一实施例”意味着结合所述实施例所描述的特定特征、结构或特性包含于至少一个所描述实施例中。因此,在说明书中短语“在一个实施例中”或“在一实施例中”的出现未必全部只带同一实施例。此外,所述特定特征、结构或特性可以任何适合方式组合于一个或一个以上实施例中。
图2示出了根据本发明实施例的应用于电子设备100的摄像方法200的流程图,其中,如图1所示,所述电子设备100可以包括双目摄像头110,所述双目摄像头110包括第一摄像头111和第二摄像头112。
下面,将参照图2来描述根据本发明的一个实施例的用于一电子设备100 的摄像方法200。如图2所示,首先,在步骤S210中,获取所述双目摄像头 110的第一摄像头111拍摄的至少一个第一图像以及所述双目摄像头110的第二摄像头112拍摄的至少一个第二图像。具体地,在本发明的一个实施例中,用户可以通过控制所述电子设备100进行移动时获取所述双目摄像头110 的第一摄像头111拍摄的至少一个第一图像以及所述双目摄像头110的第二摄像头112拍摄的至少一个第二图像,控制所述电子设备100进行移动可以包括:控制所述电子设备100在水平方向上进行移动或者控制所述电子设备100在竖直方向上进行移动。
接下来,在步骤S220中,可以获取所述至少一个第一图像和所述至少一个第二图像中的场景的深度图像。具体地,在本发明的一个实施例中,可以使用左右两个摄像头同时拍摄的左图像和右图像中,相同图像内容的像素的位置差来求得拍摄场景的深度图。例如,根据左右两个摄像头同一时间拍摄的左图像l和右图像r,可以分别找到相同图像内容的像素的位置点xl和 xr,根据相似三角形位置关系,求得所拍摄的场景中的某点P的深度Z的表达式:
其中,f为左摄像头和右摄像头的焦距,T是左摄像头与右摄像头的基线长度,因此,可以得到所拍摄的场景的深度与同时拍摄的左右两个图像中相同图像内容的像素的位置点xl和xr的距离相关:
由此,根据视差d,即可求得场景深度关系。
然后,在步骤S230中,可以根据所述深度图像的场景深度来区分所述至少一个第一图像和所述至少一个第二图像中的场景的前景与背景。具体地,在本发明的一个实施例中,可以基于深度信息通过使用聚类方法把所述深度图像中的场景区分为前景与背景。此外,根据本发明的一个实施例,在获取所述至少一个第一图像和所述至少一个第二图像中的场景的深度图像后,可以得到所述至少一个第一图像和所述至少一个第二图像中的前景掩模以及背景掩模。例如,在步骤S220中得到所拍摄的场景的深度图后,一般地,通过前置摄像头所拍摄的场景的前景与背景的深度会有较大差别,因此,可以根据所得到的深度图以及颜色进行聚类,区分出具体的前景掩模与背景掩模。通常可以使用K-means聚类方法来将场景图像分为两类:前景类与背景类,所述K-means聚类方法为本领域技术人员所知,在此不再详细说明。如图4A-图4B所示,图4A示出了根据本发明的一个示例的所要拍摄的场景的示意图;图4B示出了根据本发明的一个示例的所要拍摄的场景的前背景进行聚类后的示意图。其中,在图4B中,白色为前景,黑色为背景。一般地,这种聚类的区分结果比较粗糙,前背景边界并不准确,因此,还可以在后续的步骤中,求得不同帧之间的拼接参数,由于通常来说前景和背景的参数可能完全不同,所以,可以对前景和背景分别进行处理,然后再来进行多张图像的拼接。
具体地,在本发明的一个实施例中,可以对所述至少一个第一图像和所述至少一个第二图像的前景和背景分别进行处理,分别得到所述至少一个第一图像和所述至少一个第二图像的前景的第一特征对应点变换矩阵以及所述至少一个第一图像和所述至少一个第二图像的背景的第二特征对应点变换矩阵。例如,在一个示例中,可以首先将相邻两张图像中对应的特征点求出来,例如,可以将两个相邻第一图像或两个相邻第二图像中对应的特征点求出来。一般地,上述特征点包括前景的特征点和背景的特征点,例如,图 5示出了根据本发明的一个实施例的相邻两个图像之间的相对应的特征点之间的对应关系的示意图。通常,可以先对前景进行处理,利用之前求得的前景掩模,找到前景掩模中的相对应的特征点,利用多个特征对应点可以求得特征对应点变换矩阵Hf,并且可以对特征对应点变换矩阵Hf进行优化,所述变换矩阵Hf的求取方法及其优化方法为本领域技术人员所熟知,在此不再详细说明。类似地,可以获得关于背景特征对应点的变换矩阵Hb。由此,如果将最先拍摄的那个第一图像作为为参照图像,则可以依次求得拍摄序列中的每个图像到参照图像之间的前景与背景变换矩阵。
其中,根据本发明的一个实施例,在得到拍摄序列中的每个图像到参照图像之间的前景与背景变换矩阵后,可以根据所述第一特征对应点变换矩阵和所述第二特征对应点变换矩阵,来优化所述前景掩模以及所述背景掩模。具体地,可以使用所述第一特征对应点变换矩阵和所述第二特征对应点变换矩阵以及标准图切的方法对前景和背景的掩模进行优化,例如,图6A-6B示出了根据本发明的一个实施例的对前景掩模和背景掩模进行优化前后的示意图,在该步骤中,对之前的前景掩模中不准确的点可以进行修复,具体而言,可以利用求取的各个图像的特征点变换矩阵可以将各个图像对应到参照图像中,对于前景,可以选取误差较小的点作为非常确定的前景点,类似地,对于背景点,可以选取误差较小的点作为非常确定的背景点。然后,可以利用已知的前景图像点和背景图像点以及图像颜色,采用本领域技术人员熟知的标准图切(graph-cut)算法,即可以得到优化后的掩模。
接下来,在步骤S240,可以将所述至少一个第一图像和所述至少一个第二图像中的前景进行匹配以及拼接,并且将所述至少一个第一图像和所述至少一个第二图像的背景进行匹配以及拼接,得到拼接后的第三图像。具体地,可以根据优化后的前景掩模将所述至少一个第一图像和所述至少一个第二图像的前景进行匹配以及拼接,并且可以根据优化后的背景掩模将所述至少一个第一图像和所述至少一个第二图像的背景进行匹配以及拼接。在本发明的一个实施例中,可以通过使用中值融合的方法,选取所述至少一个第一图像和所述至少一个第二图像中的对应像素的分量值的中值作为拼接后的第三图像的相应像素的相应分量值。例如,可以将每张图像的前后背景掩模分别对应到参照图像,对所述至少一个第一图像和所述至少一个第二图像,应用中值融合,即对于图像中的任意一个像素,选取候选像素中的中值作为最后的结果,得到拼接后的图像。
因此,根据本发明提供的摄像方法200能够对现有电子设备的前置摄像功能进行优化,使得用户能够通过使用电子设备的摄像方法实现全身自拍或者多人拍摄,从而使得电子设备的前置摄像方法变得更加实用并且提高用户使用体验。
图3示出了根据本发明实施例的应用于电子设备100的摄像装置200的示范性结构框图,如图1所示,所述电子设备100可以包括双目摄像头110,所述双目摄像头110包括第一摄像头111和第二摄像头112。下面,将参照图 3来描述根据本发明的一个实施例的用于电子设备100的摄像装置300。如图 3所示,所述摄像装置300包括:拍摄单元310、深度图像获取单元320、前景背景区分单元330以及图像合成单元340。
具体地,拍摄单元310,可以经配置来获取所述双目摄像头110的第一摄像头111拍摄的至少一个第一图像以及所述双目摄像头110的第二摄像头112同时拍摄的至少一个第二图像。具体地,在本发明的一个实施例中,拍摄单元310可以在用户控制所述电子设备100进行移动时,获取所述双目摄像头110的第一摄像头111拍摄至少一个第一图像以及所述双目摄像头110的第二摄像头112同时拍摄的至少一个第二图像,用户控制所述电子设备100进行移动可以包括:控制所述电子设备100在水平方向上进行移动移动或者控制所述电子设备100在竖直方向上进行移动。
深度图像获取单元320,可以经配置来获取所述至少一个第一图像和所述至少一个第二图像中的场景的深度图像。具体地,在本发明的一个实施例中,深度图像获取单元320可以使用左右两个摄像头同时拍摄的左图像和右图像中,相同图像内容的像素的位置差来求得拍摄场景的深度图。例如,深度图像获取单元320可以根据左右两个摄像头同一时间拍摄的左图像l和右图像r,可以分别找到相同图像内容的像素的位置点xl和xr,根据相似三角形位置关系,可以求得所拍摄的场景中的某点P的深度Z的表达式:
其中,f为左摄像头和右摄像头的焦距,T是左摄像头与右摄像头的基线长度,因此,可以得到所拍摄的场景的深度与同时拍摄的左右两个图像中相同图像内容的像素的位置点xl和xr的距离相关:
由此,根据视差d,即可求得场景深度关系。
前景背景区分单元330,可以经配置来根据所述深度图像的场景深度来区分所述至少一个第一图像和所述至少一个第二图像中的场景的前景与背景。具体地,在本发明的一个实施例中,前景背景区分单元330可以基于深度信息通过使用聚类方法把所述深度图像中的场景区分为前景与背景。此外,根据本发明的一个实施例,在深度图像获取单元320获取所述至少一个第一图像和所述至少一个第二图像中的场景的深度图像后,可以得到所述至少一个第一图像和所述至少一个第二图像中的前景掩模以及背景掩模。例如,深度图像获取单元320得到所拍摄的场景的深度图后,一般地,通过前置摄像头所拍摄的场景的前景与背景的深度会有较大差别,因此,所述前景背景区分单元330可以根据所得到的深度图以及颜色进行聚类,区分出具体的前景掩模与背景掩模。通常可以使用K-means聚类方法来将场景图像分为两类:前景类与背景类,所述K-means聚类方法为本领域技术人员所公知,在此不再详细说明。如图4A-图4B所示,图4A示出了根据本发明的一个示例的所要拍摄的场景的示意图;图4B示出了根据本发明的一个示例的所要拍摄的场景的前背景进行聚类后的示意图。其中,在图4B中,白色为前景,黑色为背景。一般地,这种聚类的区分结果比较粗糙,前背景边界并不准确,因此,摄像装置300还可以求得不同帧之间的拼接参数,由于通常来说前景和背景的参数可能完全不同,所以,摄像装置300可以对前景和背景分别进行处理,然后再来进行多张图像的拼接。
具体地,在本发明的一个实施例中,所述摄像装置还包括:特征点处理单元,可以经配置来对所述至少一个第一图像和所述至少一个第二图像的前景和背景分别进行处理,分别得到所述至少一个第一图像和所述至少一个第二图像的前景的第一特征对应点变换矩阵以及所述至少一个第一图像和所述至少一个第二图像的背景的第二特征对应点变换矩阵。例如,在一个示例中,特征点处理单元可以首先将相邻两张图像中对应的特征点求出来,一般地,上述特征点包括前景的特征点和背景的特征点,例如,图5示出了根据本发明的一个实施例的相邻两个图像之间的相对应的特征点之间的对应关系的示意图。通常,特征点处理单元可以先对前景进行处理,利用之前求得的前景掩模,找到前景掩模中的相对应的特征点,利用多个特征对应点可以求得特征对应点变换矩阵Hf,并且可以对特征对应点变换矩阵Hf进行优化,所述变换矩阵Hf的求取方法及其优化方法为本领域技术人员所熟知,在此不再详细说明。类似地,特征点处理单元可以获得关于背景特征对应点的变换矩阵Hb。由此,如果将最先拍摄的那个第一图像作为为参照图像,则可以依次求得拍摄序列中的每个图像到参照图像之间的前景与背景变换矩阵。
此外,根据本发明的一个实施例,所述摄像装置还包括:掩模优化单元,经配置来在得到拍摄序列中的每个图像到参照图像之间的前景与背景变换矩阵后,可以根据所述第一特征对应点变换矩阵和所述第二特征对应点变换矩阵,来优化所述前景掩模以及所述背景掩模。具体地,掩模优化单元可以使用所述第一特征对应点变换矩阵和所述第二特征对应点变换矩阵以及标准图切的方法对前景和背景的掩模进行优化,例如,图6A-6B示出了根据本发明的一个实施例的对前景掩模和背景掩模进行优化前后的示意图,在该步骤中,对前景背景区分单元230之前得到的前景掩模中不准确的点可以进行修复,具体而言,掩模优化单元可以利用求取的各个图像的特征点变换矩阵可以将各个图像对应到参照图像中,对于前景,可以选取误差较小的点作为非常确定的前景点,类似地,对于背景点,可以选取误差较小的点作为非常确定的背景点。然后,掩模优化单元可以利用已知的前景图像点和背景图像点以及图像颜色,采用本领域技术人员熟知的标准图切(graph-cut)算法,即可以得到优化后的掩模。
图像合成单元340,可以经配置来将所述至少一个第一图像和所述至少一个第二图像中的前景进行匹配以及拼接,并且将所述至少一个第一图像和所述至少一个第二图像的背景进行匹配以及拼接,得到拼接后的第三图像。具体地,图像合成单元340可以根据优化后的前景掩模将所述至少一个第一图像和所述至少一个第二图像的前景进行匹配以及拼接,并且可以根据优化后的背景掩模将所述至少一个第一图像和所述至少一个第二图像的背景进行匹配以及拼接。在本发明的一个实施例中,图像合成单元340可以通过使用中值融合的方法,选取所述至少一个第一图像和所述至少一个第二图像中的对应像素的分量值的中值作为拼接后的第三图像的相应像素的相应分量值。例如,图像合成单元340可以将每张图像的前后背景掩模分别对应到参照图像,对第一图像和第二图像,应用中值融合,即对于图像中的任意一个像素,选取候选像素中的中值作为最后的结果,得到拼接后的图像。
由此可见,根据本发明提供的摄像装置300能够对现有电子设备的前置摄像功能进行优化,使得用户能够通过使用电子设备的摄像装置实现全身自拍或者多人拍摄,从而使得电子设备的前置摄像装置变得更加实用并且提高用户使用体验。
最后,还需要说明的是,上述一系列处理不仅包括以这里所述的顺序按时间序列执行的处理,而且包括并行或分别地、而不是按时间顺序执行的处理。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本发明可借助软件加必需的硬件平台的方式来实现,当然也可以全部通过硬件来实施。基于这样的理解,本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
在本发明实施例中,单元/模块可以用软件实现,以便由各种类型的处理器执行。举例来说,一个标识的可执行代码模块可以包括计算机指令的一个或多个物理或者逻辑块,举例来说,其可以被构建为对象、过程或函数。尽管如此,所标识模块的可执行代码无需物理地位于一起,而是可以包括存储在不同位里上的不同的指令,当这些指令逻辑上结合在一起时,其构成单元/模块并且实现该单元/模块的规定目的。
在单元/模块可以利用软件实现时,考虑到现有硬件工艺的水平,所以可以以软件实现的单元/模块,在不考虑成本的情况下,本领域技术人员都可以搭建对应的硬件电路来实现对应的功能,所述硬件电路包括常规的超大规模集成(VLSI)电路或者门阵列以及诸如逻辑芯片、晶体管之类的现有半导体或者是其它分立的元件。模块还可以用可编程硬件设备,诸如现场可编程门阵列、可编程阵列逻辑、可编程逻辑设备等实现。
以上对本发明进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种摄像方法,用于一电子设备,所述电子设备具有双目摄像头,所述双目摄像头包括第一摄像头和第二摄像头,所述摄像方法包括:
获取所述双目摄像头的第一摄像头拍摄的至少一个第一图像以及所述双目摄像头的第二摄像头拍摄的至少一个第二图像;
获取所述至少一个第一图像和所述至少一个第二图像中的场景的深度图像;
根据所述深度图像的场景深度来区分所述至少一个第一图像和所述至少一个第二图像中的场景的前景与背景;以及
将所述至少一个第一图像和所述至少一个第二图像中的前景进行匹配以及拼接,并且将所述至少一个第一图像和所述至少一个第二图像的背景进行匹配以及拼接,得到拼接后的第三图像;
其中,所述摄像方法还包括:
在获取所述至少一个第一图像和所述至少一个第二图像中的场景的深度图像后,得到所述至少一个第一图像和所述至少一个第二图像中的前景掩模以及背景掩模;
对所述至少一个第一图像和所述至少一个第二图像的前景和背景分别进行处理,分别得到所述至少一个第一图像到参考图像之间的和所述至少一个第二图像到参考图像之间的前景的第一特征对应点变换矩阵以及所述至少一个第一图像到参考图像之间的和所述至少一个第二图像到参考图像之间的背景的第二特征对应点变换矩阵;
根据所述第一特征对应点变换矩阵和所述第二特征对应点变换矩阵,来优化所述前景掩模以及所述背景掩模;以及
根据优化后的前景掩模将所述至少一个第一图像和所述至少一个第二图像的前景进行匹配以及拼接,并且根据优化后的背景掩模将所述至少一个第一图像和所述至少一个第二图像的背景进行匹配以及拼接。
2.如权利要求1所述的摄像方法,其中,所述根据所述深度图像的场景深度来区分所述至少一个第一图像和所述至少一个第二图像中的场景的前景与背景包括:基于深度信息通过使用聚类方法把所述深度图像中的场景区分为前景与背景。
3.如权利要求1所述的摄像方法,其中,所述根据所述第一特征对应点变换矩阵和所述第二特征对应点变换矩阵来优化所述前景掩模以及所述背景掩模包括:使用所述第一特征对应点变换矩阵和所述第二特征对应点变换矩阵以及标准图切的方法对前景和背景的掩模进行优化。
4.如权利要求1所述的摄像方法,其中,所述根据优化后的前景掩模将所述至少一个第一图像和所述至少一个第二图像的前景进行匹配以及拼接,并且根据优化后的背景掩模将所述至少一个第一图像和所述至少一个第二图像的背景进行匹配以及拼接包括:通过使用中值融合的方法,选取所述至少一个第一图像和所述至少一个第二图像中的像素的分量值的中值作为拼接后的第三图像的相应像素的相应分量值。
5.一种摄像装置,用于一电子设备,所述电子设备具有双目摄像头,所述摄像装置包括:
拍摄单元,经配置来获取所述双目摄像头的第一摄像头拍摄的至少一个第一图像以及所述双目摄像头的第二摄像头拍摄的至少一个第二图像;
深度图像获取单元,经配置来获取所述至少一个第一图像和所述至少一个第二图像中的场景的深度图像;
前景背景区分单元,经配置来根据所述深度图像的场景深度来区分所述至少一个第一图像和所述至少一个第二图像中的场景的前景与背景;以及
图像合成单元,经配置来根据优化后的前景掩模将所述至少一个第一图像和所述至少一个第二图像的前景进行匹配以及拼接,并且根据优化后的背景掩模将所述至少一个第一图像和所述至少一个第二图像的背景进行匹配以及拼接,得到拼接后的第三图像;
其中,所述前景背景区分单元还经配置来:在获取所述至少一个第一图像和所述至少一个第二图像中的场景的深度图像后,得到所述至少一个第一图像和所述至少一个第二图像中的前景掩模以及背景掩模,
并且,所述摄像装置还包括:
特征点处理单元,经配置来:对所述至少一个第一图像和所述至少一个第二图像的前景和背景分别进行处理,分别得到所述至少一个第一图像到参考图像之间的和所述至少一个第二图像到参考图像之间的前景的第一特征对应点变换矩阵以及所述至少一个第一图像到参考图像之间的和所述至少一个第二图像的背景到参考图像之间的第二特征对应点变换矩阵;
掩模优化单元,经配置来:根据所述第一特征对应点变换矩阵和所述第二特征对应点变换矩阵来优化所述前景掩模以及所述背景掩模,
并且,所述图像合成单元还经配置来:根据优化后的前景掩模将所述至少一个第一图像和所述至少一个第二图像的前景进行匹配以及拼接,并且根据优化后的背景掩模将所述至少一个第一图像和所述至少一个第二图像的背景进行匹配以及拼接。
6.如权利要求5所述的摄像装置,其中,所述前景背景区分单元还经配置来:基于深度信息通过使用聚类方法把所述深度图像中的场景区分为前景与背景。
7.如权利要求5所述的摄像装置,其中,所述掩模优化单元还经配置来:使用所述第一特征对应点变换矩阵和所述第二特征对应点变换矩阵以及标准图切的方法对前景和背景的掩模进行优化。
8.如权利要求5所述的摄像装置,其中,图像合成单元还经配置来:通过使用中值融合的方法,选取所述至少一个第一图像和所述至少一个第二图像中的像素的分量值的中值作为拼接后的第三图像的相应像素的相应分量值。
CN201410854068.6A 2014-12-31 2014-12-31 一种摄像方法和装置 Active CN105812649B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201410854068.6A CN105812649B (zh) 2014-12-31 2014-12-31 一种摄像方法和装置
US14/667,976 US20160191898A1 (en) 2014-12-31 2015-03-25 Image Processing Method and Electronic Device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410854068.6A CN105812649B (zh) 2014-12-31 2014-12-31 一种摄像方法和装置

Publications (2)

Publication Number Publication Date
CN105812649A CN105812649A (zh) 2016-07-27
CN105812649B true CN105812649B (zh) 2019-03-29

Family

ID=56165863

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410854068.6A Active CN105812649B (zh) 2014-12-31 2014-12-31 一种摄像方法和装置

Country Status (2)

Country Link
US (1) US20160191898A1 (zh)
CN (1) CN105812649B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3028988B1 (fr) * 2014-11-20 2018-01-19 Commissariat A L'energie Atomique Et Aux Energies Alternatives Procede et dispositif de filtrage adaptatif temps reel d'images de disparite ou de profondeur bruitees
US10839535B2 (en) 2016-07-19 2020-11-17 Fotonation Limited Systems and methods for providing depth map information
US10462445B2 (en) 2016-07-19 2019-10-29 Fotonation Limited Systems and methods for estimating and refining depth maps
CN106412421A (zh) * 2016-08-30 2017-02-15 成都丘钛微电子科技有限公司 一种快速生成大尺寸重对焦图像的系统与方法
US10869026B2 (en) * 2016-11-18 2020-12-15 Amitabha Gupta Apparatus for augmenting vision
EP3680853A4 (en) * 2017-09-11 2020-11-04 Guangdong Oppo Mobile Telecommunications Corp., Ltd. IMAGE PROCESSING PROCESS AND DEVICE, ELECTRONIC DEVICE AND COMPUTER READABLE INFORMATION MEDIA
CN107679542B (zh) * 2017-09-27 2020-08-11 中央民族大学 一种双摄像头立体视觉识别方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101527043A (zh) * 2009-03-16 2009-09-09 江苏银河电子股份有限公司 基于运动目标轮廓信息的视频对象分割方法
CN101621634A (zh) * 2009-07-24 2010-01-06 北京工业大学 动态前景分离的大幅面视频拼接方法
CN101626513A (zh) * 2009-07-23 2010-01-13 深圳大学 全景视频生成方法及系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3974964B2 (ja) * 1996-11-08 2007-09-12 オリンパス株式会社 画像処理装置
US7236622B2 (en) * 1999-08-25 2007-06-26 Eastman Kodak Company Method for forming a depth image
US6868191B2 (en) * 2000-06-28 2005-03-15 Telefonaktiebolaget Lm Ericsson (Publ) System and method for median fusion of depth maps
EP2385705A4 (en) * 2008-12-30 2011-12-21 Huawei Device Co Ltd METHOD AND DEVICE FOR GENERATING STEREOSCOPIC PANORAMIC VIDEO FLOW AND METHOD AND DEVICE FOR VISIOCONFERENCE
US9628722B2 (en) * 2010-03-30 2017-04-18 Personify, Inc. Systems and methods for embedding a foreground video into a background feed based on a control input
US10346680B2 (en) * 2013-04-12 2019-07-09 Samsung Electronics Co., Ltd. Imaging apparatus and control method for determining a posture of an object
AU2013206601A1 (en) * 2013-06-28 2015-01-22 Canon Kabushiki Kaisha Variable blend width compositing
JP2015022458A (ja) * 2013-07-18 2015-02-02 株式会社Jvcケンウッド 画像処理装置、画像処理方法及び画像処理プログラム
CN105659200B (zh) * 2013-09-18 2019-07-23 英特尔公司 用于显示图形用户界面的方法、设备和系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101527043A (zh) * 2009-03-16 2009-09-09 江苏银河电子股份有限公司 基于运动目标轮廓信息的视频对象分割方法
CN101626513A (zh) * 2009-07-23 2010-01-13 深圳大学 全景视频生成方法及系统
CN101621634A (zh) * 2009-07-24 2010-01-06 北京工业大学 动态前景分离的大幅面视频拼接方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
融合深度和颜色信息的图像物体分割算法;皮志明等;《模式识别与人工智能》;20130228;第26卷(第2期);第2-4章,图4

Also Published As

Publication number Publication date
US20160191898A1 (en) 2016-06-30
CN105812649A (zh) 2016-07-27

Similar Documents

Publication Publication Date Title
CN105812649B (zh) 一种摄像方法和装置
CN107113415B (zh) 用于多技术深度图获取和融合的方法和设备
CN104410784B (zh) 光场采集控制方法和装置
EP2120210B1 (en) Composition determination device, composition determination method, and program
US10257502B2 (en) Methods and apparatus for controlling light field capture
WO2017096866A1 (zh) 高动态范围图像的生成方法和装置
CN107409166A (zh) 摇摄镜头的自动生成
US11570376B2 (en) All-in-focus implementation
CN104243800B (zh) 控制装置和存储介质
CN107105157A (zh) 从手持设备所捕获的多个图像进行肖像图像合成
WO2020151281A9 (zh) 图像处理方法及装置、电子设备和存储介质
CN108702457B (zh) 用于自动图像校正的方法、装置和计算机可读存储媒体
CN104104870B (zh) 拍摄控制方法、拍摄控制装置及拍摄设备
CN108600610A (zh) 拍摄辅助方法和装置
US11372477B2 (en) Eye tracking method, head-mounted display, and computer readable storage medium
CN105467741A (zh) 一种全景拍照方法及终端
CN105847658A (zh) 一种多点对焦方法、装置及智能终端
CN105100557B (zh) 便携式电子装置以及图像提取方法
WO2023149135A1 (ja) 画像処理装置、画像処理方法及びプログラム
CN115623313A (zh) 图像处理方法、图像处理装置、电子设备、存储介质
CN113507549B (zh) 一种摄像头、拍照方法、终端及存储介质
CN109582811B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
JP6071714B2 (ja) 画像処理装置、およびその制御方法
JP2011193496A (ja) 撮像装置、撮像方法及び撮像プログラム
KR101567668B1 (ko) 다중 초점 방식으로 영상을 생성하는 스마트폰 카메라 장치 및 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant