Nothing Special   »   [go: up one dir, main page]

CN110557573A - 用于成像的统一包围曝光方法 - Google Patents

用于成像的统一包围曝光方法 Download PDF

Info

Publication number
CN110557573A
CN110557573A CN201910453158.7A CN201910453158A CN110557573A CN 110557573 A CN110557573 A CN 110557573A CN 201910453158 A CN201910453158 A CN 201910453158A CN 110557573 A CN110557573 A CN 110557573A
Authority
CN
China
Prior art keywords
image
images
capture
captured
incoming
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910453158.7A
Other languages
English (en)
Inventor
M·蒂科
A·德什潘德
A·N·舒尔策
孙皓
胡君
J·M·法尔亚比-艾伦
M·波尔森
黄德诚
程悟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Priority to CN202210728816.0A priority Critical patent/CN115037884B/zh
Publication of CN110557573A publication Critical patent/CN110557573A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本发明题为“用于成像的统一包围曝光方法”。公开了设备、方法和计算机可读介质，其描述了用于图像包围曝光选择和图像融合的自适应方法，例如，以在各种各样捕获条件下生成低噪声和高动态范围(HDR)的图像。可以从图像捕获设备获得传入图像流，其中该传入图像流包括根据特定模式接收的各种不同曝光的捕获，例如EV0图像、EV‑图像、EV+图像、长曝光(或合成长曝光)图像、EV0/EV‑图像对等。在接收到捕获请求时，可以使用一组规则和/或决策树来评估与来自传入图像流的图像相关联的一个或多个捕获条件，并确定选择哪两个或更多个图像用于融合操作。在配准操作和融合操作之前(或之后)可以可选地对所选图像执行降噪处理。

Description

用于成像的统一包围曝光方法
技术领域
本公开总体涉及数字图像处理领域。更具体地，但不通过限制的方式，本公开涉及针对图像包围曝光选择和图像融合的自适应方法的技术，以便在各种各样的捕获条件下生成低噪声且高动态范围(HDR)的图像。
背景技术
融合相同捕获场景的多个图像是增加所获得的融合图像中的信噪比(SNR)的有效方式。这对于小形式类型设备和/或薄形式类型设备(例如移动电话、平板电脑、笔记本电脑和可穿戴设备等)尤其重要，因为所述设备的图像传感器的像素尺寸通常非常小。较小的像素尺寸意味着每个像素捕获的光相对较少(即，在与具有较大像素尺寸的全尺寸单机式相机相比时)，导致捕获图像中更多的可见噪声—尤其是在低光线的情况下。
在图像融合中，待融合的图像中的一个图像可以被指定为“参考图像”。待为融合操作的一部分的其它图像可以被指定为“候选图像”，并且在融合操作之前将候选图像配准至参考图像。在一组捕获图像中的哪个图像应该用作参考图像的决定可以基于例如图像质量度量(例如清晰度、面部质量和噪声水平等)、捕获定时度量(例如，在时间上最接近于接收到的捕获请求的所捕获图像，例如，如果图像以流方式被捕获)、设备条件测量(例如使用最少量的设备旋转捕获的图像)或者由给定实现方式所需的任何其它图像条件或一组条件。
然后可以使用“距离度量”来确定候选图像中的像素是否与待融合的参考图像中的对应像素充分相似。如果候选图像中的给定候选像素与参考图像中的对应像素之间的距离度量低于距离阈值，例如，与噪声相关的距离阈值，则候选像素被认为是相似的，并且它可以用于有助于该像素的融合结果。
经常地，在待融合的图像之间可能存在显著的捕获时间差异，并且因此图像配准过程可能不能够考虑图像内的局部运动、相机晃动和/或捕获图像之间的旋转等。在这些情况下，参考图像和候选图像中的对应像素之间的差异可能不仅仅是噪声—它们反而可能是由图像配准算法的失效导致的差异。例如，随时间在捕获图像上变化(例如，由于对象运动或配准误差)的参考图像的区域可能在最终融合图像中产生“重影伪影”。重影伪影的外观和特征可能在图像之间有差异。例如，在参考图像中具有特定颜色但是在其它候选图像中具有不同颜色的图像部分，在与候选图像组合时，将导致最终融合图像的观察者可能注意到的褪色外观或伪色彩区域。另一方面，随时间在捕获图像上运动的边缘区或纹理区在被融合时可以具有可见的多边缘(例如，双边缘和三边缘等)，这在最终融合图像中也是可以注意到的。因此，在一些实施方案中，为了降噪的目的，在融合多个图像帧时，可能需要避免重影伪影。
尽管这些潜在的困难，但是通常通过将多个图像融合在一起，可以实现比从单个图像捕获获得的更好质量的合成图像。在给定融合操作中使用的多个图像捕获可以包括：使用相同曝光捕获的多个图像(例如，用于定格运动的目的)，这在本文中被称为静态图像稳定(SIS)；使用不同曝光捕获的多个图像(例如，在高动态范围(HDR)成像的情况下用于高亮复原的目的)；或者使用更短和更长曝光捕获的多个图像的组合，该多个图像在图像捕获设备的光学图像稳定(OIS)系统被接合时可以被捕获，例如用于从较短曝光估计移动像素和从长曝光估计静态像素的目的。此外，待融合的捕获图像可以来自例如相同相机、具有不同图像传感器特性的多个相机或者不同的处理工作流程(例如视频捕获和静态图像的捕获)。
因此，所需要的是一种自适应地融合任意包围曝光捕获的方法，使得融合结果例如在统计意义上对于给定一组的捕获条件是最佳的。
发明内容
本文公开了设备、方法和计算机可读介质，该设备、方法和计算机可读介质采用用于图像包围曝光选择和图像融合的自适应方法，以在各种各样的捕获条件下生成低噪声且高动态范围(HDR)的图像。更具体地，可以从图像捕获设备获得传入图像流，其中传入图像流包括各种不同的包围曝光图像捕获，该包围曝光图像捕获例如以特定序列和/或根据特定模式被接收。在接收到捕获请求时，该方法然后可以基于对一个或多个捕获条件的评估从传入图像流中选择两个或更多个图像用于融合。
根据一些实施方案，该捕获条件可以包括一个或多个设备捕获条件，例如：图像是否使用“二级帧对”(SFP)捕获模式来被捕获(如以下将进一步详细讨论的那样)；是否已经采用图像捕获设备的OIS模式；是否已经采用图像捕获设备的HDR模式；是否在输入捕获图像中的一个或多个图像中检测到闪光；在传入图像流的相关部分的捕获期间与图像捕获设备相关的位置数据或定向数据；在捕获中使用的相机的类型或数量；是否可允许中断正从传入图像流中进行的视频记录(例如使用长曝光图像捕获)；和/或一种或多种图像捕获条件(例如，环境光水平、捕获图像的内容的组成和/或正被捕获的场景类型的分类)。
根据一些实施方案，可以使用一组规则和/或决策树来评估一个或多个捕获条件，并且确定来自传入图像流的哪两个或更多个图像被选择用于融合操作。例如，根据一些实施方案，默认的一组所选图像可以包括：两个或更多个EV0图像、一个或多个EV-图像以及一个长曝光图像。基于评估的捕获条件，例如在所选图像的数量、所选图像的类型和/或为了融合操作的目的选择哪种类型的图像作为参考图像方面可以修改默认的这组所选图像。在一些实施方案中，所选图像可包括来自在接收该捕获请求之前捕获的传入图像流中的至少一个图像。在其它实施方案中，所选图像还可以包括来自在接收该捕获请求之后捕获的传入图像流中的至少一个图像。在另外其它实施方案中，所选图像还可以包括至少一个图像对，其中图像对中的图像被连续捕获，并且在一些情况下，在它们的捕获之间具有非常小的延迟，但是具有彼此不同的曝光设置。在一些情况下，多个图像对可以以预定帧速率连续地被捕获，如下面更详细描述的那样。在其它情况下，还可以例如在融合操作之前对所选图像中的一个或多个图像或者对合成的融合图像执行降噪处理。
此类方法可以将见解从与SIS图像捕获模式、OIS图像捕获模式和HDR图像捕获模式一起使用的融合方案组合成单个“统一”包围曝光方案，使得在各种各样的捕获条件下至少部分地保持高亮复原、运动定格和低噪声的优点。在给定的图像融合操作中待用作候选图像的捕获图像可以例如由以下组合组成：EV-图像、EV0图像、EV+图像和/或长曝光图像。将这些多个融合方案组合成一个统一的方案可以在输出图像中产生质量效益并减少在各种各样的捕获条件下执行图像融合所需的调试和验证工作。
如上所述，本文公开了各种非暂态程序存储设备的实施方案。此类程序存储设备可被一个或多个处理器读取。指令可以被存储在程序存储设备上，用于使一个或多个处理器执行以下操作：从一个或多个图像捕获设备获得传入图像流；获得与传入图像流的捕获相关联的一个或多个捕获条件；在图像捕获设备处接收捕获请求(例如，经由用户界面)；响应于该捕获请求来至少部分地基于一个或多个捕获条件从传入图像流选择两个或更多个图像，其中来自传入图像流的所选图像中的至少一个图像包括在接收捕获请求之前捕获的图像；配准两个或更多个所选图像；融合所配准的两个或更多个图像，以形成融合图像；以及将融合图像存储在存储器中。
根据以上列举的程序存储设备的实施方案，本文还公开了采用针对图像包围曝光选择和图像融合的自适应方法的各种方法。根据以上列举的程序存储设备的实施方案，本文还公开了各种可编程电子设备。此类电子设备可以包括：一个或多个图像捕获设备，诸如光学图像传感器/相机单元；显示器；用户界面；可编程控制设备；和存储器，该存储器耦接到可编程控制设备。指令可以存储在存储器中，该指令使可编程控制设备执行根据以上列举的各种程序存储设备的实施方案的指令。
附图说明
图1A是示出根据一个或多个实施方案的自适应图像包围曝光选择和融合的方法的流程图。
图1B示出了根据一个或多个实施方案的可在自适应图像包围曝光选择和融合方法中考虑的各种捕获条件。
图2A示出了根据一个或多个实施方案的可以在自适应图像包围曝光选择和融合方法中使用的示例性传入图像流。
图2B示出了根据一个或多个实施方案的可以在自适应图像包围曝光选择和融合方法中使用的另一个示例性传入图像流。
图3是根据一个或多个实施方案的将图像捕获条件与可以被选择以包括在自适应图像包围曝光选择和融合方法中的图像组相关联的一组规则的示例。
图4是示出可编程电子计算设备的框图，在该可编程电子计算设备中可以实现本文公开的技术中的一种或多种技术。
具体实施方式
在以下描述中，为了解释的目的，阐述了很多具体细节，以便提供对本文公开的发明的彻底理解。然而，对本领域的技术人员而言显而易见的是，可以在不存在这些具体细节的情况下实践本发明。在其它情况中，结构和设备被以框图的形式示出，以便避免模糊本发明。对没有下标或后缀的数字的引用应当理解为引用对应于附图标记的所有下标和后缀情况。此外，本公开中所使用的语言已主要被选择用于可读性和指导性目的，并且可能没有被选择为划定或限定本发明的主题，并且因此可能需要诉诸于权利要求书以确定此类发明主题。在说明书中对“一个实施方案”或“实施方案”的引用意指在发明之一的至少一个实施方案中包括的结合该实施方案描述的特定特征、结构或特性，并且对“一个实施方案”或“实施方案”的多次引用不应被理解为全部必然地参考相同的实施方案。
现在参考图1A，示出了根据一个或多个实施方案的示出自适应图像包围曝光选择和融合的方法的流程图100。首先，过程100可以通过获得传入图像流(步骤102)开始，所述传入图像流例如包括由一个或多个相机或其它图像捕获设备捕获的图像。如以下将进一步详细解释的那样，传入图像流可包括两个或更多个不同曝光的图像。
根据一些实施方案，在传入图像流中的图像中的一个或多个(高达所有)图像可以以保持低光线细节(例如经由平方根编码映射的色调)的方式被编码。在一些实施方案中，可能期望所选编码方法是可反转的，使得在融合期间，可以反转捕获的图像帧的编码，并且可以准确地识别重影伪影的区。换句话说，为了能够比较参考图像与其它候选图像之间的对应像素值以识别潜在的重影像素(即，与它们的对应的参考像素非常不同的那些像素)，必须首先通过考虑编码的任何差异使像素值彼此可比较。例如，应用平方根编码的色调映射曲线的反转将是应用平方函数的色调映射曲线(即，将输入值提高到2的幂)。虽然可以使用多个合适的编码技术，但是可能希望选择相对快速且可靠的编码技术以帮助在编码和反转期间平衡处理时间和准确度。
根据一些实施方案，来自传入图像流的图像的编码可以在每个相应图像的捕获时间之后(或随后，例如，在对各自的图像数据执行任何附加的期望处理步骤之后)直接发生。在某些情况下，例如，在将从图像传感器捕获的RAW图像数据转换为不同的颜色空间(例如，YUV颜色空间(或其它期望的颜色空间))时，编码操作可以由图像信号处理器(ISP)直接执行。在一些实施方案中，例如，基于环境勒克斯水平，一个或多个捕获的图像可以不被编码，并且例如可以留在线性域中，用于融合操作。在一些情况下，例如，如果在具有大于阈值勒克斯水平的场景中获得所捕获的图像，即其中不太可能存在许多待保留的低光线细节，则可以不采用平方根编码(或其它低光线细节保留方案)。在这种情况下，特定图像在对针对融合操作而选择的其它图像进行配准和/或融合之前不需要被反转，这将在以下更详细地解释。
现在讨论将转向将在本文中用于指代来自传入图像流的各种不同曝光图像的命名法。与传统的括号记法一样，“EV”代表曝光值并且指的是图像的给定曝光水平(它可以通过设备的一个或多个设置来控制，例如图像捕获设备的快门速度设置和/或光圈设置)。能够以不同的EV捕获不同的图像，该图像之间的一个EV差异(也称为“停止”)等于曝光中的预定义的功率差异。通常，“停止”用于表示曝光之间的两个差异的功率。因此，根据EV是增加还是减少，改变曝光值可以改变接收用于给定图像的光线量。例如，根据EV是否分别地增加(或减少)，一次停止使接收用于给定图像的光线量加倍(或减半)。
传统包围曝光中的“EV0”图像是指使用由图像捕获设备的曝光算法确定的曝光值所捕获的图像，例如，如自动曝光(AE)机构所指定的那些。通常，考虑到当前的照明条件，假设EV0图像具有理想的曝光值(EV)。应当理解，在本文的EV0图像的上下文中使用的术语“理想的”是指理想的曝光值，如针对给定图像捕获系统所计算的那样。换句话说，它是理想曝光的系统相关版本。对于给定的照明条件，不同的图像捕获系统可以具有不同版本的理想曝光值和/或可以利用不同的约束和分析来确定用于捕获EV0图像的曝光设置。
术语“EV-”图像是指以比将用于捕获EV0图像的停止更低的停止(例如，0.5、1、2或3次停止)所捕获的欠曝图像。例如，“EV-1”图像是指在EV0图像曝光以下的一个停止处捕获的欠曝图像，并且“EV-2”图像是指在EV0图像的曝光值以下的两个停止处捕获的欠曝图像。术语“EV+”图像是指以比EV0图像的停止更高的停止(例如，0.5、1、2或3)处所捕获的过曝图像。例如，“EV+1”图像是指在EV0图像曝光以上的一个停止处捕获的过曝光图像，“EV+2”图像是指在EV0图像的曝光值以上的两个停止处捕获的过曝图像。
例如，根据一些实施方案，传入图像流可以包括以下的组合：EV-图像、EV0图像、EV+图像和/或长曝光图像。还应注意，图像流还可以包括任意曝光的组合，如给定实现方式或操作条件所期望的，例如EV+2图像、EV+4图像和EV-3图像等。
根据一些实施方案，长曝光图像可包括图像帧，该图像帧被捕获以相对于EV0曝光设置被过曝。在一些情况下，它可以是预定的EV+值(例如，EV+1和EV+2等)。在其它情况下，可以在捕获时(例如，在预定范围内)即时计算给定长曝光图像的曝光设置。长曝光图像可来自从单个相机捕获的单个图像，或者，在其它情况下，长曝光图像可以由融合在一起的多个捕获图像“合成”(本文将其称为“合成的长曝光图像”)。在图像捕获设备能够执行OIS的情况下，OIS可以在捕获长曝光图像和/或一个或多个其它捕获图像期间主动稳定相机和/或图像传感器。(在其它实施方案中，可能不存在在捕获另一个图像(即，非长曝光图像)期间采用的OIS稳定，或者可以对此类非长曝光图像采用不同的稳定控制技术)。在一些情况下，图像捕获设备可以仅使用一种类型的长曝光图像。在其它情况下，图像捕获设备可以例如根据捕获条件来捕获不同类型的长曝光图像。例如，在一些实施方案中，在图像捕获设备不执行或不能够执行OIS时，可以生成合成的长曝光图像，而在OIS系统可用并且在图像捕获设备处被接合时，可以捕获单个长曝光图像。根据一些实施方案，为了在捕获图像中复原期望量的阴影细节，可以特意地在明亮场景和具有中等亮度的场景中采用某种程度的过曝(例如，EV+2)。因此，在某些更亮的环境光水平条件下，长曝光图像自身还可以包括相对于EV0在一个或多个停止处的过曝图像(例如，EV+3、EV+2和EV+1等)。为了在长曝光图像上保持亮度水平一致，可以随着捕获的曝光时间增加而成比例地减小增益，因为根据一些实施方案，亮度可以被定义为增益和曝光时间的乘积。
在一些实施方案中，长曝光图像可以包括在大于最小阈值曝光时间(例如，50毫秒(ms))且小于最大阈值曝光时间(例如，250ms)的时间内捕获的图像。在其它实施方案中，长曝光图像可包括以比图像捕获设备的对应正常或“短”曝光图像的曝光时间(例如比短图像的曝光时间长4到30倍的曝光时间)相对更长的曝光时间所捕获的图像。在其它实施方案中，长曝光图像的特定曝光时间(和/或系统增益)可以进一步至少部分地基于图像捕获设备周围的环境光水平，更亮的环境条件允许相对较短的长曝光图像曝光时间，并且较暗的环境条件允许使用相对较长的长曝光图像曝光时间。在另外其它实施方案中，长曝光图像的特定曝光时间(和/或系统增益)可以进一步至少部分地基于图像捕获设备是否在捕获操作期间正使用OIS系统。
应注意，可以至少部分地基于系统的增益水平来估计给定图像中的噪声水平(较大增益导致较大的噪声水平)。因此，为了具有低噪声，图像捕获系统可能希望使用小增益。然而，如上所述，图像的亮度可以由曝光时间和增益的乘积来确定。因此，为了保持图像亮度，经常使用大曝光时间来补偿低增益。然而，例如，如果相机不具有OIS系统和/或如果在长曝光图像捕获期间存在显著的相机晃动，则长曝光时间可能导致运动模糊。因此，对于具有OIS系统的相机，曝光时间的范围可以在低光线环境中达到最大阈值曝光时间，这将允许使用小增益—并且因此允许噪声更小。然而，对于不具有OIS系统的相机，使用非常长的曝光时间可能会导致运动模糊图像，这经常是不希望的。因此，如现在可以理解的，长曝光图像的曝光时间可能不总是由图像捕获设备所允许的最大阈值曝光时间。
根据一些实施方案，传入图像流可包括特定序列和/或特定曝光模式。例如，根据一些实施方案，传入图像的序列可以包括：EV0、EV-、EV0和EV-等。在其它实施方案中，传入图像序列可以仅包括EV0图像。响应于所接收的捕获请求，根据一些实施方案，图像捕获设备可以捕获一个(或多个)长曝光图像。在长曝光捕获之后，图像捕获设备可以返回到传入图像曝光的特定序列，例如前述：EV0序列、EV-序列、EV0序列和EV-序列。例如，曝光序列可以以直到接收到后续捕获请求相机就停止捕获图像(例如，在用户切断设备的电源或禁用相机应用程序时)的这种方式和/或在一个或多个操作条件可改变时继续。在另外其它实施方案中，图像捕获设备可以响应于所接收的捕获请求来捕获一个或多个附加的EV0图像，并且然后将附加的EV0短曝光图像(与可选地在所接收的捕获请求(如果需要)之前捕获的一个或多个附加的EV0图像一起)融合成合成的长曝光图像，如上所述，为了本文所述的图像融合选择过程的目的，然后可以将该合成的长图像视为单个图像。根据一些实施方案，传入图像流中的图像可以作为设备的预览操作的一部分被捕获，或者在设备的相机处于活动状态时以其它方式被捕获，使得相机可以更快地对用户的捕获请求作出反应。返回到传入图像的序列可以确保该设备的相机准备好用于下一个捕获请求。
返回到过程100，在接收到捕获请求时(步骤104)，例如，以物理快门捕获按钮或指示用户期望捕获静态图像的其它用户界面元件的用户选择的形式，该过程可以从传入图像流中选择两个或更多个图像用于融合(步骤106)，包括哪个图像应当用作融合操作的参考图像。从传入图像流中选择哪些图像以包括在图像融合操作中可以基于与来自传入图像流的相应图像相关联的一个或多个捕获条件。例如，如以下将进一步详细解释的那样，每个传入图像可以使用各种元数据标记，例如：图像是否以HDR模式捕获的指示、是否使用接合的OIS捕获图像的指示、在图像捕获期间设备的运动(例如，平移、旋转、加速度、速度和定向等)的指示、捕获图像的EV设置的指示、捕获图像中闪光的指示、在图像的捕获期间环境光条件的指示、捕获图像的内容的性质(例如，亮度、清晰度、色调、场景分类、面部/微笑检测)的指示等。根据一些实施方案，并且如以下将参考图3更详细地描述的那样，可以使用一组规则和/或决策树来评估一个或多个捕获条件，并且确定来自传入图像流的哪两个或更多个图像被选择用于融合操作。
接下来，在步骤108处，可以使用任何期望的图像配准方法(例如全局配准、局部配准、稠密光流等)来配准两个或更多个所选图像。如上所述，可以选择所选图像中的一个图像以用作配准过程的参考图像，并且其它所选图像可以用作待与参考图像配准的候选图像。在一些实施方案中，可以基于曝光特性来选择参考图像(例如，使用EV-图像作为参考图像对使用EV0图像作为参考图像)。在一些实施方案中，可以选择参考图像作为在时间上最接近于从用户接收的捕获请求所捕获的图像。在其它情况下，如果在时间上最接近于捕获请求所捕获的图像不具有足够高的质量(例如，在清晰度、噪声、亮度和面部置信度等方面)，则在时间上最接近的第二图像可以被选择作为参考图像。在其它实施方案中，最清晰的图像可以用作参考图像。在一些此类的实施方案中，可以通过计算待考虑用于融合操作的每个图像的清晰度分数来确定最清晰的图像。清晰度分数可以基于相应图像的元数据中的信息，例如，图像的自动聚焦分数、设备在捕获相应图像期间的位置数据和OIS系统数据等。在一些实施方案中，可以简单地从融合操作中排除具有低于阈值清晰度分数的图像。如果没有图像具有大于阈值清晰度分数，则设备可以确定不能对给定捕获请求执行融合操作。在其它实施方案中，阈值清晰度分数可以被定义为大于比所选参考图像的清晰度分数低的最大清晰度阈值的分数。
一旦已经配准了两个或更多个所选图像，就可以使用任何期望的图像融合方法来融合它们(步骤110)。根据一些实施方案，在融合操作之后对图像可以执行一个或多个色调映射操作，例如全局色调映射操作和/或局部色调映射操作(步骤112)。在步骤114处，可以将任何期望的降噪应用于融合图像。(应理解，在一些实施方案中，色调映射和/或降噪步骤可以是可选的。)最后，在步骤116处，合成的融合图像可以可选地被存储在存储器中和/或在显示设备上显示。只要图像捕获设备继续获得传入图像流(即，步骤118处的“是”)，该过程就可以返回到步骤102并继续操作。一旦图像捕获设备例如响应于用户关闭图像捕获设备或关闭相机应用程序而已经停止获得传入图像流(即，步骤118处的“否”)，过程100就可以结束。在一些实施方案中，可以应用相同的配准技术/融合技术和/或降噪技术，而不管从传入图像流中选择哪一组的两个或更多个图像。应当理解，图1A中所示的某些步骤可以以与所示顺序不同的顺序执行。例如，在一些实施方案中，可以分别在配准步骤108和/或融合步骤110之前对每个单独的所选图像执行降噪步骤114。
现在参考图1B，根据一个或多个实施方案，示出了可以在自适应图像包围曝光选择和图像融合方法中考虑的各种捕获条件122–140。对于参考，图1B中所示的各种框可以作为上述图1A的步骤106的一部分来执行。特别地，各种捕获条件122–140可以被划分为至少两种不同的类别：设备捕获条件120和图像捕获条件121。
设备捕获条件120可以与图像捕获设备在相应图像的捕获期间的状态和/或操作模式相关。例如，设备捕获条件120可以包括以下指示：图像捕获设备是否正在捕获二级帧对(SFP)122、图像捕获设备的OIS模式是否已被适当地采用124、图像捕获设备的HDR模式是否已被采用126、是否在输入的捕获图像128中的一个或多个图像中检测到闪光、在传入图像流130的相关部分的捕获期间与图像捕获设备有关的位置数据或定向数据、是否允许中断传入图像流132(诸如使用长曝光图像捕获)和/或用于捕获传入图像134的图像捕获设备(例如，相机)的类型或数量。例如，关于元件130，在特定图像的捕获期间图像捕获设备正在比某一阈值移动量更快地平移或旋转的指示可能导致统一方案不包括特定图像或至少不选择特定图像，以在融合操作期间用于参考图像的作用。关于元件132，在一些实施方案中，可能不允许使用长曝光图像捕获来中断传入图像流，因为，例如，在捕获请求被接收到时，图像捕获设备可以同时以特定帧速率正捕获视频流，并且停止以捕获长曝光图像可能导致视频流降低其帧速率，这在给定实现方式中可能是不期望的或是不可接受的。
图像捕获条件121可以与由图像捕获设备捕获的特定相应图像的属性和/或特性相关。例如，图像捕获条件121可以包括以下指示：在相应图像136的捕获期间在图像捕获设备周围的环境光水平、捕获图像的内容的构成138(例如图像直方图、亮度、清晰度、色调曲线和噪声水平)和/或场景分类140，例如，机器学习方法可以在后台运行并基于各种标准(例如，微笑检测/眨眼检测、事件类型和场景动态等)对传入图像进行分析/分类。
如上所述，一个或多个捕获条件由图像包围曝光选择逻辑部件145评估，所述图像包围曝光选择逻辑部件145的示例将参考图3在以下进一步详细描述。因此，图像包围曝光选择逻辑部件145可以确定一组两个或更多个所选图像150(可能包括指定哪个所选图像将用作参考)，所述图像可以用于改进的图像融合处理流水线的其余部分，例如，返回到图1A的步骤108。
现在参考图2A，根据一个或多个实施方案，示出了可以在自适应图像包围曝光选择和融合方法中使用的示例性传入图像流200。可以沿时间线(例如，示例性图像捕获时间线202)捕获来自传入图像流200的图像，该时间线从标记为0秒的起始点延伸到标记为1秒的点。应当理解，仅出于说明性目的而呈现该时间线，并且基于给定实现方式的能力和/或需要，可以捕获给定的传入图像流达几秒、几分钟、几小时和几天等。
根据一些实施方案，传入图像流中的EV0图像帧可以根据第一帧速率(例如，15帧/秒(fps)、30fps和60fps等)通过默认被捕获。在一些实施方案中，该帧速率可保持恒定且不间断，除非(或直到)在图像捕获设备处接收到捕获请求206。在其它实施方案中，基于例如一个或多个设备条件，例如设备操作模式、可用处理资源、环境照明条件、设备的热条件等，EV0图像帧的捕获帧速率可以随时间变化。
在其它实施方案中，一个或多个捕获的EV0图像可以与作为前述SFP的一部分的另一图像配对。根据一些实施方案，SFP可以包括从图像传感器连续地(例如紧接在相应的EV0图像的捕获之后)捕获和读出的图像。在一些实施方案中，SFP可以包括EV0图像以及EV-1图像帧、EV-2图像帧或EV-3图像帧等。EV-图像将具有较低的曝光时间，因此比它们的EV0对应图像稍暗并且具有更多的噪声，但是它们在定格运动和/或在图像的较暗区域中表示细节方面可以做出更好表现。
在图2A所示的示例中，SFP204由图像捕获设备(例如，2041、2042、2043和2044等)顺序地捕获，每个SFP均包括具有不同曝光值的两个图像，例如，EV0图像和相应的EV-图像。注意，图2A中所示的EV0图像和EV-图像使用下标符号(例如，EV-1、EV-2、EV-3和EV-4等)。该下标仅用于表示正被捕获的图像的不同情况(并且不是不同数量的曝光停止)。应当理解，尽管在图2A的示例中示出为成对的EV0图像和EV-图像，但是任何期望对的曝光水平均可以利用于SFP中的图像，例如EV0图像和EV-2图像或EV0图像和EV-3图像等。在其它实施方案中，基于图像捕获设备的能力，SFP甚至可以包括多于两个图像(例如，三个图像或四个图像)。
在一些实施方案中，图像捕获设备在包括每个SFP的图像的捕获期间的相对曝光设置可以由图像捕获设备的AE机构驱动。因此，在一些情况下，可以独立于其它捕获的SFP来确定用于每个SFP的曝光设置。在一些情况下，AE机构在其对环境照明条件的变化的反应方面可能具有内置的延迟或滞后，使得相机的AE设置不会变化太快，从而导致不期望的闪光或亮度变化。因此，给定捕获图像(例如，EV0图像、EV-图像和/或EV+图像)的曝光设置可以基于相机的当前AE设置。由于SFP中图像的读出的连续性质，可能的是，SFP中的每个图像将由相同的AE设置驱动(即，对于当前照明条件将相对于相同计算的EV0设置而被捕获)。但是，如果SFP中捕获图像之间的延迟足够长和/或如果相机的AE机构对环境照明变化的反应足够快，则在一些情况下，给定SFP中的图像通过不同的AE设置来驱动是可能的(即，可以相对于第一计算的EV0设置来捕获SFP中的第一图像，并且可以相对于第二计算的EV0设置来捕获SFP中的第二图像)。当然，在SFP的上下文之外，例如来自传入图像流的连续地捕获的图像再次基于例如改变环境照明条件和相机的AE机构更新其计算的EV0设置的速率相对于不同的计算的EV0设置被捕获也是可能的。
根据一些实施方案，传入图像流的捕获帧速率可以基于环境光水平而改变(例如，在明亮光线条件下以30fps捕获以及在低光线条件下以15fps捕获)。在一个示例中，假设图像传感器以30fps的速率正在串流传输捕获图像，则还以30fps捕获连续的SFP图像对(例如，EV0和EV-)。任何两个此类的SFP捕获之间的时间间隔均将是1/30秒，并且此类间隔可以在SFP中的两个图像(例如，EV0图像和EV-图像)的捕获之间分开。根据一些实施方案，间隔的第一部分可以用于捕获该对的EV0图像，并且该间隔的最后部分可以用于捕获该对的EV-图像。当然，在该30fps的示例中，给定对中EV0图像和EV-图像的曝光时间之和不能超过1/30秒。
根据一些实施方案，沿时间线202向前移动到捕获请求206，长曝光图像2081可以响应于捕获请求206的接收而由图像捕获设备捕获。根据一些实施方案，在接收到捕获请求206后，附加的延迟207可以被内置到在图像捕获流，例如，使得在长时间曝光图像捕获启动之前，可以减少由用户触摸或选择图像捕获设备上的捕获按钮(例如，物理按钮或基于软件的用户界面按钮或其它图形元素)引起的任何晃动或振动，所述长时间曝光图像捕获虽然更有可能产生低噪声图像，但由于快门在捕获长曝光图像期间保持打开的时间量，其可能更容易模糊，并且因此缺乏清晰度。
如上所述，基于一个或多个捕获条件的评估，图像捕获设备然后可以选择两个或更多个图像210，用于包括在图像融合操作中。在图2A的示例中，已经选择图像：EV03、EV-3、EV04和LONG1，用于包括在融合操作中，并且尤其是，可以选择EV03图像或EV-3图像中的一个图像(来自二级帧对2043)以用作最终参考图像。根据一些实施方案，作为初始步骤，可以将SFP中的一个或多个识别为“候选参考图像对”，即，用于融合操作的最终参考图像可以从其获取的图像对。在一些实施方案中，候选参考图像对可包括在接收的捕获请求之前(和/或之后)捕获的预定数量的SFP。例如，在一些实施方案中，候选参考图像对可以包括在捕获请求之前捕获的四个SFP。接下来，可以将特定候选参考图像对选择为“所选参考图像对”。例如，可以至少部分地基于所选参考图像对的相应EV0图像的清晰度得分与其它候选参考图像对的相应的EV0图像的清晰度得分的比较来选择所选参考图像对。例如，所选参考图像对可以是具有最清晰的EV0图像的SFP。在其它实施方案中，所选参考图像对的确定可以基于一个或多个定时度量或图像/设备捕获条件。如上所述，在图2A所示的示例中，例如，由于EV03可以是来自正被考虑用于融合操作的EV0图像中的最清晰的EV0图像的事实(或者对于给定的实现方式，参考图像选择决定可以基于的任何图像方面或方面的组合)，二级帧对2043已被选择为所选参考图像对。
根据此类实施方案，从所选参考图像对(例如，包括一个EV0图像和一个EV-图像)，该过程可以选择一个图像以用作最终参考图像211，例如来自所选参考图像对的EV0图像或EV-图像。可以基于多个因素来确定来自所选参考图像对的哪个图像用于选择以用作用于融合操作的最终参考图像。例如，该确定可以基于各种图像方面，例如：噪声水平、清晰度和/或重影伪影的存在(或普遍性)。例如，为了确保较低的噪声，EV0图像可以被选择为最终参考图像，尤其是在较低的环境光水平的条件下。另一方面，例如，在具有移动物体和/或移动的人的动态场景中，EV-图像可以优选作为最终参考图像，因为它确保了比来自所选参考图像对的对应EV0图像更短的曝光时间和因此更少的运动模糊。在图2A所示的示例中，EV03已经被选择以用作用于融合操作的最终参考图像211(如EV03上由较粗边界线所示的那样)。一旦选择了最终参考图像，就可以相对于最终参考图像211配准其它所选图像210中的每个图像，例如包括图2A所示的示例中的EV-3图像、EV04图像和长曝光图像2081。
所选图像的融合操作将产生融合图像212。如以下参考图3所解释的那样，在融合操作中包括哪些图像的决定可以基于一组预定的规则和/或决策树，所述预定的规则和/或决策树可以用于将各种捕获条件转换成将被选择用于图像融合操作的图像组。还如图2A的示例中所示的那样，在捕获长曝光图像之后，图像捕获流可以返回以捕获SFP 204N和EV0图像，或者任何其它图像模式均由给定的实现方式所需，例如，直到接收到下一个捕获请求从而触发另一个长曝光图像的捕获，或者直到设备的相机功能被停用。
现在参考图2B，根据一个或多个实施方案，示出了可以在自适应图像包围曝光选择和融合方法中使用的另一个示例性传入图像流250。与图2A相反，在图2B中所示的传入图像流250中，图像捕获设备没有捕获单个长曝光图像，所述单个长曝光图像具有比响应于捕获请求的EV0图像和EV-图像相对更长的曝光时间。当然，图像捕获设备可以捕获一系列两个或更多个附加的短曝光图像(例如，如图2B中的二级帧对2045–2048所示的那样)。在图2B的示例中，一组图像252(例如，在捕获请求(2045–2048)之后捕获的四个短曝光EV0图像以及在捕获请求(2041–2044)之前捕获的四个短曝光EV0图像)被选择并一起融合(例如，经由平均算法)到合成的长曝光图像(SYNTHETIC LONG1 254)中。在其它实施方案中，可以将不同数量的短曝光图像融合在一起，以形成合成的长曝光图像，如被期望用于给定实现方式的。例如，在给定的实施方案中，可以仅使用在捕获请求之前捕获的EV0图像，仅仅在捕获请求之后捕获的EV0图像可以被使用，或者在捕获请求之前和之后捕获的EV0图像的期望组合可以被使用。在其它实施方案中，在捕获请求之前和/或之后捕获的一个或多个EV-图像也可以被使用，以形成合成的长曝光图像。例如，在一个实施方案中，可以通过组合各种所选EV0图像和EV-图像(例如，经由加权组合)来形成合成的长曝光图像，其中从各种EV-图像获得高亮区域，并且从各种EV0图像获得场景的其余部分。在其它实施方案中，可以对被选择用于融合到合成的长曝光图像中的成组的图像252执行附加的模糊帧消除处理。例如，具有大于模糊的阈限量(例如，其中模糊的可允许的阈限量可以基于与所选参考图像中的模糊量的比较(即，在图2B的情况下为EV03))的任何EV0帧可以在生成合成的长曝光图像时被丢弃。例如，如图2B所示的那样，图像EV05253已经被确定以使阈限量超过用于当前捕获操作的模糊的最大阈限量，并因此被丢弃而不用于生成合成的长曝光图像。这种更大的相对量模糊可能是由于例如EV05的捕获在时间上接近捕获请求258的接收，该捕获请求可能在紧随的捕获的图像中引起图像捕获设备的额外移动或晃动，例如，由于用户与显示屏幕交互(例如，触摸输入)或以其它方式与设备的用户界面元件(例如，按钮)交互以指示捕获请求。
在一些情况下，由于给定的实现方式可能不想响应于捕获请求而捕获长曝光图像，因此合成的长曝光图像可能是期望的，因为它可能中断视频流，该视频流在接收到图像捕获请求时由图像捕获设备同时捕获。在某些情况下，在捕获合成的长曝光图像时(例如，与长曝光图像相反，如图2A所示的那样)，延迟259时间间隔可以缩短(即，与在长曝光图像响应于捕获请求被捕获时的情况相比)—或者一起消除—因为使用于生成合成的长曝光图像的多个短曝光图像252可能对由于用户与图像捕获设备交互(例如，触摸输入)以指示捕获请求的任何剩余的设备运动所引起的模糊度比典型的长曝光图像更不敏感。然而，一些场景可能太暗以至于不希望使用合成的长曝光图像，例如，由于会导致组成的短曝光图像用于生成合成的长曝光图像的增加的噪声。
一旦生成了合成的长曝光图像254，它可以与来自传入图像流的其它所选图像(在图2B中所示的示例中，例如，包括二帧对2043(包括参考图像EV03261和EV-3)的图像260以及合成的长曝光图像254)融合，以便形成合成的融合图像256。
现在参考图3，根据一个或多个实施方案，示出了将图像捕获条件302与多组图像304相关的一组规则300的示例，所述多组图像304可以被选择用于包括在自适应图像包围曝光选择和融合方法中。在该示例中，所考虑的捕获条件302包括：是否允许例如使用长曝光图像捕获来中断传入图像流；在捕获被认为包括在融合操作中的图像期间是否采用图像捕获设备的OIS模式；是否已捕获一个或多个SFP；以及在来自被认为包括在融合操作中的传入图像流的一个或多个图像中是否检测到闪光。在该特定示例中，前两个捕获条件使用“以及”联接，意味着表300的第一列中的“是”表示传入图像流的中断是可行的并且OIS系统被接合两者。如果不满足任一条件，则表300的第一列将被评估为“否”。同样地，在该特定示例中，两个第二捕获条件也使用“以及”联接，意味着表300的第二列中的“是”表示已捕获二级帧对并且没有闪光被检测到两者。如果不满足任一条件，则表300的第二列将被评估为“否”。在其它实施方案中，捕获条件不一定需要被联接，意味着例如具有四个单独的布尔捕获条件，可能存在可以选择用于融合的潜在的16(即，2^4)个唯一的成组的图像304。
在捕获条件子表3061的行1中，相关的捕获条件302指示：中断是可行的并且OIS系统正在正确地执行，并且情况是获取了二级帧对并且没有闪光被指示。响应于这些评估的条件，这组示例性规则300将确定待选择用于融合的图像包括：EV0可能参考图像、EV-可能参考图像、EV0图像和长曝光图像(如所选图像子表的行3081所示的那样)。如上所述，根据一些实施方案，在已经对所选参考图像对进行初始确定之后，该过程可以从所选参考图像对中选择一个图像以用作最终参考图像，例如来自所选参考图像对的EV0图像或EV-图像。确定来自所选参考图像对的哪个可能参考图像以进行选择以用作融合操作的最终参考图像可以基于任何数量的因素(例如，清晰度和噪声水平等)，如期望用于定实现方式的。
在捕获条件子表3062的行2中，相关捕获条件指示：中断是可行的并且OIS系统正在正确地执行，但是其不是二级帧对被获取并且没有闪光被指示的情况。响应于这些评估的条件，这组示例性规则300将确定待选择用于融合的图像包括：EV0参考图像、两个附加的EV0图像和长曝光图像(如所选图像子表的行3082所示的那样)。
在捕获条件子表3063的行3中，相关捕获条件指示：其不是中断是可行的并且OIS系统被接合的情况，但是其是二级帧对被获得并且没有闪光被指示的情况。响应于这些评估的条件，这组示例性规则300将确定待选择用于融合的图像包括：EV0可能参考图像、EV-可能参考图像、EV0图像和长曝光图像(如所选图像子表的行3083所示的那样)。此外，确定来自所选参考图像对的哪个可能参考图像以进行选择以用作用于融合操作的最终参考图像可以基于任何数量的因素，如期望用于定实现方式的。值得注意的是，在行3的示例中，由于其是OIS系统未被接合(或者不存在于图像捕获设备中)或者传入图像流的中断不被允许而不是捕获长曝光图像的情况，因此图像捕获设备可以替代地捕获附加的一个或多个EV0图像(或EV0/EV-图像对)，其中的一个图像可以被选择用于包括在融合操作中(如表300的行3083中的最右列所示的那样)。
最终，在捕获条件子表3064的行4中，相关的捕获条件指示：其不是中断是可行的并且OIS系统被接合的情况，并且其也不是二级帧对被获得并且没有闪光被指示的情况。响应于这些评估的条件，这组示例性规则300将确定待选择用于融合的图像包括：EV0参考图像和三个附加的EV0图像(如所选图像子表的行3084中所示的那样)。如在行3的示例中，由于OIS系统未被接合(或者不存在于图像捕获设备中)或者传入图像流的中断不被允许而不是捕获长曝光图像，因此图像捕获设备可以捕获附加的一个或多个EV0图像(或EV0/EV-图像对)，其中的一个图像可以被选择用于包括在融合操作中(如表300中的行3084中的最右列所示)。
如可以理解的那样，在其它示例中，可以评估多于或少于四个的不同的捕获条件，所述捕获条件包括更多(或不同)设备的捕获条件，和/或图像包围曝光选择逻辑部件也可以考虑一个或多个图像捕获条件。在一些情况下，每个条件均可以单独地变化并且对该组的所选图像的结果均具有单独的影响。如还可以理解的那样，在其它示例中，可以选择多于或少于四个的不同的图像用于包括在图像融合操作中，所述图像包括比图3中所示的图像更多的(或不同)类型的图像和/或经由一个或多个其它图像的融合而形成的一个(或多个)图像，例如，如在合成的长曝光图像的情况下(其可以在某些方案中和/或在某些捕获条件下用于代替长曝光图像，例如，如以上参考图2B所讨论的那样)。
此外，应当理解，可以根据一个或多个相关标准的评估来确定上面参考图3描述的各种捕获条件302中的一个或多个。例如，关于是否在来自传入图像流的一个或多个图像中检测到闪光的确定，可以针对来自传入图像流的给定图像评估指示闪光的一个或多个特性，并且如果指示闪光的一个或多个特性的足够(例如，预定的)数量满足或超过一个或多个相应的闪光标准，则为了捕获条件302的评估，图像可以被指定为具有闪光。同样，关于OIS系统是否被正确地执行的确定(例如，在OIS系统不是简单地被关闭或不存在于图像捕获设备上的情况下)，一个或多个标准可以被应用来进行确定。例如，可以针对来自传入图像流的给定图像评估指示正确地执行的OIS系统的一个或多个特性，并且如果指示正确的OIS系统性能的一个或多个特性的足够(例如，预定的)数量满足或超过一个或多个相应的OIS性能标准，则为了捕获条件302的评估，图像可以被指定为已经用正确地执行的OIS系统拍摄。不同的图像捕获设备可以在其捕获条件302的评估中采用不同的标准，例如，基于给定实现方式的需要和/或给定图像捕获设备的能力。
现在参见图4，其示出了根据一个实施方案的说明性的可编程电子计算设备400的简化的功能框图。电子设备400可为例如移动电话、个人媒体设备、便携式相机、或平板电脑、笔记本电脑或台式计算机的系统。如图所示，电子设备400可包括处理器405、显示器410、用户界面415、图形硬件420、设备传感器425(例如，近距离传感器/环境光传感器、加速度计和/或旋转仪)、麦克风430、音频编解码器435、扬声器440、通信电路445、图像捕获设备450(例如，它可以包括具有不同特性或能力(例如，SIS系统、HDR系统、OIS系统、光学变焦和数字变焦等)的多个相机单元/光学图像传感器)、视频编解码器455、存储器460、存储装置465以及通信总线470。
处理器405可执行有必要用于实施或控制由电子设备400所执行的多种功能的操作的指令(例如，根据本文描述的各种实施方案的图像的生成和/或处理)。处理器405可例如驱动显示器410并可从用户界面415接收用户输入。用户界面415可采取多种形式，例如按钮、小键盘、拨号盘、点击轮、键盘、显示屏和/或触摸屏。用户界面415可以例如是用户可以通过其观看捕获的视频流的导线管和/或指示用户想要捕获的特定帧(例如，通过在设备的显示屏上正显示所需帧的时刻点击物理按钮或虚拟按钮)。在一个实施方案中，显示器410可以显示在处理器405和/或图形硬件420和/或图像捕获电路同时地生成视频流并将视频流存储在存储器460和/或存储装置465中时其被捕获的视频流。处理器405可以是片上系统(例如存在于移动设备中的那些片上系统)，并且可包括一个或多个专用图形处理单元(GPU)。处理器405可基于精简指令集计算机(RISC)架构或复杂指令集计算机(CISC)架构或任何其它合适的架构，并且可包括一个或多个处理内核。图形硬件420可以是用于处理图形和/或帮助处理器405执行计算任务的专用计算硬件。在一个实施方案中，图形硬件420可包括一个或多个可编程图形处理单元(GPU)。
例如，根据本公开，图像捕获设备450可以包括一个或多个相机单元，所述相机单元被配置为捕获图像，例如，可以被处理以生成所述捕获图像的融合版本的图像。至少部分地通过以下设备可处理来自图像捕获设备450的输出：视频编解码器455和/或处理器405和/或图形硬件420、和/或结合在图像捕获设备450内的专用图像处理单元或图像信号处理器。这样捕获的图像可被存储在存储器460和/或存储装置465中。存储器460可包括由处理器405、图形硬件420和图像捕获设备450使用的一种或多种不同类型的介质以执行设备功能。例如，存储器460可包括存储器超高速缓存、只读存储器(ROM)、和/或随机存取存储器(RAM)。存储装置465可存储介质(例如，音频文件、图像文件和视频文件)、计算机程序指令或软件、偏好信息、设备配置文件信息以及任何其它合适的数据。存储装置465可包括一个或多个非暂态存储介质，所述非暂态存储介质包括例如磁盘(固定硬盘、软盘和可移动磁盘)和磁带、光学介质(例如CD-ROM和数字视频光盘(DVD))以及半导体存储设备(例如电可编程只读存储器(EPROM)和电可擦除可编程只读存储器(EEPROM))。存储器460和存储装置465可用于保持计算机程序指令或代码,所述计算机程序指令或代码被组织成一个或多个模块并以任何所需的计算机编程语言编写。例如，在由处理器405执行时，此类计算机程序代码可实现本文所述的方法或过程中的一种或多种。
应当理解，以上描述旨在是示例性的而非限制性的。例如，可彼此结合地使用上述实施方案。在回顾以上描述时，许多其它实施方案对于本领域的技术人员而言将是显而易见的。因此，应当参考所附权利要求以及赋予此类权利要求的等同形式的完整范围来确定本发明的范围。

Claims (20)

1.一种用于融合图像的设备，包括：
存储器；
一个或多个图像捕获设备；
显示器；
用户界面；和
一个或多个处理器，所述一个或多个处理器可操作地耦接到所述存储器，其中所述一个或多个处理器被配置为执行使得所述一个或多个处理器执行以下操作的指令：
从所述一个或多个图像捕获设备获得传入图像流；
获得与所述传入图像流的所述捕获相关联的一个或多个捕获条件；
经由所述用户界面来接收捕获请求；
响应于所述捕获请求来至少部分地基于所述一个或多个捕获条件从所述传入图像流选择两个或更多个图像，其中来自所述传入图像流的所选图像中的至少一个图像包括在接收所述捕获请求之前捕获的图像；
配准所选两个或更多个图像；
融合所配准的两个或更多个图像以形成融合图像；以及
将所述融合图像存储在所述存储器中。
2.根据权利要求1所述的设备，其中所述传入图像流包括具有两个或更多个不同曝光值的图像。
3.根据权利要求2所述的设备，其中所述传入图像流包括多个按顺序捕获的图像，其中所述多个按顺序捕获的图像的所述曝光值遵循曝光值的模式。
4.根据权利要求1所述的设备，其中来自所述传入图像流的所选图像中的至少一个图像包括在接收所述捕获请求之后捕获的图像。
5.根据权利要求4所述的设备，其中在接收所述捕获请求之后捕获的所述图像包括长曝光图像。
6.根据权利要求5所述的设备，其中所述长曝光图像的曝光时间至少部分地基于在所述一个或多个图像捕获设备周围的环境光水平。
7.根据权利要求1所述的设备，其中所述一个或多个捕获条件包括以下中的至少一个：
在所述一个或多个图像捕获设备周围的环境光水平；
是否已经采用所述一个或多个图像捕获设备的光学图像稳定(OIS)模式；
是否已经采用所述一个或多个图像捕获设备的高动态范围(HDR)模式；
是否已经在来自所述传入图像流的所述图像中的一个或多个图像中检测到闪光；
是否允许使用长曝光图像捕获来中断所述传入图像流；
所述传入图像流是否包括具有不同曝光值的图像帧对；以及
所述一个或多个图像捕获设备在所述传入图像流的所述捕获期间的位置信息。
8.根据权利要求1所述的设备，其中所选两个或更多个图像包括：至少两个EV0图像。
9.根据权利要求8所述的设备，其中所选两个或更多个图像还包括：至少一个EV-图像。
10.根据权利要求9所述的设备，其中所选两个或更多个图像还包括：至少一个长曝光图像。
11.根据权利要求1所述的设备，其中来自所述传入图像流的所选两个或更多个图像还包括：在接收所述捕获请求之前捕获的两个图像，其中所述两个图像被连续捕获，并且其中所述两个图像用不同的曝光值被捕获。
12.根据权利要求11所述的设备，其中所述两个图像中的一个图像被选择用作用于所选两个或更多个图像的所述配准的参考图像。
13.一种非暂态程序存储设备，所述非暂态程序存储设备包括被存储在其上的指令，所述指令使得一个或多个处理器：
从一个或更多个图像捕获设备获得传入图像流；
获得与所述传入图像流的所述捕获相关联的一个或多个捕获条件；
从所述一个或多个图像捕获设备中的至少一个设备接收捕获请求；
响应于所述捕获请求来至少部分地基于一个或多个捕获条件从所述传入图像流选择两个或更多个图像，其中来自所述传入图像流的所选图像中的至少一个图像包括在接收所述捕获请求之前捕获的图像；
配准所选两个或更多个图像；
融合所配准的两个或更多个图像以形成融合图像；以及
将所述融合图像存储在所述存储器中。
14.根据权利要求13所述的非暂态程序存储设备，其中所选两个或更多个图像还包括：至少一个EV-图像。
15.根据权利要求14所述的非暂态程序存储设备，其中所选两个或更多个图像还包括：至少一个长曝光图像。
16.根据权利要求13所述的非暂态程序存储设备，其中来自所述传入图像流的所选两个或更多个图像还包括：在接收所述捕获请求之前捕获的两个图像，其中所述两个图像被连续捕获，并且其中所述两个图像用不同的曝光值被捕获。
17.根据权利要求16所述的非暂态程序存储设备，其中所述两个图像中的一个图像被选择用作用于所选两个或更多个图像的所述配准的参考图像。
18.一种用于融合图像的方法，包括：
从一个或更多个图像捕获设备获得传入图像流；
获得与所述传入图像流的所述捕获相关联的一个或多个捕获条件；
从所述一个或多个图像捕获设备中的至少一个设备中接收捕获请求；
响应于所述捕获请求来至少部分地基于所述一个或多个条件从所述传入图像流选择两个或更多个图像，其中来自所述传入图像流的所选图像中的至少一个图像包括在接收所述捕获请求之前捕获的图像；
配准所选两个或更多个图像；
融合所配准的两个或更多个图像以形成融合图像；以及
将所述融合图像存储在存储器中。
19.根据权利要求18所述的方法，还包括：对所述融合图像执行降噪。
20.根据权利要求18所述的方法，其中来自所述传入图像流的所选两个或更多个图像还包括：在接收所述捕获请求之前捕获的两个图像，其中所述两个图像被连续捕获，并且其中所述两个图像用不同的曝光值被捕获。
CN201910453158.7A 2018-06-01 2019-05-28 用于成像的统一包围曝光方法 Pending CN110557573A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210728816.0A CN115037884B (zh) 2018-06-01 2019-05-28 用于融合图像的方法和电子设备

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862679708P 2018-06-01 2018-06-01
US62/679,708 2018-06-01

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210728816.0A Division CN115037884B (zh) 2018-06-01 2019-05-28 用于融合图像的方法和电子设备

Publications (1)

Publication Number Publication Date
CN110557573A true CN110557573A (zh) 2019-12-10

Family

ID=68694198

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910453158.7A Pending CN110557573A (zh) 2018-06-01 2019-05-28 用于成像的统一包围曝光方法
CN202210728816.0A Active CN115037884B (zh) 2018-06-01 2019-05-28 用于融合图像的方法和电子设备

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202210728816.0A Active CN115037884B (zh) 2018-06-01 2019-05-28 用于融合图像的方法和电子设备

Country Status (2)

Country Link
US (2) US10977778B2 (zh)
CN (2) CN110557573A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112101448A (zh) * 2020-09-10 2020-12-18 敬科(深圳)机器人科技有限公司 一种屏幕图像识别方法、设备、系统和可读存储介质
CN113824893A (zh) * 2020-06-19 2021-12-21 苹果公司 基于相机快门激活频率的动态图像处理
CN114257750A (zh) * 2020-09-23 2022-03-29 苹果公司 向后兼容的高动态范围（hdr）图像
CN115297257A (zh) * 2020-06-28 2022-11-04 杭州海康威视数字技术股份有限公司 一种多路视频流获取方法、装置及设备

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11094039B1 (en) 2018-09-11 2021-08-17 Apple Inc. Fusion-adaptive noise reduction
US11189017B1 (en) * 2018-09-11 2021-11-30 Apple Inc. Generalized fusion techniques based on minimizing variance and asymmetric distance measures
US11039079B1 (en) * 2019-05-07 2021-06-15 Lux Optics Incorporated Generating long exposure images
US10819915B1 (en) * 2019-10-17 2020-10-27 Horiba Instruments Incorporated Apparatus and method generating high dynamic range video
US10911691B1 (en) * 2019-11-19 2021-02-02 Samsung Electronics Co., Ltd. System and method for dynamic selection of reference image frame
US11394900B1 (en) 2020-05-07 2022-07-19 Lux Optics Incorporated Synthesizing intermediary frames for long exposure images
CN113724142B (zh) * 2020-05-26 2023-08-25 杭州海康威视数字技术股份有限公司 图像复原系统及方法
US11223780B1 (en) * 2020-10-23 2022-01-11 Black Sesame Technologies Inc. Two-stage method to merge burst image frames
US11373281B1 (en) * 2021-02-23 2022-06-28 Qualcomm Incorporated Techniques for anchor frame switching
CN117529929A (zh) 2021-07-21 2024-02-06 三星电子株式会社 使用屏下相机捕获媒体的方法和电子装置
US20230209210A1 (en) * 2021-12-28 2023-06-29 Advanced Micro Devices, Inc. System and method for image banding detection
US20230254591A1 (en) * 2022-02-09 2023-08-10 Samsung Electronics Co., Ltd. System and method for flicker avoidance in multi-frame multi-exposure image captures
US20240020807A1 (en) * 2022-07-12 2024-01-18 Apple Inc. Deep Learning-Based Fusion Techniques for High Resolution, Noise-Reduced, and High Dynamic Range Images with Motion Freezing

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013515442A (ja) * 2009-12-22 2013-05-02 イーストマン コダック カンパニー 静止画像及びプレビュー画像を用いた高ダイナミックレンジ画像の生成
CN105376473A (zh) * 2014-08-25 2016-03-02 中兴通讯股份有限公司 一种拍照方法、装置及设备
CN106060406A (zh) * 2016-07-27 2016-10-26 维沃移动通信有限公司 一种拍照方法及移动终端
CN106060446A (zh) * 2011-11-23 2016-10-26 联发科技股份有限公司 图像选取方法及装置

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008228282A (ja) * 2007-02-13 2008-09-25 Matsushita Electric Ind Co Ltd 画像処理装置
JP5083090B2 (ja) * 2007-09-18 2012-11-28 ソニー株式会社 表示制御装置、撮像装置、表示制御方法およびプログラム
US7940311B2 (en) * 2007-10-03 2011-05-10 Nokia Corporation Multi-exposure pattern for enhancing dynamic range of images
CN101394487B (zh) 2008-10-27 2011-09-14 华为技术有限公司 一种合成图像的方法与系统
JP5257375B2 (ja) * 2009-03-13 2013-08-07 オムロン株式会社 画像処理装置および画像処理方法
US8228400B2 (en) * 2009-04-17 2012-07-24 Sony Corporation Generation of simulated long exposure images in response to multiple short exposures
US8570396B2 (en) 2009-04-23 2013-10-29 Csr Technology Inc. Multiple exposure high dynamic range image capture
CN103002225B (zh) * 2011-04-20 2017-04-12 高通科技公司 多曝光高动态范围图像捕捉
SE1150505A1 (sv) * 2011-05-31 2012-12-01 Mobile Imaging In Sweden Ab Metod och anordning för tagning av bilder
JP5832855B2 (ja) * 2011-11-01 2015-12-16 クラリオン株式会社 画像処理装置、撮像装置および画像処理プログラム
US9137456B2 (en) * 2012-06-06 2015-09-15 Apple Inc. Intelligent auto-exposure bracketing
KR101953614B1 (ko) * 2012-10-12 2019-05-22 삼성전자주식회사 카메라장치의 이미지처리장치 및 방법
US8902328B2 (en) * 2013-03-14 2014-12-02 Konica Minolta Laboratory U.S.A., Inc. Method of selecting a subset from an image set for generating high dynamic range image
US9344638B2 (en) 2014-05-30 2016-05-17 Apple Inc. Constant bracket high dynamic range (cHDR) operations
TWI543615B (zh) * 2014-07-17 2016-07-21 華碩電腦股份有限公司 影像處理方法及其電子裝置
US9723200B2 (en) 2014-10-15 2017-08-01 Microsoft Technology Licensing, Llc Camera capture recommendation for applications
US20170109912A1 (en) * 2015-10-15 2017-04-20 Motorola Mobility Llc Creating a composite image from multi-frame raw image data
US9990536B2 (en) * 2016-08-03 2018-06-05 Microsoft Technology Licensing, Llc Combining images aligned to reference frame
US10771697B2 (en) * 2016-09-06 2020-09-08 Apple Inc. Still image stabilization/optical image stabilization synchronization in multi-camera image capture
US9955085B2 (en) * 2016-09-22 2018-04-24 Apple Inc. Adaptive bracketing techniques
US10302764B2 (en) * 2017-02-03 2019-05-28 Microsoft Technology Licensing, Llc Active illumination management through contextual information
US10554902B2 (en) * 2018-05-01 2020-02-04 Hanwha Techwin Co., Ltd. Apparatus and method for processing images
GB201807392D0 (en) * 2018-05-04 2018-06-20 Five Ai Ltd Method and image processing system for extracting depth information

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013515442A (ja) * 2009-12-22 2013-05-02 イーストマン コダック カンパニー 静止画像及びプレビュー画像を用いた高ダイナミックレンジ画像の生成
CN106060446A (zh) * 2011-11-23 2016-10-26 联发科技股份有限公司 图像选取方法及装置
CN105376473A (zh) * 2014-08-25 2016-03-02 中兴通讯股份有限公司 一种拍照方法、装置及设备
CN106060406A (zh) * 2016-07-27 2016-10-26 维沃移动通信有限公司 一种拍照方法及移动终端

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113824893A (zh) * 2020-06-19 2021-12-21 苹果公司 基于相机快门激活频率的动态图像处理
CN113824893B (zh) * 2020-06-19 2023-11-14 苹果公司 用于获得图像的设备、方法及程序存储设备
CN115297257A (zh) * 2020-06-28 2022-11-04 杭州海康威视数字技术股份有限公司 一种多路视频流获取方法、装置及设备
CN115297257B (zh) * 2020-06-28 2024-02-02 杭州海康威视数字技术股份有限公司 一种多路视频流获取方法、装置及设备
CN112101448A (zh) * 2020-09-10 2020-12-18 敬科(深圳)机器人科技有限公司 一种屏幕图像识别方法、设备、系统和可读存储介质
CN114257750A (zh) * 2020-09-23 2022-03-29 苹果公司 向后兼容的高动态范围（hdr）图像

Also Published As

Publication number Publication date
CN115037884A (zh) 2022-09-09
US10977778B2 (en) 2021-04-13
CN115037884B (zh) 2024-09-20
US20190370948A1 (en) 2019-12-05
US11562470B2 (en) 2023-01-24
US20210256669A1 (en) 2021-08-19

Similar Documents

Publication Publication Date Title
CN115037884B (zh) 用于融合图像的方法和电子设备
CN110062160B (zh) 图像处理方法和装置
EP3609177B1 (en) Control method, control apparatus, imaging device, and electronic device
US9407831B2 (en) Intelligent auto-exposure bracketing
US10148893B2 (en) Methods, systems, and media for high dynamic range imaging
US10158797B2 (en) Combining images when a face is present
CN106375674B (zh) 寻找和使用与相邻静态图像相关的视频部分的方法和装置
JP6066536B2 (ja) ゴーストのない高ダイナミックレンジ画像の生成
JP5136669B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6720881B2 (ja) 画像処理装置及び画像処理方法
KR20150026268A (ko) 이미지 안정화 방법 그 전자 장치
JP6572004B2 (ja) 露出制御装置および露出制御方法
US11113801B1 (en) Robust image motion detection using scene analysis and image frame pairs
US10769416B2 (en) Image processing method, electronic device and storage medium
US9686470B2 (en) Scene stability detection
US11570374B1 (en) Subject-aware low light photography
CN113824893B (zh) 用于获得图像的设备、方法及程序存储设备
US9350916B2 (en) Interleaving image processing and image capture operations
JP5370555B2 (ja) 撮像装置、撮像方法及びプログラム
US12058448B1 (en) Adaptive image bracket determination
CN115278046A (zh) 拍摄方法、装置、电子设备和存储介质
KR20160109603A (ko) 촬영 장치 및 촬영 방법
CN117408896A (zh) 图像生成方法、装置、电子设备和计算机可读存储介质
JP2008311906A (ja) 画像データ照合装置、画像合成装置及びプログラム
JP2011015448A (ja) 移動体と静止物の露出制御を任意に行うことができるデジタルカメラ

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191210