CN102016912A - 提供改进的图像捕获的方法、计算机程序产品和装置 - Google Patents

Abstract

本发明的示例性实施例允许在数字图像捕获系统内的并行操作。例如，可以在随后的图像正被捕获的同时处理原始图像数据。在本发明一个示例性实施例中，一种方法包括：在数字图像捕获设备内执行至少一个前台操作，以及在所述数字图像捕获设备内执行至少一个后台操作，其中所述至少一个前台操作包括：经由至少一个传感器捕获原始图像数据，将已捕获的原始图像数据存储作为中间文件，以及激活数字取景器；其中所述至少一个后台操作包括：访问所述中间文件，对所述中间文件的原始图像数据执行图像处理以获得已处理图像数据，以及存储所述已处理图像数据，其中所述至少一个后台操作独立于所述至少一个前台操作执行。

Description

提供改进的图像捕获的方法、计算机程序产品和装置

相关申请的交叉引用

本专利申请要求保护2008年5月2日提交的美国专利No.12/150,966的优先权。

技术领域

本发明的示例性和非限制性实施例一般地涉及图像捕获设备或组件，并更具体地涉及数字图像捕获。

背景技术

在此使用了以下缩写：

CCD     电荷耦合设备

CF      紧凑式闪存

CMOS    补型金属氧化物半导体

CPU     中央处理单元

DMA     直接存储器访问

DPCM    差值脉冲码调制

DSP     数字信号处理器

GIF     图形互换格式

HW      硬件

HWA     硬件加速器

ISP     图像信号处理器

JPEG    联合图像专家组

MMS     多媒体消息服务

MMU      存储器管理单元

PCM      脉冲码调制

PDA      个人数字助理

RAM      随机存取存储器

RGB      红、绿、蓝色空间/模型

RF       射频

SDRAM    同步动态随机存取存储器

SW       软件

UI       用户界面

VF       取景器

YUV      亮度-色差-色差色彩空间/模型

Y’CbCr  亮度和色度成分色彩空间/模型

数字照相机系统(诸如移动电话中的那些)可以使用基于HW ISP、HWA、或SW的图像处理。一般而言，基于HW的解决方案处理图像比基于SW的对应方案更快，但是更昂贵并且更不灵活。

在数字静态图像照相机照片拍摄期间，多个顺序的处理步骤被执行，以便产生最终图像。例如，这些步骤可以包括：从照相机传感器HW中将原始图像数据提取到存储器中，处理原始图像(例如：内插、缩放、裁剪、白平衡、旋转)，将原始图像转换为用于显示或进一步处理的中间格式(例如，诸如JPEG或GIF的格式)，以及将图像保存于非易失性存储器(例如，文件系统)。这些操作以顺序的方式执行，从而使得直到操作完成为止都无法捕获新图像。关联于这些顺序处理步骤的时间延迟加上重新激活数字取景器从而用户可以拍摄下一照片的时间延迟被称为“拍摄间隔时间”。

图1示出了由传统的顺序图像捕获系统执行的顺序操作的图100。在步骤101，照相机传感器产生原始数据。原始图像数据被从照相机传感器HW提取到存储器(例如，易失性存储器)。在步骤102，原始数据被图像处理组件处理，图像处理组件生成已处理图像。在步骤103，已处理图像被转换为用于显示或进一步处理的中间格式。在步骤104，得到的图像被压缩为存储格式。在步骤105，已压缩图像被存储在非易失性存储器中。在步骤106，数字取景器被重新激活。如图1可看出的，为了使数字取景器在照片已被拍摄(步骤101)之后重新激活(步骤106)，步骤102-105必须首先被执行。

照相机传感器分辨率(例如在移动电话和终端中)正逐渐增加。同时，图像处理正在由专用HW向SW转移，以便降低成本。这通常对图像处理(例如CPU)和存储器性能(例如，存储器大小和/或速度)造成更大压力。结果，拍摄照片的时间长度通常正逐渐增加。即，由于图像的处理和保存的原因，用户可能体验到在按下照相机捕获按钮以及能够随后访问菜单或拍摄随后的照片之间的延迟。

通过基于SW的解决方案，顺序处理通常是低效的，并且，从用户视角看来，不能容忍等待一段时间长度(例如30秒)来捕获另一图像或者图像连拍或者使得取景器再次运行(例如，显示预览)。

某些传统照相机使用连拍模式而以快速方式捕获许多图像。在连拍模式中，原始图像被存储在缓冲器存储器中，并从中进行处理。例如，如果使用了具有5图像缓冲器存储器的照相机，则可以快速拍摄5张图像，但是当拍摄第6张图像时存在延迟，因为需要进行等待直到所有原始图像已经被处理并且已经为新的原始图像释放了充足的缓冲器存储器为止。

一种现有技术解决方案描述了一种方法和数字照相机，其寻求提供在拍摄照片的机会之间的减少的延迟。该解决方案使用并行HW处理来提供在任一时间最多对两张图像的处理。该解决方案依赖于每一处理步骤在临界时间内完成，并且仅以最终的JPEG格式提供图像。此外，在断电期间，该解决方案完成对未处理图像的处理。

另一种现有技术解决方案描述了装置和方法，用于通过延迟图像处理而增加数字照相机图像捕获速率。在该解决方案中，图像以它们被捕获的顺序被处理。最终输出仅作为JPEG可用，并且总是使用后台处理。

发明内容

以下发明内容段落意在仅是示例性的，而不是限制性的。

在本发明的一示例性实施例中，一种方法包括：在数字图像捕获设备内执行至少一个前台操作，其中所述至少一个前台操作包括：经由至少一个传感器捕获原始图像数据，将已捕获的原始图像数据存储作为中间文件，以及激活数字取景器；以及在所述数字图像捕获设备内执行至少一个后台操作，其中所述至少一个后台操作包括：访问所述中间文件，对所述中间文件的原始图像数据执行图像处理以获得已处理图像数据，以及存储所述已处理图像数据，其中所述至少一个后台操作独立于所述至少一个前台操作来执行。

在另一示例性实施例中，一种机器可读的程序存储设备，其有形地包含可由机器执行的、用于执行操作的程序指令，所述操作包括：在数字图像捕获设备内执行至少一个前台操作，其中所述至少一个前台操作包括：经由至少一个传感器捕获原始图像数据，将已捕获的原始图像数据存储作为中间文件，以及激活数字取景器；以及在所述数字图像捕获设备内执行至少一个后台操作，其中所述至少一个后台操作包括：访问所述中间文件，对所述中间文件的原始图像数据执行图像处理以获得已处理图像数据，以及存储所述已处理图像数据，其中所述至少一个后台操作独立于所述至少一个前台操作执行。

在另一示例性实施例中，一种装置，包括：至少一个传感器，被配置用于捕获原始图像数据；第一存储器，被配置用于存储原始图像数据；显示器，被配置用于显示取景器图像或所述原始图像数据的预览图像中的至少一个；图像处理器，被配置用于处理已存储的原始图像数据，以获得已处理的图像数据；以及第二存储器，被配置用于存储已处理的图像数据，其中所述图像处理器被配置用于独立于所述至少一个传感器和所述显示器进行操作。

附图说明

在以下具体实施方式中，当结合附图阅读时，本发明示例性实施例的前述和其它方面会更明显，在附图中：

图1示出了由传统的顺序图像捕获系统执行的顺序操作的图；

图2示出了根据本发明示例性实施例用于在数字图像捕获系统中的双阶段操作的示例性过程的框图；

图3示出了根据本发明示例性实施例的各方面的在示例性设备(照相机)中的组件和控制路径的图；

图4示出了引入图3中所示的示例性照相机的特征的另一示例性照相机；

图5A和5B描述了根据本发明示例性实施例的示出与照相机的图像队列和后台处理有关的示例性过程的流程图；

图6描述了根据本发明示例性实施例的示出与可以针对照相机实现的暂停特征有关的示例性过程的流程图；

图7示出了适用于实施本发明的示例性实施例的电子设备的简化框图；

图8描述了根据本发明示例性实施例的用于示例性图像捕获系统的硬件和软件交互；

图9描述了示出一种用于实施本发明示例性实施例的方法的一个非限制性示例的流程图；

图10描述了示出一种用于实施本发明示例性实施例的方法的另一非限制性示例的流程图；

图11描述了示出一种用于实施本发明示例性实施例的方法的另一非限制性示例的流程图；

图12描述了示出一种用于实施本发明示例性实施例的方法的另一非限制性示例的流程图；

图13示出了根据本发明示例性实施例的用于示例性过程的多阶段操作和在数字图像捕获系统中多个存储缓冲器的使用的框图；

图14示出了用于具有最小限度处理的具备单个存储缓冲器的本发明示例性实施例的缓冲器使用的示例；

图15示出了具有最小限度处理的利用两个存储缓冲器的本发明示例性实施例的缓冲器使用的示例；

图16示出了不具有最小限度处理的使用两个存储缓冲器的本发明示例性实施例的缓冲器使用的示例；

图17示出了具有最小限度处理的使用六个存储缓冲器以及两个后台图像处理器的本发明示例性实施例的缓冲器使用的示例；

图18示出了具有最小限度处理的使用九个存储缓冲器以及两个后台图像处理器、但仅有单个后台处理器的本发明示例性实施例的缓冲器使用的示例；以及

图19示出了具有最小限度处理的使用三个存储缓冲器、两个后台图像处理器、以及两个后台处理器的本发明示例性实施例的缓冲器使用的示例。

具体实施方式

数字照相术使用沿着传感平面的像素阵列(例如，光电二极管)。CCD通常被用作为捕获图像的设备，但是在不脱离此处教导的情况下，诸如互补型金属氧化物半导体CMOS传感器的其它设备也可以被使用。数字照相机不管是能够用于视频还是仅用于静态摄像，其都可以是独立设备，或者可以被并入其它手持便携式设备，诸如蜂窝式电话、个人数字助理、

类型的设备、以及其它设备。将它们并入能够进行双向通信的设备(例如移动站)提供了以下优势：将照片或视频片段例如经由因特网用电子邮件发送。逐步地，数字照相机可以拍摄静态照片或视频，可记录的视频长度通常受限于在其中进行存储的可用存储器。如果需要，本发明还可以应用于非便携式成像或照相机设备。

在一种情形中，传统照相机可以通过在原始图像数据以及已转换的输出数据被写入存储介质(例如CF卡)之前将它们临时存储在缓冲器中，而缓冲它们。照相机将未处理的原始数据存储在缓冲区中，因为它们是由图像传感器提供的。未处理的数据接着被转换为图像文件格式(即，执行图像处理)，其也被临时存储在缓冲器中。图像文件被从缓冲器写入CF卡。注意，转换未处理的数据以及将图像文件写入CF卡的操作可以并行进行。由此，图像处理和写入操作持续地释放缓冲器空间，用于存储新的照片。这样，用户不必非要等待在存在用于拍摄另一连拍(burst)的足够空间之前整个连拍帧被写入CF卡。动态缓冲器使得用户能够在没有缓冲器位置(stall)的情况下，通过使用选定的CF卡顺序地捕获最多144张照片。此外要注意，尽管转换未处理的数据和将图像文件写入CF卡的操作可以并行进行，但是它们是相互关联的，并且无法彼此独立地运行而不会显著影响图像捕获过程的整体效率以及速度。

此情形可以使用光学取景器，这意味着取景器图像根本不会被处理。取而代之的是，通过将镜子和/或棱镜用于向取景器以及向仅用于捕获静态图像的图像传感器提供光，取景器图像到达镜头。此方案不会提供与取景器图像或预览图像处理并行的静态图像处理。

示例性实施例通过将图像捕获过程划分为至少两个独立的过程阶段或集合(以下被称为前台过程和后台过程)，提供了超越现有技术的图像捕获系统的多种实施例。前台过程和后台过程被配置为彼此独立地执行。作为非限制性示例，前台过程可以包括与图像捕获(例如，捕获原始图像数据以及将原始图像数据存储为中间文件)以及数字取景器操作(例如，对取景器图像的捕获、处理、和显示；对针对原始图像数据、中间文件、和/或已处理图像数据的预览图像的显示)具体相关的那些过程。作为非限制性示例，后台过程可以包括与图像处理(例如，从存储装置中取得原始图像数据，对原始图像数据执行图像处理以获得已处理图像数据，存储已处理图像数据)相关的那些过程。以这种方式，图像捕获速度得到提升，因为对图像的处理与对原始图像数据的捕获和存储被分离开。

每个独立阶段能够与其它阶段的操作基本分离地(独立地)执行它的操作。将多个过程分隔成多个阶段可以使能对取景器的快速重初始化，从而用户可以在图像捕获(例如拍照)之后立刻看到取景器图像(即，用于随后的图像捕获)或预览图像(即，用于一个或多个已捕获图像)。此外，在一个或多个较早被捕获的图像已经被处理之前，可以捕获随后的图像。在另一示例性实施例中，即使在图像已经被处理之前，也可以通过使用已存储的原始图像数据(即，中间文件)，(例如从图像图库)查看该图像。

注意，尽管在此所述阶段被描述为彼此独立，但是应该理解，所述阶段通常不会被完全分离，而是在所述阶段中的操作不会以严格顺序的方式执行，并且可以提供对多个操作的并行性能(例如，同步但是分离开的图像捕获与对已捕获图像的处理)。对于至少存储了原始图像数据的中间文件的使用使得能够进行对于原始图像数据的随后访问以及操作(例如图像处理)。此外，由于现在将图像处理从图像捕获过程中移除(例如，与图像捕获过程分离，独立于图像捕获过程)，因此图像捕获过程将不会受到在图像处理中固有的延迟的影响。

出于便利性的目的，以下讨论将假定仅使用了两个独立阶段，在此被称为前台阶段(用于前台过程)以及后台阶段(用于后台过程)。应该理解，任意适当数量的阶段可以被使用。作为非限制性示例，所使用的阶段的数量可以基于所需的操作、硬件考虑、和/或软件考虑。

出于以下讨论的目的，前台过程可以被认为是直接影响图像捕获过程的拍摄间隔时间的那些操作。例如，图像捕获和存储操作位于前台中，因为它们直接影响拍摄间隔时间。类似地，取景器操作(即，用于数字取景器)也位于前台中，因为为了每次拍摄下一照片，通常需要或期望取景器重初始化。与此相反，并且作为非限制性示例，针对本发明示例性实施例，图像过程通常位于后台阶段中，因为图像处理独立于图像捕获执行，并且不需要影响拍摄间隔时间。

图2示出了根据本发明示例性实施例的用于在数字图像捕获系统中的的示例性过程的双阶段操作的框图200。所述过程被分为两个独立阶段：前台SW活动(操作201-204)以及后台SW活动(操作211-215)。如上所述，前台和后台阶段是彼此独立的，从而任一阶段可以独立于另一阶段执行其过程。

前台SW活动可以包括作为非限制性示例的以下过程。在201，照相机传感器产生原始图像数据(例如，响应于用户按下图像捕获按键)。在202，对原始图像数据执行最小限度的处理，并且将结果存储作为中间文件(例如，存储在文件系统、存储缓冲器、或其它存储介质中)(203)。在204，数字取景器被重新激活，使得用户能够捕获第二图像(返回到201)。在其它示例性实施例中，前台SW活动可以进一步包括：显示已捕获图像的预览图像。作为非限制性示例，预览图像可以基于原始图像数据和/或中间文件。

后台SW活动可以包括作为非限制性示例的以下过程。在211，从文件系统加载包含原始图像数据的中间文件。在212，对原始图像数据执行图像数据，以获得已处理图像数据。在213，图像被转换为中间格式，诸如RGB或TUV，作为非限制性示例。在214，结果被压缩为另一格式，诸如GIF或JPEG，作为非限制性示例。在215，结果被保存到文件系统作为最终的已处理图像(“已处理图像数据”)。后台SW活动接着返回到211用于对其它未处理图像(包括未处理原始图像数据的未处理中间文件)的进一步处理。

尽管在图2中被示出为分开的步骤或框，但是应该理解，212、213和214中描述的两个或更多个步骤可以由一个或多个组件并发地执行。例如，在某些示例性实施例中，作为替代，转换213可以被认为是在对原始图像数据的图像处理212期间执行的一个功能。

相关地，在某些示例性实施例中，可以在前台在中间文件被保存之前，对原始图像数据执行预处理步骤。在某些示例性实施例中，对所述预处理步骤的执行可以是有条件的，例如，取决于处理器负载、处理器速度、存储装置速度、和/或存储装置性能。一般而言，以下可以是理想的：将所述预处理保持在相对最小限度，从而防止在前台活动中附加延迟的累积(即，因为所述预处理的执行的代价将是对数字取景器的重新激活的潜在延迟)。在某些示例性实施例中，所述预处理不在前台执行，而是作为后台操作的一部分。在其它示例性实施例中，用户能够配置预处理的数量和/或(一种或多种)类型。所述用户控制将使得用户能够定制设备操作，并获得拍摄时间间隔相对于性能(例如，预处理)的理想比率或平衡。

在某些示例性实施例中，至少一个前台过程由至少一个第一处理器执行，而至少一个后台过程由至少一个第二处理器(即，不同于至少一个第一处理器的一个或多个处理器)执行。在其它示例性实施例中，至少一个前台过程和至少一个后台过程由至少一个相同处理器执行(例如，一个处理器执行多个过程，包括至少一个前台过程和至少一个后台过程)。对于是实现多处理器体系结构、单个门控(例如分时)处理器、还是单个多操作(例如，多核)处理器的选择可以基于一个或多个考虑，诸如作为非限制性示例的成本、性能、和/或能耗。

在某些示例性实施例中，以下可以是理想的：选择性地执行前台操作和/或后台操作。例如，在某些情形中，期望在基本同步地去激活(deactivating)后台/前台过程的同时，激活前台/后台过程。对于是实现前台过程、后台过程、还是前台和后台过程二者的决策可以基于对一个或多个因素的考虑。作为非限制性示例，所述确定可以基于以下一个或多个：所讨论的应用/过程(例如，所述应用是否可以支持前台和后台过程)、存储装置速度(例如，存储器写入速度)、对图像处理时间和存储装置速度的比较、可用的存储空间、拍摄间隔时间、处理器性能、和/或处理器可用性。

在本发明的其它示例性实施例中，响应于所满足的一个或多个条件，执行在后台阶段中对图像的处理。例如，当存在可得到的(即，将进行处理的)未完成图像时，可以处理原始图像数据。作为另一示例，当存在可得到的未完成图像并且图像捕获设备已经被关闭(例如，断电)或者在没有进一步图像捕获或用户操作(例如，用户指示的图像处理、用户发起的对预览图像的查看)的情况下已经过去某一时间量时，可以处理原始图像数据。以所述方式，可以确定对原始图像数据的后台处理对于用户对设备的使用来说是不显眼的。

在某些示例性实施例中，前台和后台阶段的各个过程基于相对的优先级来执行。作为非限制性示例，前台过程可以具有比后台过程更高的优先级。作为另一非限制性示例，当一个或多个前台过程(例如特定前台过程)正在并发地执行时，SW可以禁止执行一个或多个后台过程。例如在管理处理器使用、处理器效率、处理器速度、存储装置速度(例如，存储器读取或存储器写入操作)、拍摄间隔时间、和/或能耗中，上述示例可以是有用的。作为另一非限制性示例，图像处理可以被禁止直到图像捕获设备被关闭或断电之前为止。

尽管在上述示例性实施例中描述的内容与一个或多个文件系统有关，但是在其它示例性实施例中，中间文件可以被临时或永久性地保存在任意适当的存储介质中，诸如作为非限制性示例的易失性存储器(例如RAM)、和/或非易失性存储器(例如，文件系统、闪速存储器)。类似地，已处理图像文件(至少包括已处理图像数据)可以被临时性或永久性地保存在任意适当的存储介质中，诸如作为非限制性示例的易失性和/或非易失性存储器。中间文件和已处理图像文件的一个或二者可以被临时性或永久性地保存在内部存储器(例如，RAM、独立的内部存储器、或其它内部存储介质)和/或设备外部或附接到设备的存储器(例如，可移除存储器、闪速卡、存储器卡、所附接的硬盘驱动器、所附接的存储设备、所附接的计算机)。

如上所述，中间文件至少包括原始图像数据。在其它示例性实施例中，中间文件包括与已捕获图像和/或原始图像数据有关的信息和/或数据。作为非限制性示例，中间文件可以包括对应于原始图像数据的已捕获图像的预览图像。以所述方式，预览图像可以被用户容易地查看(例如，将预览图像显示在显示器上)。作为另一非限制性示例，处理参数可以被存储在中间文件中。所述已存储处理参数可以在稍后的时间被更新。作为非限制性示例，在中间文件中存储的原始图像数据可以包括无损或基本无损的图像数据。在其它示例性实施例中，除了原始图像数据(例如，从中获得已处理图像数据的原始图像数据)之外，中间文件还可以存储已处理图像数据。

在其它示例性实施例中，中间文件可以被用于附加操作或功能(即，除了对原始图像数据的存储以及访问用于图像处理之外)。例如，在某些情形中，中间文件可以被认为是未压缩图像文件(例如，类似于BMP)，并且可以被容易地访问、查看、传输、和/或缩放，从而SW仍可以甚至像SW提供给最终保存的JPEG图像(例如，对原始图像数据执行图像处理)那样的，提供用于未处理图像的多种成像特征。

将中间文件用于存储原始图像数据(例如，用于后台处理)提供了非常灵活的解决方案。中间文件可以以不同存储器类型进行存储和/或容易地在存储器类型之间转移。其还可以提供最终图像提供的成像应用特征，诸如上述的那些特征。此外，在某些示例性实施例中，该文件可以被导出到计算机或其它设备，以便使用可能在图像捕获设备上不可用(例如，由于有限资源的原因)的更强的图像处理算法来进行处理。如果该文件的格式被公布，则对于流行第三方软件开发者来说存在将相关解码器包括在其应用中的潜在可能。此外，并且作为针对上述文件的一个潜在应用的非限制性示例，设备可以包括原始(Bayer)图像查看器应用，其使得能够基于所存储的原始数据文件进行对预览图像的查看。在其它示例性实施例中，中间文件的格式可以包括专有的格式。

应该注意，原始图像数据通常被称为Bayer数据。原始Bayer数据文件通常小于真正的位图文件，但是比已压缩的JPEG文件大得多。不过，原始Bayer数据可以是无损或基本无损的(例如，经DPCM/PCM编码)，并且通常表示由HW传感器捕获的最纯粹形式的图像数据。因此，该图像数据可以例如通过许多复杂算法被处理。

结合本发明的一个或多个示例性实施例，所讨论的图像数据(例如，原始图像数据、在中间文件中存储的图像数据、和/或已处理图像数据)可以使用任意适当的色空间/模型和/或通过使用任意适当的色空间/模型进行表达/描述。作为非限制性示例，图像数据可以使用RGB色空间、YUV色空间、或Y’CbCr色空间。

在一个非限制性示例性实施例中，照相机应用SW包括至少三个组件：UI、引擎和图像处理器。三个组件可以在一个或多个操作系统过程中运行(例如通过使用一个或多个操作系统过程进行操作或控制)。此外，三个组件可以独立地或并发地操作。三个组件可以如上所述在一个或多个处理器中运行，和/或在其它单元(例如，电路、集成电路、专用集成电路、芯片、芯片组)中运行。根据上述的示例性实施例，UI和引擎通常在前台阶段进行操作，而图像处理器通常在后台阶段进行操作。同样如上所述，三个组件中的两个或多个可以并行(即，同时)操作。

图3示出了根据本发明示例性实施例的各方面的在示例性设备(照相机60)中的组件和控制路径的图。用户62经由UI 64与照相机50进行交互。UI 64耦合于引擎(ENG)66。ENG 66耦合于图像处理器(IPRO)68以及照相机传感器(SENS)70。如图3所示，以及根据本发明示例性实施例，UI 64、ENG 66和SENS 70通常在前台阶段进行操作。相反地，IPRO 68在后台阶段进行操作。在某些示例性实施例中，ENG 66可以被配置用于：响应于所满足的条件(如上所述)，实现(例如，启动、控制)一个或多个后台功能，诸如IPRO 68。在其它示例性实施例中，UI 64、ENG66和IPRO 68中的一个或多个可以由一个或多个数据处理器实现，或包括一个或多个数据处理器。所述一个或多个数据处理器可以耦合于一个或多个存储器(MEM180、MEM282)，诸如闪速卡、闪速存储器、RAM、硬盘驱动器、和/或任意其它适当的内部的、附接的、或外部的存储组件或设备。

尽管图3中示出为仅耦合于ENG 66，但是在其它示例性实施例中，SENS 70同样还可以耦合于其它过程，并由其它过程使用。此外，照相机60可以包括在前台阶段和/或后台阶段中执行的一个或多个附加功能、操作或组件(软件或硬件)。在某些示例性实施例中，可以选择性地在前台阶段和/或后台阶段中执行一个或多个过程。

UI 64提供与用户62的接口，通过该接口，照相机50可以接收用户输入(例如，捕获图像的指令、命令、触发)和输出信息(例如，经由一个或多个光线或发光二极管、经由显示器屏幕、经由音频输出、经由触觉输出)。作为非限制性示例，UI 64可以包括以下一个或多个：显示器屏幕、触摸板、按键、小键盘、扬声器、麦克风、声学输出、声学输入、或(一个或多个)其它输入或输出接口组件。UI 64通常由ENG 66控制。如图3所示，UI 64包括显示器(DIS)76以及至少一个用户输入(INP)78，所述显示器76被配置用于示出预览图像，所述用户输入78被配置用于至少触发图像捕获。

ENG 66与SENS 70进行通信，并且作为示例控制取景器图像处理。预览图像被ENG 66处理并绘制在DIS 76上(经由UI 64)。当静态图像正被捕获时，ENG 66以原始格式向SENS 70请求静态图像数据，并将数据保存到存储器(MEM1)80作为中间文件(IF)72。ENG 66处理预览图像并经由DIS 76示出预览图像。在某些示例性实施例中，ENG 66可以将与已捕获原始图像(例如，IF 72)有关的信息发送IPRO 68。此后，ENG66再次启动取景器(DIS 76)，并且准备好捕获新的静态图像(经由SENS70，响应于经由INP 78的用户输入)。在其它示例性实施例中，IPRO68从MEM180本身(即，在没有经由EMG 66获得原始图像数据/IF 72的情况下)访问原始图像数据(IF 72)。所述示例性实施例在图3中示出，其中IPRO 68耦合于MEM180。

IPRO 68在后台阶段执行对于原始图像数据(IF 72)的处理。如果不存在已捕获原始图像数据或已处理原始图像数据(不存在已处理中间文件)，则IPRO 68等待，直到需要处理为止。IPRO 68可以将已处理图像数据输出回ENG 66用于存储(例如，存储于MEM180)。在其它示例性实施例中，IPRO 68自己可以参与对已处理图像数据的存储(例如，存储于MEM180)。作为非限制性示例，已处理图像数据可以被存储于对应的IF 72或者独立文件或位置。

注意，在其它示例性实施例中，照相机60可以进一步包括一个或多个附加存储器或存储组件(MEM2)82。作为非限制性示例，MEM282可以被用于存储已处理图像数据，而MEM180被用于仅存储原始图像数据(IF 72)。

在图3的示例性照相机60中，后台处理由ENG 66控制。当应用启动时，三个过程被启动，并且ENG 66向SENS 70请求取景器图像。当SENS70返回新的取景器图像时，ENG 66处理它，并将它绘制在DIS 76上(经由UI 64)。ENG 66还请求新的取景器图像(例如，用于更新当前显示的取景器图像)。如果用户62按下捕获按键(INP 78)，则ENG 66向SENS70请求采用原始格式的新的取景器图像，并将其保存在MEM180作为IF72。在其它示例性实施例中，ENG 66还处理(已捕获图像的)预览图像，并将其绘制在DIS 76上。在某些示例性实施例中，ENG 66还可以将原始图像数据发送(例如，立刻)到IPRO 68用于处理。在其它示例性实施例中，ENG 66可以通知IPRO 68：未处理原始图像数据(例如IF 72)存在，并准备好由IPRO 68进行图像处理。取景器(DIS 76)基本立刻被再次启动，并且新的取景器图像被示出，从而新的(另一个)静态图像可以被捕获。

在某些示例性实施例中，IPRO 68的操作或启动具有比其它前台操作(例如，ENG 66、UI 64、SENS 70)更低的优先级。在其它示例性实施例中，例如，如果没有发生其它操作(例如前台操作)，则IPRO 68能够用较高优先级进行操作。作为非限制性示例，如果照相机60被关闭或进入空闲模式，上述情形可能发生。在其它示例性实施例中，ENG 66或其它组件被配置用于确定IPRO 68是否应该进行操作，并且相应地对IPRO 68进行指示。显而易见，在某些示例性实施例中，前台和后台阶段通过优先级进行划分，其中前台操作由于其对于用户62的可见性从而具有比后台操作更高的优先级。

图4示出了另一示例性照相机88，其并入图3中所示的示例性照相机60的特征。在图4的示例性照相机88中，MEM180(其存储IF 72)不仅可以由ENG 66和IPRO 68访问，而且可以由其它组件和程序访问。作为非限制性示例，在图4中，MEM180(以及由此的IF 72和/或已处理图像数据)可以进一步由文件浏览器(FBRW)90、图像图库(IGAL)92以及第三方应用(3PA)94访问。以所述方式，IF 72和/或已处理图像数据可以由附加组件、程序、和应用所访问和/或使用。

在其它示例性实施例中，至少一个组件(例如ENG 66)可以具有或监督已捕获图像的图像队列。当IPRO 68已完成图像的处理时，其开始处理队列中的下一图像。如果用户62关闭应用，并且不存在要处理的图像时，所有过程被关闭。在某些示例性实施例中，如果存在要处理的图像(即，队列不为空)，则尽管取景器被关闭，但是ENG 66和IPRO 68不会关闭(仅UI 64关闭，即，由于用户关闭应用的原因)。在此情形中，IPRO 68具有更多处理时间，并且可以比取景器打开时更快地处理图像，其例如由于减少了能耗的原因。当所有图像已被处理后，ENG 66确定没有剩余的图像(即，队列中没有剩余的图像)，并且照相机60被关闭(例如，UI 64已经关闭)，于是当前不需要ENG 66和IPRO 68(即，不需要保持活动)，并且二者被关闭。

图5A和5B描述了根据本发明示例性实施例的示出与照相机的图像队列和后台处理有关的示例性过程的流程图。在步骤1-3，应用启动，其初始化UI、引擎和图像处理器。步骤4-6示出了对显示器上的取景器(VF)图像的获得、处理、和绘制。由此，步骤4-6被重复，以便产生当前的VF图像直到用户按下捕获键(步骤7-8)为止。一旦捕获键被按下(步骤7-8)，则新的静态图像被捕获(步骤9-10)，并被保存到存储器(步骤11)。针对已捕获图像，预览图像被处理并被绘制到显示器上(步骤12)。被绘制在显示器上的预览图像使得用户能够查看和/或考虑刚刚捕获的静态图像。

已捕获的图像也被添加到图像队列中用于处理(也可以被称为处理队列或图像处理队列)。由于已捕获图像是队列中的唯一图像，因此已捕获图像被传递到图像处理器用于进行处理(步骤13)。步骤14-16示出了对显示器上的VF图像的获得、处理和绘制，并且类似于步骤4-6，步骤14-16在必要时被重复(例如，直到捕获键被按下为止，或者直到照相机应用被关闭或禁用为止)。

在步骤17-18，捕获键被按下，并且第二静态图像被捕获(步骤19-20)，并被保存到存储器(步骤21)。针对第二已捕获图像，预览图像被处理并被绘制到显示器上(步骤22)。因为第二图像是队列中的第二个，其将等待进行处理。即，一旦图像处理器已完成对第一图像(图像1)的处理，则其将开始处理队列中的下一图像(在此情形中为第二图像，图像2)。步骤23-25示出了对显示器上的VF图像的获得、处理和绘制，并且，类似于步骤4-6和14-16，步骤23-25在必要时被重复。

在步骤26-27，捕获键被第三次按下，并且第三静态图像被捕获(步骤28)，并被保存到存储器(步骤29)。针对第二已捕获图像，预览图像被处理并被绘制到显示器上(步骤30)。在此时，第三图像(图像3)是队列中的第三个。步骤31-33示出了对显示器上的VF图像的获得、处理和绘制，并且，类似于步骤4-6、14-16和23-25，步骤31-33在必要时被重复。

在步骤34，图像处理器已经完成对第一图像的处理，并且用信号通知引擎其准备好进行队列中的下一图像(第二图像，图像2)。引擎将队列中的下一图像发送到图像处理器用于处理(步骤35)。在第二图像被发送用于处理之后，队列现在仍余下两个图像用于进行处理(第二和第三图像，即，未处理图像)。

在步骤36-37，用户已经关闭照相机应用。响应于此，VF操作被挂起(即，VF被停止，步骤38)，并且UI被关闭(步骤39)。不过，引擎和图像处理器不会被关闭，因为在队列中存在剩余的未处理图像，即，第二图像(当前正由图像处理器处理)以及第三图像。在步骤40，图像处理器已经完成处理第二图像，并用信号通知引擎。作为队列中最后一个的第三图像被发送到图像处理器用于处理(步骤41)。在步骤42，图像处理器已经完成处理第三图像。由于在队列中没有剩余的未处理图像，则引擎指示图像处理器关闭(步骤43)。此后，引擎停止操作并关闭(步骤44)。现在，整个应用被关闭，并且所有已捕获图像已经被处理。

在其它示例性实施例中，可以使用暂停部件。暂停部件通过使用户能够临时地停止使用照相机模块或SENS 70而减少了能耗。以所述方式，IPRO 68可以获得更多处理时间，并且图像可以被处理得更快。这还将进一步减少能耗，因为照相机模块未被使用，并且不需要针对取景器帧的处理(即，重复地获得、处理和显示取景器图像)。

在某些环境或系统中，比起关闭应用和重启该应用，可以更容易地或更舒适地使用暂停功能。所述使用的一个示例是以下情形，其中用户知道他或她将不时地捕获图像，但不是立刻。如果在队列中存在要处理的图像，则重启应用可以占用很长时间，并且用户可能错过他或她想要捕获的景色。通过使用暂停部件，将更快地重激活应用并且能够再次捕获图像。例如对于自动对焦照相机，或者使用独立的成像处理器的照相机，暂停功能可以尤其适用，因为将不需要对这些组件的重新初始化。

图6描述了根据本发明示例性实施例的示出与可以针对照相机实现的暂停部件有关的示例性过程的流程图。在图6中，假定用户已经捕获两张照片，从而在队列中有两张照片，并且图像处理器当前正在处理第一图像(图像1)，如图6所示。在步骤1，用户已经经由UI(步骤2)激活暂停部件(“按下启用暂停“)。响应于此，引擎去激活(停止)VF(步骤3)，由此释放图像处理器的处理时间，并减少照相机的整体能耗。图像处理器与图5中的动作相同，从而完成对第一图像的处理(步骤4)，接收第二图像用于处理(步骤5)、以及完成对第二图像的处理(步骤6)。此后，由于暂停部件是开启的，因此所有过程处于空闲状态。在步骤7，用户经由UI去激活暂停部件(“按下取消暂停”)(步骤8)。这样，引擎管理VF，并且使当前的VF图像被获得、处理、以及绘制到显示器上(步骤9-11)。

现在参考图7，图7用于示出适用于实施本发明的示例性实施例的各种电子设备的简化框图。在图7中，无线网络12适用于经由接入节点(AN)16与用户装备(UE)14进行通信。UE 14包括数据处理器(DP)18、耦合于DP 18的存储器(MEM1)20、以及耦合于DP 18的适当的RF收发器(TRANS)22(具有传送器(TX)和接收器(RX))。MEM120存储程序(PROG)24。TRANS 22用于与AN 16进行双向无线通信。注意，TRANS 22具有至少一个天线用于使通信便利。DP 18还耦合于用户界面(UI)26、照相机传感器(CAM)28以及图像处理器(IPRO)30。UI 26、CAM 28、以及IPRO 30与在此在别处描述的一样进行操作，例如，分别类似于图3的UI 64、SENS 70、以及IPRO 68。在某些示例性实施例中，UE 14进一步包括：耦合于DP 18和IPRO 30的第二存储器(MEM2)32。MEM232与在此在别处描述的一样进行操作，例如，类似于图3的MEM282。

AN 16包括数据处理器(DP)38、耦合于DP 38的存储器(MEM)40、以及适当的RF收发器(TRANS)42(具有耦合于DP 38的传送器(TX)和接收器(RX))。MEM 40存储程序(PROG)44。TRANS 42用于与UE 14的双向无线通信。注意，TRANS 42具有至少一个天线用于使通信便利。AN 16经由数据路径46耦合于一个或多个外部网络或系统，诸如因特网48。

假定PROG24、44中的至少一个包括程序指令，当由相关联的DP 18、38执行该程序指令时使得对应的电子设备14、16能够如此处所讨论的那样根据本发明的示例性实施例进行操作。

一般而言，UE 14的各种示例性实施例可以包括但不限于：移动节点、移动站、移动电话、蜂窝式电话、具有无线通信能力的PDA、具有无线通信能力的便携式计算机、具有无线通信能力的图像捕获设备(诸如数字照相机)、具有无线通信能力的游戏设备、具有无线通信能力的音乐存储和重放设备、允许无线因特网访问和浏览的因特网设备、以及引入所述功能的结合的便携式单元或终端。

本发明的实施例可以由计算机软件实现，所述计算机软件可以由UE14以及AN 16的DP 18、38中的一个或多个、或由硬件、或由软件和硬件的结合而实现。

MEM 20、32、40可以是适合于本地技术环境的任意类型，并且可以使用任意适当的数据存储技术来实现，诸如基于半导体的存储器设备、磁性存储器设备和系统、光学存储器设备和系统、固定存储器和可移除存储器，它们均作为非限制性示例。DP 18、38可以是适合于本地技术环境的任意类型，并且作为非限制性示例，可以包括通用计算机、专用计算机、微处理器、DSP、以及基于多核处理器体系结构的处理器中的一个或多个。

图8描述了根据本发明示例性实施例的用于示例性图像捕获系统300的硬件和软件交互。组件/过程被划分为两个类别：前台302和后台303，在此它们如其它地方描述的那样运行。

传感器304例如响应于用户输入(例如经由UI)捕获图像数据。DMA控制器(DMA CONTR)306协助原始图像数据(RAW)在存储器(MEM1)308上的存储。前台控制器(FG CONTR)310访问MEM1308中存储的原始数据，并监督与其相关的多种操作。例如，FG CONTR 310可以读取原始数据，并创建中间(IM)文件316。在某些示例性实施例中，FG CONTR310读取原始数据，并监督生成对应于原始图像数据的预览图像312的快速图像处理。在其它示例性实施例中，所生成的预览图像被显示314。

在某些示例性实施例中，IM文件316可以不仅包括原始图像数据320，而且包括所生成的预览图像318。作为示例，在IM文件316中/通过IM文件316存储预览图像318使得图像查看应用(IMG查看器)326能够容易地访问IM文件316，并显示对应的预览图像，而不必非要执行任意进一步操作。

在某些示例性实施例中，预览图像318未存储在IM文件316中/未通过IM文件316进行存储。在所述情形中，IMG查看器326仍可以例如通过支持IM文件316的文件格式，而使用原始图像数据320来显示已捕获图像。在某些示例性实施例中，FG CONTR 310生成预览图像。

IM文件316还可以被一个或多个前台应用(APPL)324访问、处理(APPL PROC)322、和/或使用。作为非限制性示例，APPL 324和/或使用可以与以下有关：MMS、墙纸、屏幕保护程序、图像共享系统、或允许对图像数据的使用或传送的任意其它系统和程序。

后台控制器(BG CONTR)328还访问IM文件316以及监督与其相关的多种后台操作。作为非限制性示例，BG CONTR 328可以监督与后台图像处理(BG IMG PROC)330、后台图像保存(BG IMG保存)332、和/或用于BG IMG PROC 330的一个或多个队列有关的操作。

BGIMG PROC 330处理IM文件316中的原始图像数据320，并产生已处理图像数据(例如JPEG或BMP)。BGIMG保存332使得能够进行图像数据(例如，原始图像数据和/或已处理图像数据)的后台保存，例如保存到非易失性存储器。作为非限制性示例，BG IMG保存332的任务优先级可以高于BG IMG PROC 330的优先级。此外，在某些示例性实施例中，通过允许对原始图像数据的保存在后台303中发生，拍摄间隔时间可以被甚至进一步缩短，并且存储器速度可以基本没有影响。在其它示例性实施例中，可以与BG IMG保存332相结合地使用一个或多个缓冲器，例如，如以下结合图13-19更详细描述的。在其它示例性实施例中，第二存储器(MEM2)334被用于存储IM文件316和/或已处理图像数据。在其它示例性实施例中，已处理图像数据被包括在修改后的IM文件中并通过其进行存储。

在其它示例性实施例中，示例性系统不包括BG CONTR 328。取而代之的是，多种后台组件和操作直接访问IM文件316，如在此进一步描述的。注意，随着可用于系统用户的选项和选择的增加，可能更期望包括BGCONTR 328以便基于用户选择来控制和处理操作。

在某些示例性实施例中，IM文件316被“重用”。即，已处理图像数据也被保存于IM文件316中。在其它示例性实施例中，IM文件316在已捕获图像已经被处理之后被保存。以所述方式，IM文件316将至少包括原始图像数据以及已处理图像数据。这可以是有用的，例如，用户可能希望随后通过更强大的系统重新处理原始图像数据(例如，用于改进或调节图像处理)。在某些示例性实施例中，APPL 324可以通过使用已存储的IM文件316来访问和使用BG CONTR 328(例如，在原始数据320已经由BG IMG PROC 330处理之前或之后)。

图9描述了示出一种用于实施本发明示例性实施例的方法的一个非限制性示例的流程图。用户按下捕获键以捕获新的图像数据(401)。UI应用请求图像捕获用于第五次拍摄，照片5(402)。FG CONTR 310向传感器304请求原始图像数据(403)。来自传感器304的原始图像数据至少临时地存储于MEM1 308(404)。FG CONTR 310处理原始图像数据，以获得预览图像(405)。FG CONTR 310监督对预览图像的显示(406)。考虑是否存在用于后台处理的存储器(407)。如果存储器不存在，或者没有足够数量(否)，则FG CONTR 310例如通过将原始图像数据转换为JPEG而在前台执行图像处理，以及存储所述图像。如果存在存储器或足够的存储器数量(是)，则FG CONTR 310创建IM文件316，IM文件316至少包括原始图像数据320以及可选地包括预览图像318(409)。

接下来，考虑后台处理是否为活动(410)。如果否(否)，则FG CONTR310启动后台处理任务(411)。如果后台处理为活动(是)，则所述方法不执行此步骤(省略411)。接着，FG CONTR 310将用于已捕获图像数据(照片5)的文件添加到后台捕获队列(412)。一般而言，照片被添加到队列后面。不过，在其它示例性实施例中，根据多种优先级因素(例如，参见图10，下面讨论)，照片可以被插入到队列中。FG CONTR 310通过发送消息以便用信号通知图像捕获或者至少图像捕获的前台阶段完成(413)，而响应于UI应用。在某些示例性实施例中，替代于FG CONTR310生成预览图像，UI应用读取IM文件316并生成预览图像(414)。所述方法接着返回开头，准备捕获另外的图像数据。注意，如果在步骤409预览图像曾经由FG CONTR 310创建，则步骤414可以被忽略。

图10描述了示出一种用于实施本发明示例性实施例的方法的另一非限制性示例的流程图。图10还示出了处于相对于示例性方法的各个状态下的队列。UI应用请求将用于照片10、8和11的IM文件添加到后台处理队列(501)。考虑后台处理是否活动(502)。如果否(否)，则FG CONTR310启动后台处理任务(503)。如果是(是)，则后台处理任务不会启动(省略503)。FG CONTR 310将用于照片10、8和11的IM文件添加到后台处理队列(504)。在此情形中，在添加照片10、8和11(以该顺序)之前，在队列中没有IM文件。这样，对用于照片10的IM文件(系列中的第一照片(例如，具有最高优先级的照片))的后台处理开始(A)。

接着，假定另一图像将被捕获(照片12)。FG CONTR 310将用于照片12的IM文件添加到后台捕获队列(505)(B)。注意，照片12被给出比队列中的其它照片(照片8和11)更高的优先级。作为非限制性示例，这可以由于用户对于立刻使用已捕获图像(例如将其共享给其他人)的期望。UI应用请求将(用于照片9的)另一IM文件添加到后台处理队列(506)。FG CONTR 310将用于照片9的IM文件添加到后台处理队列(507)

接着，假定照片10的后台处理完成(508)(C)。考虑队列中是否存在另外的图像(509)。在此情形中，存在仍需要进行处理的四个图像，其中之一(照片12)具有比其它照片更高的优先级。这样(是)，对照片12的后台处理开始(510)(D)。

图10描述了使用两个队列的示例性实施例：后台处理队列和后台捕获队列。两个队列表示在未处理图像数据(即，未处理图像)中可以存在超过一种类型的优先级。例如，对于后台图像处理，新捕获的图像(例如，在后台捕获队列中的那些图像)可以具有比先前捕获的图像(例如，在后台处理队列中的那些图像)更高的优先级。例如由于在存在要处理的图像的活动队列时设备的电力循环的原因，所述先前捕获的/未处理图像可以保留。作为另一示例，用户可以插入包含未处理图像的存储器卡。以所述方式，如果超过一个队列被使用，则可以在队列自身之间存在第一优先级，以及在每个队列中在未处理图像之间各个队列内的第二优先级。

尽管图10中示出两个队列，但是在其它示例性实施例中，可以使用不同数量的队列，作为非限制性示例，诸如仅一个队列或超过两个队列。例如，如果使用单一队列，则优先级可以定义图像被处理(例如，通过后台图像处理)的顺序。在所述情形中，原始图像来自何处(例如，图像传感器、先前捕获)、以及它是如何来到队列中(例如，新捕获图像、先前捕获、先前捕获但是设备被关闭)都没关系，但是在某些示例性实施例中，这些方面可以影响一个或多个图像在队列中的位置。

图10示出了一个示例，其中照片10在照片8和11之前被处理，并且照片12在照片8、11和9之前被处理。在某些示例性实施例中，在步骤501，处理顺序例如由UI组件控制和/或选择。一旦顺序被选择，后台处理队列被填充，以反映该顺序。在某些示例性实施例中，新照片被添加到队列末端。在其它示例性实施例中，新照片在先前的照片之前被处理。在某些示例性实施例中，照片在队列中的顺序/安排可以被重新处理(例如，被重新组织)。在其它示例性实施例中，所述识别可以由用户控制或实现。在其它示例性实施例中，用户可以指示出他或她希望使一个或多个未处理图像尽可能快地被处理。在所述情形中，图像可以在前台而不是后台被处理。

图11描述了示出一种用于实施本发明示例性实施例的方法的另一非限制性示例的流程图。图11还示出了处于相对于示例性方法的各个状态下的队列。对于图11，假定照片2当前正在进行后台图像处理，而照片3、4、5、和6以该顺序位于后台捕获队列中(G)。

用户想要例如通过使用图像共享应用从用户图库发送图像(照片5)(601)。UI应用请求将该图像(照片5)重新按优先顺序排列为队列中的下一个(602)。考虑照片5是否当前正在进行后台处理(603)。如果是(是)，则所述方法前进到步骤606。如果否(否)，考虑照片5是否是队列中的下一个(604)。如果是(是)，则所述方法前进到步骤606。如果否(否)，则FG CONTR 310对于队列重新按优先顺序排列，将照片5置为要处理的下一个(605)(H)。FG CONTR 310通过发送消息以便用信号通知将图像重新按优先顺序排列到队列中的下一个位置已经完成，而响应于UI应用(606)。该响应不会用信号通知相关联处理的完成。

接下来，假定后台处理器已经完成处理照片2(607)(I)。考虑队列中是否存在另外的图像(608)。如果是，则后台处理器开始处理下一图像(照片5)(609)(J)。一旦后台处理器完成处理照片5(610)，则步骤608-610被重复，用于队列中连续的未处理图像。

在其它示例性实施例中，还可以存在多个后台任务(例如，后台任务的多个拷贝或实例化)。通过具有多个后台任务，照相机系统可以更好地利用多个存储缓冲器，并使得能够进行多个后台任务的同时操作。作为非限制性示例，多个后台任务可以包括中间文件的创建和/或后台图像处理。在某些示例性实施例中，中间文件保存可以作为后台任务被执行。在所述示例性实施例中，以下可以是理想的：将后台中间文件保存的优先级设为高于后台图像处理的优先级。

如上所述，可以结合本发明示例性实施例使用一个或多个缓冲器(例如存储缓冲器)。在某些示例性实施例中，通过使用至少两个存储缓冲器，可以实现前台中的等待时间的进一步改进。以所述方式，在可以执行随后操作(例如，拍摄其它照片/最小限度地处理它们、以及将它们保存到存储器)之前所需的时间可以被进一步减少，因为由于有限的存储器资源的原因而将存在较少延迟(较少等待时间)。存储缓冲器的理想数量可以取决于一个或多个因素，作为非限制性示例，诸如：创建和保存中间文件所需的时间、后台文件保存的配置和速度、和/或可用存储器的数量。类似地，使用连续拍摄或时间推进(time nudge)可能需要更多存储缓冲器，用于已捕获的原始bayer图像。在某些示例性实施例中，对多个存储缓冲器的使用可以针对多个(例如，所有)情形提供基本一致或相同的捕获速度。

在某些示例性实施例中，可以针对前台和后台任务使用公共或共享存储缓冲器。通过共享可用的存储缓冲器，资源可以被分配给具有最高优先级的那些任务，由此使能对资源更高效的使用。此外，并且如上所述，多个存储缓冲器可以使能多个前台和/或后台任务的并行(例如同步的)性能，其中作为非限制性示例，所述并行性能由相关优先级指示。

在一示例性实施例中，照相机传感器产生原始bayer图像数据，其(例如使用DMA)被传送到存储缓冲器。与新的原始图像数据有关的指示被发送到后台文件保存(BGFS)过程，并且取景器被重新激活。当需要新的静态图像捕获时，原始bayer数据被再次从照相机传感器读取，并例如经由照相机接口(例如，CSI-2/CCP2)通过使用DMA被传送到第一空闲存储缓冲器(例如，易失性存储器，诸如SDRAM)。作为非限制性示例，所讨论的存储器可以被静态分配或动态分配。

前台(FG)活动和BGFS过程可以彼此通信，以便保持与哪些缓冲器空闲、哪些不空闲有关的最新信息。如此处在别处所讨论的，BGFS过程可以对存储缓冲器中存储的原始bayer图像数据执行最小限度的处理(例如旋转)，并随后将原始图像数据存储在中间文件中。在某些示例性实施例中，快照创建(例如，创建原始图像数据的预览图像)可以由BGFS过程执行，并被存储在中间文件中/通过中间文件进行存储。这将使得图库应用能够迅速示出对应于原始图像数据的图像(例如，预览图像)。在某些示例性实施例中，可能不需要或不想要最小限度处理。如果中间文件保存时间接近或等于图像捕获时间，则可以利用双缓冲器解决方案来避免由于缓冲器迟延导致的延迟(等待时间)，并且使能一致的图像捕获时间(例如，拍摄间隔时间)。在某些示例性实施例中，缓冲器的操作可以是偶发性的，或者取决于存储器设备(例如，存储器卡或存储器存储装置)上何时存在用于中间文件的足够空间。

在某些示例性实施例中，照相机使得能够进行到存储器(例如，存储缓冲器或其一部分)中的即时数据拷贝(例如，由照相机传感器捕获的原始图像数据的即时数据拷贝)，所述存储器通过DMA、MMU进行分配或通过处理器动态分配。在某些示例性实施例中，第一存储缓冲器包括相邻存储器，以使能快速存储速度。在其它示例性实施例中，其它存储缓冲器不一定需要是相邻存储器。

图13示出了根据本发明示例性实施例的示例性过程的多阶段操作和对数字图像捕获系统700中多个存储缓冲器716的使用的框图。在图13中示出的示例性过程被分为三个独立阶段：前台(SW)活动701(操作711-713)、后台中间文件生成和保存活动702(操作721-723)、以及后台图像处理和最终图像保存活动703(操作731-735)。如前所述，前台和后台阶段彼此独立，从而任一类型可以独立于其它类型来执行其过程。

前台活动701包括以下过程。在711，照相机传感器产生原始图像数据(例如，响应于用户按下图像捕获按键)。在712，原始图像数据被(例如快速地)存储在可用的存储缓冲器x中。在713，数字取景器被重新激活，从而使得用户能够捕获第二图像(返回711)。在其它示例性实施例中，前台SW活动701可以进一步包括显示已捕获图像的预览图像。作为非限制性示例，预览图像可以基于原始图像数据和/或中间文件。

后台中间文件生成和保存活动702包括以下过程。在721，从存储缓冲器x中访问或检索原始图像数据。在722和723，对原始图像数据执行最小限度处理，并且结果被存储作为中间文件(例如，存储在文件系统、相同的存储缓冲器、不同的存储缓冲器、或其它存储介质)。

后台图像处理和最终图像保存活动703包括以下过程。在731，从文件系统中加载包含原始图像数据的中间文件。在732，对原始图像数据执行图像处理，以获得已处理图像数据。在733，图像被转换为中间格式，作为非限制性示例，诸如RGB或YUV。在734，结果被压缩为另一格式，作为非限制性示例，诸如GIF或JPEG。在735，结果被保存到文件系统，作为最终的已处理图像(“已处理图像数据”)。后台图像处理和最终图像保存活动接着返回731，用于对其它未处理图像(包括未处理原始图像数据的未处理中间文件)的进一步处理。

图13的示例性照相机系统700包括多个共享的(例如公共)存储缓冲器716。共享的存储缓冲器716至少用于前台活动701和后台中间文件生成和保存活动702。出于便利起见，缓冲器716从1至N进行编号。在某些示例性实施例中，可以使用数量更多(例如大于四)或更少(例如一或二)的存储缓冲器。在其它示例性实施例中，可以例如根据将使用缓冲器的一个或多个任务，区分单独的存储缓冲器716。作为非限制性示例，共享存储缓冲器716可以包括两个特定的、较快的存储缓冲器(例如，存储缓冲器1和存储缓冲器2)，它们被互斥地用于对原始图像数据的临时存储(步骤712和721)。在其它示例性实施例中，可以使用不同数量的较快的存储缓冲器。

在其它示例性实施例中，共享的存储缓冲器716还可以被后台图像处理和最终图像保存活动703使用。在所述示例性实施例中，可以使用单个存储缓冲器共享池。可以通过相对优先级来区分各种过程和活动，以便高效地使用共享的存储缓冲器716。例如，以及如在此在别处详细描述的，前台活动701可以使用比后台活动702、703更高的优先级，例如以便减少拍摄间隔时间。作为另一示例，BGFS活动可以具有中等优先级，而后台图像处理活动可以具有最低优先级。

尽管在图13中示出为独立步骤或框，但是应该注意，描述的步骤中的两个或更多个可以由一个或多个组件并发地执行。例如，在某些示例性实施例中，作为替代，转换733可以被认为是在对原始图像数据的图像处理732期间执行的一个功能。

图14-19示出了针对不同示例性照相机系统的缓冲器使用的多种示例。在这些图中，在网格的底部行中示出时间单元或增量，从而使得给定行中的框指示出在该特定时间单元发生的活动。所述活动被划分为前台(FG)活动和后台活动。FG活动主要指示出照相机系统的用户可以体验到的拍摄间隔时间(例如，等待时间、延迟)。目标是减少等待时间并使得用户能够尽可能快地捕获图像。注意，出于图示的目的，图14-19没有示出或以其它方式指示出在每个图像被捕获之后关联于重新激活取景器的时间。类似地，这些图也没有示出或以其它方式指示出关联于生成或显示已捕获图像数据的预览图像的活动。此外，假定后台图像处理任务(BGPS)没有使用或以其它方式占用所示的存储缓冲器。

在图14-19，假定对图像x(“Cx”)的捕获相应地需要将缓冲器(例如，缓冲器y，被称为“BUFFy”)用于存储用于图像x的已捕获原始图像数据(“Rx”)。此外，还假定后台图像处理任务(“BGPS”)无法开始处理图像数据，直到图像数据已被保存到用于图像x的文件(例如，中间文件；“Fx”)为止。在这些图中，用于奇数编号的图像的活动已经被画上阴影，以便进一步示出独立的图像在哪里以及何时被处理和存储(例如，原始图像数据被临时存储在哪个缓冲器中)。如果一个框中仅具有x(例如参见针对BGPSz的(一个或多个)行)，这指示出所述的任务或过程在该时间单元(时间t)对图像x起作用。

应该注意，在某些示例性实施例中，即使在图像数据已经被保存到文件(例如中间文件)之前，BGPS也可以开始图像处理。作为非限制性示例，这可以通过“锁定”图像缓冲器以及直接使用缓冲器而不用等待图像被保存到文件来实现。当图像处理完成时，图像缓冲器随后被释放。在其它示例性实施例中，BGPS可以将数据从第一缓冲器(例如，临时缓冲器或快速缓冲器)复制到另一缓冲器，以开始图像处理，由此避免通过等待文件保存出现的任意延迟。

图14示出了带有最小限度处理的具有单个存储缓冲器的本发明示例性实施例的缓冲器使用的示例。由于仅有一个缓冲器(“Buff”)，在可以捕获新的图像数据之前，前台活动必须等待缓冲器清除。这样，用户体验到拍摄之间的很大延迟(3个时间单元)。注意，后台图像处理(BGPS)独立于图像捕获活动进行操作，并且由此不会以其它方式影响照相机系统的拍摄间隔时间。

图15示出了带有最小限度处理的利用两个存储缓冲器的本发明示例性实施例的缓冲器使用的示例。如图15中可见，拍摄间隔时间小于图14的照相机系统。通过使用两个缓冲器(“Buff1”和“Buff2”)，通过对图像x的最小限度处理以及对图像x的文件保存所施加的延迟被减少。

图16示出了不具有最小限度处理的利用两个存储缓冲器的本发明示例性实施例的缓冲器使用的示例。如可以理解的，通过消除最小限度处理，拍摄间隔时间甚至被进一步减少。在图16的示例性照相机系统中，用户可以如系统对已捕获原始图像数据的适当文件保存所允许的那样快地捕获图像。

图17示出了具有最小限度处理的利用六个存储缓冲器以及两个后台图像处理器的本发明示例性实施例的缓冲器使用的示例。图17的示例性照相机系统通过使用六个不同的缓冲器减少了拍摄间隔时间。在图17中，注意，对已捕获原始图像数据(“Rx”)的存储所需的时间以及对于图像的最小限度处理(“Px”)所需的时间针对每个图像都不同。不过，即使考虑该不一致的定时，示例性的照相机系统仍能够向用户提供一致的低延迟，因为多个缓冲器提供了增加的灵活性和健壮性。可以想到，更多的存储缓冲器(例如，多于六个缓冲器)可以提供附加的灵活性和/或一致性。此外要注意，图17中对两个后台图像处理任务(“BGPS1”和“BGPS2”)的使用还为系统和/或用户提供了附加的灵活性，例如，用户将想要使某个图像比其它图像更快地进行处理。

图18示出了具有最小限度处理的利用九个存储缓冲器以及两个后台图像处理器、但仅有单个后台处理器的本发明示例性实施例的缓冲器使用的示例。在图18中，假定单个后台处理器(“Proc”)必须监督最小限度处理(“Px”)和文件保存(“Fx)的任务。这样，由于已捕获原始图像数据被保存在相应缓冲器(“Buffy”)中直到单个后台处理器可用于最小限度处理和文件保存为止，因此出现了瓶颈。

图19示出了具有最小限度处理的利用三个存储缓冲器、两个后台图像处理器、以及两个后台处理器的本发明示例性实施例的缓冲器使用的示例。如图19中可见，通过提供第二后台处理器(“Proc2”)来协助第一后台处理器(“Proc1”)进行最小限度图像处理以及文件保存，瓶颈被消除。在图19的示例性照相机系统中，两个后台处理器和三个存储缓冲器足以确保用户体验到拍摄之间(例如拍摄间隔时间)的最小化延迟(例如等待时间)。

应该注意，本发明的其它示例性实施例可以使用不同数量的存储缓冲器(“Buffy”)、后台处理器(“Procv”)、后台图像处理任务(“BGPSz”)和/或阶段(例如，附加的后台处理阶段)的不同组合。

如此处所使用的，以及如本领域普通技术人员所理解的，例如当数据正在从一个位置移动到另一个位置时，缓冲器是用于(例如临时地)保存数据的存储器区域。典型地，以及作为非限制性示例，当从输入设备(用户输入，诸如键盘)取得数据时或恰在将数据发送给输出设备(例如打印机)之前，数据被存储在缓冲器中。当在设备内的过程之间移动数据时，也可以使用缓冲器。缓冲器可以用硬件或软件实现。作为非限制性示例，通过分配可用资源，单个存储器组件(例如存储器、芯片、处理器)可以被用于多个存储缓冲器。作为非限制性示例，当在数据被接收的速率与数据可以被处理的速率之间存在差异时，或者针对这些速率可变的情形，典型地使用缓冲器。

尽管以上描述参考至少一个存储缓冲器，但是本发明的其它示例性实施例可以使用例如一个或多个高速缓冲存储器来替代至少一个存储缓冲器，或作为其的附加。如本领域普通技术人员理解的，高速缓存是复制了在别处存储的或之前计算的初始值的数据集合，其中，与读取高速缓存的成本相比，对初始数据的读取(例如由于较长访问时间的原因)或计算是高成本的。即，高速缓存是临时存储区域，其中可以(例如临时地)存储频繁访问的数据用于快速访问。一旦数据被存储在高速缓存中，就可以通过访问经过高速缓存的拷贝而不是重新读取或重新计算初始数据来进行进一步使用，从而平均访问时间较短。由此，当预期经过高速缓存的数据将很快被访问(例如被重复访问)的时候，高速缓存尤其有效。

本发明示例性实施例可以进一步结合非移动电子设备或装置使用，所述非移动电子设备或装置包括但不限于：计算机、终端、游戏设备、音乐存储和重放设备、以及因特网设备。

本发明示例性实施例提供了改进的可用性以及潜在减少的能耗(例如，通过使用暂停特征)。此外，通过使用原始图像数据，在捕获图像之后基本立刻提供快速图像预览。此外，示例性实施例使能较短的拍摄间隔时间。

本发明示例性实施例通过减少了在现有技术图像捕获系统(例如照相机)中通常会出现问题的一个或多个关联延迟，而提供了优于传统的图像捕获方法、计算机程序、装置和系统的优点。例如，某些示例性实施例通过减少顺序的照片拍摄之间的延迟或基本消除暂停(例如，用于连拍模式系统)而改进了拍摄间隔时间。某些示例性实施例例如通过使得取景器能够在照片被拍摄之后更快速地显示照片，而减少了用户感知的图像处理时间。在一个非限制性的示例性实施例中，原始图像数据(即，基本未处理的)被存储，以便使得原始图像数据的随后处理能够例如与其它操作(诸如随后的图像捕获)并行。

在本发明的附加示例性实施例中，具有快速创建时间(例如，由于最小限度图像处理或没有图像处理的原因)的中间文件格式被用于减少拍摄间隔时间。在其它示例性实施例中，中间文件可以受到快速访问，从而其可以被用于查看或操作。在其它示例性实施例中，对中间文件执行后台图像处理和/或转换，以便产生其它文件格式的已处理图像文件和/或对应的图像文件，诸如JPEG，作为非限制性示例。

以下提供了对非限制性示例性实施例的进一步描述。出于清楚和识别的目的，下述示例性实施例被独立地编号。该编号不应该被认为是将以下描述完全分开，因为一个或多个示例性实施例的各种方面可以结合一个或多个其它方面或示例性实施例被实施。

(1)如图12所示，一种方法包括：在数字图像捕获设备内执行至少一个前台操作，其中所述至少一个前台操作包括：经由至少一个传感器捕获原始图像数据，将已捕获的原始图像数据存储作为中间文件，以及激活数字取景器(121)；以及在所述数字图像捕获设备内执行至少一个后台操作，其中所述至少一个后台操作包括：访问所述中间文件，对所述中间文件的原始图像数据执行图像处理以获得已处理图像数据，以及存储所述已处理图像数据，其中所述至少一个后台操作独立于所述至少一个前台操作来执行(122)。

如上所述的方法，其中所述至少一个前台操作进一步包括：基于已捕获的原始图像数据生成预览图像；以及在所述数字取景器上显示所生成的预览图像。如前所述的方法，其中所生成的预览图像与所述已捕获的原始图像数据一起存储在所述中间文件中。如上述任一的方法，进一步包括：响应于断电命令、关闭应用命令、或暂停命令，终止对至少一个前台操作的执行；以及继续执行所述至少一个后台操作。如上述任一的方法，其中激活所述数字取景器包括：获得当前的取景器图像数据，处理已获得的当前的取景器图像数据以便获得当前的取景器图像，以及在数字取景器上显示已获得的当前的取景器图像，其中在所述数字取景器上显示已生成的预览图像之后，所述数字取景器被激活。

如上述任一的方法，其中所述已处理图像数据与所述已捕获的原始图像数据一起存储在所述中间文件中。如上述任一的方法，其中在所述中间文件中存储的原始图像数据包括基本无损的图像数据。如上述任一的方法，其中所述至少一个前台操作进一步包括：经由所述至少一个传感器捕获第二原始图像数据，将已捕获的第二原始图像数据存储作为第二中间文件，以及重新激活所述数字取景器，其中当所述至少一个后台操作正执行的同时所述第二原始图像数据被捕获。如前所述的方法，其中所述至少一个后台操作进一步包括第二后台操作的集合，所述第二后台操作的集合包括：访问所述第二中间文件，对所述第二中间文件的第二原始图像数据执行图像处理以获得已处理的第二图像数据，以及存储已处理的第二图像数据，其中所述第二后台操作的集合是在与对另外的原始图像数据的捕获不同时的时间被执行的。如上述任一的方法，其中所述至少一个后台操作与所述至少一个前台操作并发地执行。如上述任一的方法，其中所述至少一个后台操作的后台操作根据处理速度、存储速度、处理器可用性、或者存储可用性中的至少一项被选择性地执行。如上述任一的方法，其中所述数字图像捕获设备包括照相机或具有照相机功能的移动设备。

如上述任一的方法，其中激活所述数字取景器包括：获得当前的取景器图像数据，处理已获得的当前的取景器图像数据以便获得当前的取景器图像，以及在数字取景器上显示已获得的当前的取景器图像。如上述任一的方法，其中所述第二后台操作的集合根据处理速度、存储速度、处理器可用性、或者存储可用性中的至少一项被选择性地执行。如上述任一的方法，其中所述第二后台操作的集合响应于系统事件被执行。如上述任一的方法，其中已捕获的原始数据在存储到中间文件之前被最小限度地处理。如上述任一的方法，其中所述方法被实现为计算机程序。

如上述任一的方法，其中通过使用多个存储缓冲器来将所述已捕获的原始图像数据存储为中间文件。如上述任一的方法，其中通过使用多个存储缓冲器来存储所述已处理的图像数据。如上述任一的方法，其中共享的多个存储缓冲器被用于存储已捕获原始图像数据和用于存储已处理图像数据中的至少一种。

(2)一种机器可读的程序存储设备，其有形地包含可由机器执行的、用于执行操作的程序指令，所述操作包括：在数字图像捕获设备内执行至少一个前台操作，其中所述至少一个前台操作包括：经由至少一个传感器捕获原始图像数据，将已捕获的原始图像数据存储作为中间文件，以及激活数字取景器(121)；以及在所述数字图像捕获设备内执行至少一个后台操作，其中所述至少一个后台操作包括：访问所述中间文件，对所述中间文件的原始图像数据执行图像处理以获得已处理图像数据，以及存储所述已处理图像数据，其中所述至少一个后台操作独立于所述至少一个前台操作来执行(122)。

如上所述的程序存储设备，其中所述至少一个前台操作进一步包括：基于已捕获的原始图像数据生成预览图像；以及在所述数字取景器上显示所生成的预览图像。如前所述的程序存储设备，其中所生成的预览图像与所述已捕获的原始图像数据一起存储在所述中间文件中。如上述任一的程序存储设备，所述操作进一步包括：响应于断电命令、关闭应用命令、或暂停命令，终止对至少一个前台操作的执行；以及继续执行所述至少一个后台操作。如上述任一的程序存储设备，其中激活所述数字取景器包括：获得当前的取景器图像数据，处理已获得的当前的取景器图像数据以便获得当前的取景器图像，以及在数字取景器上显示已获得的当前的取景器图像，其中在所述数字取景器上显示已生成的预览图像之后，所述数字取景器被激活。

如上述任一的程序存储设备，其中所述已处理图像数据与所述已捕获的原始图像数据一起存储在所述中间文件中。如上述任一的程序存储设备，其中在所述中间文件中存储的原始图像数据包括基本无损的图像数据。如上述任一的程序存储设备，其中所述至少一个前台操作进一步包括：经由所述至少一个传感器捕获第二原始图像数据，将已捕获的第二原始图像数据存储作为第二中间文件，以及重新激活所述数字取景器，其中当所述至少一个后台操作正执行的同时所述第二原始图像数据被捕获。如前所述的程序存储设备，其中所述至少一个后台操作进一步包括第二后台操作的集合，所述第二后台操作的集合包括：访问所述第二中间文件，对所述第二中间文件的第二原始图像数据执行图像处理以获得已处理的第二图像数据，以及存储已处理的第二图像数据，其中所述第二后台操作的集合是在与对附加原始图像数据的捕获不同时的时间被执行的。如上述任一的程序存储设备，其中所述至少一个后台操作与所述至少一个前台操作并发地执行。如上述任一的程序存储设备，其中所述至少一个后台操作的后台操作根据处理速度、存储速度、处理器可用性、或者存储可用性中的至少一项被选择性地执行。如上述任一的程序存储设备，其中所述数字图像捕获设备包括照相机或具有照相机功能的移动设备。

如上述任一的程序存储设备，其中激活所述数字取景器包括：获得当前的取景器图像数据，处理已获得的当前的取景器图像数据以便获得当前的取景器图像，以及在数字取景器上显示已获得的当前的取景器图像。如上述任一的程序存储设备，其中所述第二后台操作的集合根据处理速度、存储速度、处理器可用性、或者存储可用性中的至少一项被选择性地执行。如上述任一的程序存储设备，其中所述第二后台操作的集合响应于系统事件被执行。如上述任一的程序存储设备，其中已捕获的原始数据在存储到中间文件之前被最小限度地处理。如上述任一的程序存储设备，其中所述机器包括数字图像捕获设备。

如上述任一的程序存储设备，其中通过使用多个存储缓冲器，将所述已捕获的原始图像数据存储为中间文件。如上述任一的程序存储设备，其中通过使用多个存储缓冲器存储所述已处理的图像数据。如上述任一的程序存储设备，其中共享的多个存储缓冲器被用于存储已捕获原始图像数据和用于存储已处理图像数据中的至少一种。

(3)一种装置，包括：至少一个传感器(70)，被配置用于捕获原始图像数据；第一存储器(80)，被配置用于存储原始图像数据；显示器(76)，被配置用于显示取景器图像或所述原始图像数据的预览图像中的至少一个；图像处理器(68)，被配置用于处理已存储的原始图像数据，以获得已处理的图像数据；以及第二存储器(82)，被配置用于存储已处理的图像数据，其中所述图像处理器(68)被配置用于独立于所述至少一个传感器(70)和所述显示器(76)进行操作。

如上所述的装置，进一步包括：控制器，被配置用于控制所述至少一个传感器、第一存储器、以及显示器的操作。如上述任一的装置，其中所述原始图像数据被存储在所述第一存储器上的中间文件中。如上述任一的装置，其中所述中间文件进一步包括预览图像或已处理图像数据中的至少一个。如上述任一的装置，其中在由所述至少一个传感器捕获所述原始图像数据之后，在所述显示器上显示原始图像数据的预览图像。如上述任一的装置，其中所述至少一个传感器被进一步配置用于在所述图像处理器正处理原始图像数据时捕获第二原始图像数据。如上述任一的装置，其中所述图像处理器被进一步配置用于在与所述至少一个传感器捕获附加原始图像数据不同时的时间处理所述原始图像数据。

如上述任一的装置，其中所述图像处理器根据处理速度、存储速度、处理器可用性、或者存储可用性中的至少一项选择性地活动。如上述任一的装置，其中所述第一存储器包括所述第二存储器。如上述任一的装置，其中所述装置包括数字图像捕获设备。如前所述的装置，其中所述数字图像捕获设备包括照相机或具有照相机功能的移动设备。

如上述任一的装置，其中所述装置包括具有照相机功能的蜂窝式电话。如上述任一的装置，其中在所述第一存储器上存储的原始图像数据包括基本无损的图像数据。如上述任一的装置，进一步包括：处理器，被配置用于基于已捕获的原始图像数据生成预览图像。如上述任一的装置，其中所述显示器被配置用于在所述至少一个传感器捕获原始图像数据之后，显示原始图像数据的预览图像。如上述任一的装置，其中所述显示器被配置用于在显示原始图像数据的预览图像之后，显示取景器图像。如上述任一的装置，其中所述图像处理器被配置用于响应于系统事件处理已存储的原始图像数据以便获得已处理的图像数据。如上述任一的装置，进一步包括：处理器，被配置用于在将原始图像数据存储在第一存储器之前最小限度地处理原始图像数据。

如上述任一的装置，其中所述第一存储器包括多个存储缓冲器，其被配置用于存储原始图像数据。如上述任一的装置，其中所述第二存储器包括多个存储缓冲器，其被配置用于存储已处理的图像数据。如上述任一的装置，其中第一存储器和第二存储器中的至少一个包括多个存储缓冲器。如上述任一的装置，其中第一存储器和第二存储器中的至少一个被配置用于实现存储缓冲器的共享集合(例如，池、公共池)，所述存储缓冲器的共享集合被配置用于(例如临时地)存储原始图像数据和已处理图像数据中的至少一个。

(4)一种装置，包括：用于捕获(70)原始图像数据的模块；用于存储所述原始图像数据(80)的第一模块；用于显示(76)取景器图像或所述原始图像数据的预览图像中的至少一个的模块；用于处理(68)已存储的原始图像数据，以获得已处理的图像数据的模块；以及用于存储(82)已处理的图像数据的第二模块，其中所述用于处理(68)的模块被配置用于独立于所述用于捕获(70)的模块和所述用于显示的模块进行操作。

如上所述的装置，进一步包括：用于控制所述用于捕获的模块、用于存储的第一模块、以及用于显示的模块的操作的模块。如上述任一的装置，其中所述原始图像数据被存储在用于存储的第一模块上，用于存储在中间文件中。如上述任一的装置，其中所述中间文件进一步包括预览图像或已处理图像数据中的至少一个。如上述任一的装置，其中在由所述用于捕获的模块对所述原始图像数据的捕获之后，在所述用于显示的模块上显示原始图像数据的预览图像。如上述任一的装置，其中所述用于捕获的模块进一步用于在所述用于处理的模块正处理原始图像数据时捕获第二原始图像数据。如上述任一的装置，其中所述用于处理的模块进一步用于在与所述用于捕获的模块捕获附加原始图像数据不同时的时间处理所述原始图像数据。

如上述任一的装置，其中所述用于处理的模块根据处理速度、存储速度、处理器可用性、或者存储可用性冲的至少一项选择性地活动。如上述任一的装置，其中所述用于存储的第一模块包括所述用于存储的第二模块。如上述任一的装置，其中所述装置包括数字图像捕获设备。如前所述的装置，其中所述数字图像捕获设备包括照相机或具有照相机功能的移动设备。如上述任一的装置，其中所述用于捕获的模块包括至少一个传感器，所述用于存储的第一模块包括第一存储器，所述用于显示的模块包括显示器，所述用于处理的模块包括至少一个图像处理器，以及所述用于存储的第二模块包括第二存储器。

如上述任一的装置，其中所述装置包括具有照相机功能的蜂窝式电话。如上述任一的装置，其中在所述用于存储的第一模块上存储的原始图像数据包括基本无损的图像数据。如上述任一的装置，进一步包括：用于基于已捕获的原始图像数据生成预览图像的模块。如前所述的装置，其中所述用于生成的模块包括处理器。如上述任一的装置，所述用于显示的模块进一步用于在所述用于捕获的模块捕获原始图像数据之后，显示原始图像数据的预览图像。如前所述的装置，其中所述用于显示的模块进一步用于在显示原始图像数据的预览图像之后，显示取景器图像。如上述任一的装置，其中所述用于处理的模块被配置用于响应于系统事件处理已存储的原始图像数据以便获得已处理的图像数据。如上述任一的装置，进一步包括：用于在将原始图像数据存储在第一存储器之前最小限度处理原始图像数据的模块。

如上述任一的装置，其中所述用于存储的第一模块包括多个存储缓冲器，其被配置用于存储原始图像数据。如上述任一的装置，其中所述用于存储的第二模块包括多个存储缓冲器，其被配置用于存储已处理的图像数据。如上述任一的装置，其中所述用于存储的第一模块和所述用于存储的第二模块中的至少一个包括多个存储缓冲器。如上述任一的装置，其中所述用于存储的第一模块和所述用于存储的第二模块中的至少一个被配置用于实现存储缓冲器的共享集合(例如，池、公共池)，所述存储缓冲器的共享集合被配置用于(例如临时地)存储原始图像数据和已处理图像数据中的至少一个。

(5)一种装置，包括：传感电路，被配置用于捕获原始图像数据；第一存储电路，被配置用于存储所述原始图像数据；显示电路，被配置用于显示取景器图像或所述原始图像数据的预览图像中的至少一个；处理电路，被配置用于处理已存储的原始图像数据以便获得已处理的图像数据；以及第二存储电路，被配置用于存储所述已处理的图像数据，其中所述处理电路被配置用于独立于所述传感电路和所述显示电路进行操作。如前所述的装置，其中所述一个或多个电路被实现为集成电路。如上述任一的装置，进一步包括在此进一步描述的本发明示例性实施例的一个或多个附加方面。

(6)一种装置模块，包括：用于在数字图像捕获设备内执行至少一个前台操作(310)的模块，其中所述至少一个前台操作包括：经由至少一个传感器捕获原始图像数据，将已捕获的原始图像数据存储作为中间文件，以及激活数字取景器；以及用于在所述数字图像捕获设备内执行至少一个后台操作(328)的模块，其中所述至少一个后台操作包括：访问所述中间文件，对所述中间文件的原始图像数据执行图像处理以获得已处理图像数据，以及存储所述已处理图像数据，其中所述至少一个后台操作独立于所述至少一个前台操作执行。如前所述的装置，其中所述用于执行至少一个前台操作的模块包括第一处理器，以及所述用于执行至少一个后台操作的模块包括第二处理器。如上述任一的装置，进一步包括在此进一步描述的本发明示例性实施例的一个或多个附加方面。

(7)一种装置，包括：第一执行电路，被配置用于在数字图像捕获设备内执行至少一个前台操作，其中所述至少一个前台操作包括：经由至少一个传感器捕获原始图像数据，将已捕获的原始图像数据存储作为中间文件，以及激活数字取景器；以及第二执行电路，被配置用于在所述数字图像捕获设备内执行至少一个后台操作，其中所述至少一个后台操作包括：访问所述中间文件，对所述中间文件的原始图像数据执行图像处理以获得已处理图像数据，以及存储所述已处理图像数据，其中所述至少一个后台操作独立于所述至少一个前台操作执行。如前所述的装置，其中一个或多个所述电路被实现为集成电路。如上述任一的装置，进一步包括在此进一步描述的本发明示例性实施例的一个或多个附加方面。

如上所述以及参考示例性方法具体描述的本发明示例性实施例可以被实现为计算机程序产品，其包括在有形的计算机可读介质上包含的程序指令。对程序指令的执行导致以下操作，所述操作包括使用方法步骤或示例性实施例的步骤。

如上所述以及参考示例性方法具体描述的本发明示例性实施例还可以被实现为机器可读的程序存储设备，其有形地包含可以由机器执行的指令程序，其用于执行操作，所述操作包括使用所述方法步骤或示例性实施例的步骤。

如在此使用和描述的，如果当第二操作已被执行或正被执行的同时，并且第一操作已被执行或正被执行，则对第一操作集合的执行被认为是与对第二操作集合的执行是同时的。相关地，如果当第一操作已被执行或正被执行的同时第二操作未被执行，则针对两个集合的操作的执行被认为是不同时的。

应该注意，术语“已连接”、“已耦合”、或它们任意变体意味着在两个或多个单元(例如，软件单元、硬件单元)之间直接或间接的连接或耦合，并且可以包含在“已连接”或“已耦合”在一起的两个单元之间的一个或多个中间单元的存在。单元之间的耦合或连接可以是物理的、逻辑的、或其组合。如此处所使用的，通过使用一个或多个导线、线缆、和/或印刷电子连接，以及通过使用电磁能(诸如具有射频域、微波域、和光学(可见和不可见)域)(作为若干非限制性和非穷举性的示例)，两个单元可以被认为是“已连接”或“已耦合”在一起。

尽管以上已经在照相机和照相机系统的上下文中描述了示例性实施例，但是应该理解，本发明示例性实施例不限于仅通过这一种具体类型的系统来使用，并且它们可以被用于使包含照相机或实现数字静态图像捕获系统的其它系统受益。

此外，应该注意，尽管以上已经主要与数字取景器相关地描述了示例性实施例，但是本发明示例性实施例不限于此，并且可以结合其它类型的取景器(例如，光学取景器或其它非数字取景器)和配置使用。

一般而言，可以用硬件或专用电路、软件、逻辑或它们的任意组合来实现多种示例性实施例。例如，某些方面可以用硬件实现，而其它方面可以用固件或软件实现，所述固件或软件可以由控制器、微处理器、或其它计算设备执行，但是本发明不限于此。尽管本发明的多个方面可以被示出和描述为框图、流程图，或使用某种其它图形表示，但是很好理解，在此描述的这些框、装置、系统、技术、或方法可以用作为非限制性示例的硬件、软件、固件、专用电路或逻辑、通用硬件或控制器、或其它计算设备、或它们的某种组合来实现。

本发明的示例性实施例可以用多种组件实施，诸如集成电路模块。对集成电路的设计大体上是高度自动化的过程。复杂和强大的软件工具可用于将逻辑级设计转变为准备好在半导体基地上蚀刻和形成的半导体电路设计。

诸如由加利福尼亚州的Mountain View的Synopsys，Inc.以及加利福尼亚州的San Jose的Cadence Design提供的程序通过使用良好建立的设计规则以及预存储的设计模块的库，自动在半导体芯片上路由导体并定位组件。一旦已经完成对半导体电路的设计，已标准化的电子格式(例如Opus、GDSII等等)得出的设计可以被传送到半导体制造设备或“fab”用于进行制造。

前述描述已经通过示例性和非限制性示例提供了对本发明的完整和信息化描述。不过，对于相关领域技术人员来说，当结合附图和所附权利要求阅读时，借助前述描述，多种修改和修正可以变得显而易见。不过，对本发明的教导的所有这些和类似修改仍将落入本发明的非限制性和示例性实施例的范围。

此外，本发明优选实施例的某些特征可以在没有对其它特征的相应使用的情况下被用于获益。这样，前述描述应该被认为是仅对本发明的原理、讲授和示例性实施例的说明，而并非是对其的限制。

Claims (25)

1.一种方法，包括：

在数字图像捕获设备内执行至少一个前台操作，

其中所述至少一个前台操作包括：经由至少一个传感器捕获原始图像数据，将已捕获的原始图像数据存储作为中间文件，以及激活数字取景器；以及

在所述数字图像捕获设备内执行至少一个后台操作，

其中所述至少一个后台操作包括：访问所述中间文件，对所述中间文件的原始图像数据执行图像处理以获得已处理图像数据，以及存储所述已处理图像数据，

其中所述至少一个后台操作独立于所述至少一个前台操作来执行。

2.根据权利要求1所述的方法，其中所述至少一个前台操作进一步包括：基于已捕获的原始图像数据生成预览图像；以及在所述数字取景器上显示所生成的预览图像。

3.根据权利要求2所述的方法，其中所生成的预览图像与所述已捕获的原始图像数据一起存储在所述中间文件中。

4.根据权利要求1所述的方法，其中所述已处理图像数据与所述已捕获的原始图像数据一起存储在所述中间文件中。

5.根据权利要求1所述的方法，其中在所述中间文件中存储的原始图像数据包括基本无损的图像数据。

6.根据权利要求1所述的方法，其中所述至少一个后台操作与所述至少一个前台操作并发地执行。

7.根据权利要求1所述的方法，其中所述至少一个后台操作的后台操作根据处理速度、存储速度、处理器可用性、或者存储可用性中的至少一项被选择性地执行。

8.根据权利要求1所述的方法，其中所述数字图像捕获设备包括照相机或具有照相机功能的移动设备。

9.一种机器可读的程序存储设备，其有形地包含可由机器执行的、用于执行操作的程序指令，所述操作包括：

在数字图像捕获设备内执行至少一个前台操作，

其中所述至少一个前台操作包括：经由至少一个传感器捕获原始图像数据，将已捕获的原始图像数据存储作为中间文件，以及激活数字取景器；以及

在所述数字图像捕获设备内执行至少一个后台操作，

其中所述至少一个后台操作包括：访问所述中间文件，对所述中间文件的原始图像数据执行图像处理以获得已处理图像数据，以及存储所述已处理图像数据，

其中所述至少一个后台操作独立于所述至少一个前台操作来执行。

10.根据权利要求9所述的程序存储设备，其中所述至少一个前台操作进一步包括：基于已捕获的原始图像数据生成预览图像；以及在所述数字取景器上显示所生成的预览图像。

11.根据权利要求10所述的程序存储设备，其中所生成的预览图像与所述已捕获的原始图像数据一起存储在所述中间文件中。

12.根据权利要求9所述的程序存储设备，其中所述已处理图像数据与所述已捕获的原始图像数据一起存储在所述中间文件中。

13.根据权利要求9所述的程序存储设备，其中所述至少一个后台操作与所述至少一个前台操作并发地执行。

14.根据权利要求9所述的程序存储设备，其中所述机器包括数字照相机或具有照相机功能的移动设备。

15.一种装置，包括：

至少一个传感器，被配置用于捕获原始图像数据；

第一存储器，被配置用于存储原始图像数据；

显示器，被配置用于显示所述原始图像数据的预览图像数据或取景器图像中的至少一个；

图像处理器，被配置用于处理已存储的原始图像数据，以获得已处理的图像数据；以及

第二存储器，被配置用于存储已处理的图像数据，

其中所述图像处理器被配置用于独立于所述至少一个传感器和所述显示器进行操作。

16.根据权利要求15所述的装置，其中所述原始图像数据被存储在所述第一存储器上的中间文件中。

17.根据权利要求15所述的装置，其中所述中间文件进一步包括预览图像或已处理图像数据中的至少一个。

18.根据权利要求15所述的装置，其中所述图像处理器被进一步配置用于在与所述至少一个传感器捕获附加原始图像数据不同时的时间处理所述原始图像数据。

19.根据权利要求15所述的装置，其中所述第一存储器包括所述第二存储器。

20.根据权利要求15所述的装置，其中所述第一存储器和所述第二存储器中的至少一个被配置用于实现存储缓冲器的共享集合，所述存储缓冲器的共享集合被配置用于存储所述原始图像数据和所述已处理图像数据中的至少一个。

21.根据权利要求15所述的装置，其中所述装置包括照相机或具有照相机功能的移动设备。

22.一种装置，包括：用于捕获原始图像数据的模块；

用于存储所述原始图像数据的第一模块；

用于显示所述原始图像数据的预览图像或取景器图像中的至少一个的模块；

用于处理已存储的原始图像数据，以获得已处理的图像数据的模块；以及

用于存储已处理的图像数据的第二模块，

其中所述用于处理的模块被配置用于独立于所述用于捕获的模块和所述用于显示的模块进行操作。

23.根据权利要求22所述的装置，其中所述原始图像数据被存储在用于存储的所述第一模块上的中间文件中。

24.根据权利要求22所述的装置，其中所述用于存储的第一模块和所述用于存储的第二模块中的至少一个被配置用于实现存储缓冲器的共享集合，所述存储缓冲器的共享集合被配置用于存储所述原始图像数据和所述已处理图像数据中的至少一个。

25.根据权利要求22所述的装置，其中所述装置包括照相机或具有照相机功能的移动设备。

Images